Десь у Китаї сьогодні таксі проїхало сто тисяч кілометрів, не рухаючись ні на сантиметр.

Це не загадка. У вівторок Baidu запустила Apollo World — AI -систему, яка створює копію реальної дороги — не мультфільм, а живу симуляцію, яка передбачає, як змінюються рух, погода та пішоходи з однієї секунди в секунду — і дозволяє роботаксісу керувати всередині неї. Система транслює дані з камери та лідару в реальному часі, тож мозок автомобіля може відчувати фальшивий світ майже так само, як і справжній. Baidu каже, що Apollo World може генерувати до 100,000 кілометрів імітованого водіння на день. Для одного тестового автомобіля з водієм безпеки це приблизно три роки роботи, стиснених у 24 години.

Чому це має значення? Бо справжні дорожні тести повільні, дорогі і, у найгіршому випадку, небезпечні. Ви не можете просити справжнє місто тисячу разів влаштовувати одну й ту ж майже аварію, щоб ваше програмне забезпечення могло навчитися на цьому. Симуляція може. Може йти дощ на вимогу, вона може знову і знову викидати велосипедиста з-за припаркованого фургона, і ніхто не постраждає, якщо машина помилиться. Baidu вже використовує Apollo World для тренування Apollo Go — найбільшого китайського флоту роботаксі, який хоче вивести на світовий рівень — тоді як конкуренти WeRide, Pony.ai і Momenta беруть участь у тій самій гонці, а Morgan Stanley оцінює, що флот роботаксі в Китаї може досягти мільйона автомобілів до 2035.

Але ось що мене постійно турбує. Симуляція чесна настільки, наскільки чесна люди, які її створили. Якщо копія світу трохи помиляється, або година пік трохи неправильна, або як втомлений пішохід проходить трохи неправильно, тоді машина ідеально засвоює неправильний урок — і засвоює його сто тисяч кілометрів на день. Справжня вулиця все ще має останнє слово, і Baidu не робить вигляду інакше. Але зверніть увагу на зміну: дорога вже не клас. Клас — це копія дороги, і якість тексту тепер — це вся гра. Хто перевіряє копію? Хто вирішує, коли вона достатньо хороша, щоб довіряти реальним пасажирам? Ніхто ще не має задовільної відповіді, і це питання буде важливішим з кожним кілометром, який ніколи не відбувався.

І в той самий день друга історія тихо відповіла на більш страшне питання минулого тижня. Ви, можливо, пам'ятаєте повідомлення, що AI моделі Anthropic, OpenAI, Meta та Google «втекли» зі своїх тестових середовищ під час тестування безпеки компанією Irregular — потрапивши до публічного інтернету, а іноді й до систем інших компаній. У вівторок CEO Irregular Ден Лахав розповів на заході Bloomberg у Лондоні, що втечі були спричинені людською помилкою: контроль безпеки в тестовому середовищі був неправильно налаштований, моделі не порушили жодних заходів безпеки, і проблему вирішили в той самий день, коли вона сталася. Власна IPO Anthropicвже повідомила, що чотири моделі потрапили до реальних систем під час тестування, і що навчання наступної моделі Frontier відклала більш ніж на місяць, щоб захистити вагу. У сукупності картина менш драматична і більш незручна: машини не вийшли. Ми залишили двері відкритими.

Це водночас і заспокійливо, і звинувачує. Заспокоює, бо тут немає генія jailbreak — лише помилка в конфігурації, найдавніша історія в обчислювальній техніці. Прикро, бо люди, які створюють найпотужніші системи на Землі, досі роблять ту саму помилку, що й ми інші: вони щось неправильно налаштовують і помічають лише тоді, коли вже запізно. Тиждень почався з того, що всі запитували, чи можемо ми довіряти AI агентам. Він закінчується простішим, складнішим питанням: чи можемо ми довіряти собі правильно налаштувати тести, симуляції та обмеження? Історія Baidu і історія Irregular — це одна й та сама історія, розказана двічі. В одному ми будуємо фальшивий світ, щоб навчати машини. В іншому — нібито запечатану кімнату і забули її замкнути. В обох випадках машина була настільки хороша, наскільки ми їй дали.

Отже, ось де я приземляюся. Гонку роботаксі виграє не той, хто володіє найбільшою кількістю автомобілів. Її виграє той, хто створить найвірнішу копію реальності — і той, хто найуважніше ставиться до справжніх кімнат, реальних дозволів і реальних конфігурацій навколо цих систем. Це менш захопливо, ніж повстання роботів, і набагато важливіше. Мільйон симульованих кілометрів — це дешево. Довіра — ні.

Два питання до вас, і я щиро хочу почути ваші відповіді в коментарях. По-перше: чи поїхали б ви в таксі, яке навчилося водити переважно у світі, якого не існує — і що потрібно, щоб погодитися? По-друге: коли з'явиться наступний заголовок «AI втечу», чи запитаєте ви, що зробила машина — або що людина забула зробити?