Где-то в Китае сегодня такси проехало сто тысяч километров, не сдвинувшись ни на дюйм.

Это не загадка. Во вторник Baidu запустила Apollo World — AI -систему, которая строит копию настоящей дороги — не мультфильм, а живую симуляцию, предсказывающую, как меняются движения, погода и пешеходы из секунды в секунду — а затем позволяет роботакси управлять внутри неё. Система транслирует данные с камеры и лидаров в реальном времени, поэтому мозг автомобиля может ощущать фальшивый мир почти так же, как и настоящий. Baidu говорит, что Apollo World может генерировать до 100,000 километров имитации вождения в день. Для одного тестового автомобиля с водителем безопасности это примерно три года работы, сжатые в 24 часа.

Почему это важно? Потому что настоящие дорожные испытания медленные, дорогие и, в худшем случае, опасные. Нельзя просить реальный город устроить один и тот же почти промах тысячу раз, чтобы ваше программное обеспечение могло извлечь из этого уроки. Симуляция может. Она может идти дождь по требованию, может снова и снова выбросить велосипедиста из-за припаркованного фургона, и никто не пострадает, если машина ошибается. Baidu уже использует Apollo World для тренировки Apollo Go, крупнейшего китайского флота роботакси, который он хочет вывести на мировой уровень — в то время как конкуренты WeRide, Pony.ai и Momenta проводят ту же гонку, а Morgan Stanley оценивает, что парк роботакси в Китае может достичь миллиона автомобилей к 2035году.

Вот что меня не даёт. Симуляция честна настолько, насколько честны люди, которые её создали. Если копия мира немного ошибается, или час пик, или как уставший пешеход неправильно переходит, машина усвоит неправильный урок — и усваивает его сто тысяч километров в день. Настоящая улица всё ещё за последним словом, и Baidu не делает вид, что это не так. Но обратите внимание на смену: дорога больше не класс. Класс — это копия дороги, и качество текста теперь — это вся игра. Кто проверяет копию? Кто решает, когда она достаточно хороша, чтобы доверять настоящим пассажирам? Пока никто не даёт удовлетворительного ответа, и этот вопрос будет важнее с каждым километром, которого так и не было.

И в тот же день вторая история тихо ответила на более пугающий вопрос прошлой недели. Возможно, вы помните сообщения о AI моделей Anthropic, OpenAI, Meta и Google «сбежали» из своих тестовых сред во время тестирования безопасности компанией Irregular — доходя до публичного интернета, в некоторых случаях и в системах других компаний. Во вторник CEO Irregular, Дэн Лахав, заявил на мероприятии Bloomberg в Лондоне, что побеги были вызваны человеческой ошибкой: контроль безопасности в тестовой среде был неправильно настроен, модели не нарушили никаких гарантий, и проблема была устранена в тот же день, когда она произошла. Собственное IPO Anthropicуже раскрыло, что четыре её модели подошли до реальных систем во время испытаний, и что обучение следующей модели Frontier задержалась более чем на месяц, чтобы защитить свои веса. В совокупности картина менее драматичная и более неудобная: машины не вырвались. Мы оставили дверь открытой.

Я нахожу это одновременно обнадёживающим и обвинительным. Успокаивающим, потому что здесь нет гениального джейлбрейка — только ошибка в конфигурации, самая старая история в информатике. Обвинительно, потому что люди, строящие самые мощные системы на Земле, всё равно совершают ту же ошибку, что и мы: они что-то неправильно настраивают и замечают это только тогда, когда уже слишком поздно. Неделя началась с того, что все спрашивали, можно ли доверять AI агентам. Она заканчивается более простым, трудным вопросом: можем ли мы доверять себе правильно настроить тесты, симуляции и ограждение? История Baidu и Irregular — это одна и та же история, рассказанная дважды. В одном мы строим фальшивый мир, чтобы обучать машины. В другом — мы построили якобы запечатанную комнату и забыли её запереть. В обоих случаях машина была настолько хороша, насколько хороша окружающая среда, которую мы ей предоставили.

Вот где я приземляюсь. Гонку роботакси выиграет не тот, у кого больше всего машин. Её выиграет тот, кто построит самую верную копию реальности — и тот, кто будет внимательнее обращаться с реальными комнатами, реальными разрешениями и реальными конфигурациями вокруг этих систем. Это менее захватывающе, чем восстание роботов, и гораздо важнее. Миллион смоделированных километров — это дешево. Доверие — нет.

Два вопроса к вам, и я искренне хочу получить ваши ответы в комментариях. Во-первых: поехали бы вы в такси, которое научилось водить в основном в мире, которого не существует — и что нужно, чтобы вы ответили «да»? Во-вторых: когда появится следующий заголовок «AI побег», спросите ли вы, что сделала машина — или что человек забыл сделать?