오늘날 중국 어딘가에서 택시가 10만 킬로미터를 한 치도 움직이지 않고 운전했습니다.

이것은 수수께끼가 아닙니다. 화요일, 바이두는 실제 도로를 복사한 AI 시스템인 아폴로 월드를 출시했습니다. 만화가 아니라 교통, 날씨, 보행자가 순간마다 어떻게 변하는지 예측하는 살아있는 시뮬레이션을 구현한 후 로보택시가 그 안에서 운전할 수 있게 합니다. 이 시스템은 카메라와 라이다 데이터를 실시간으로 스트리밍하여, 자동차의 뇌가 가짜 세계를 실제 세계처럼 감지할 수 있습니다. 바이두는 아폴로 월드가 하루에 최대 100,000 킬로미터의 시뮬레이션 주행을 생성할 수 있다고 말합니다. 안전 운전자가 있는 테스트 차량 한 대는 약 3년의 작업량을 24 시간 안에 압축한 것입니다.

그게 왜 중요한가요? 실제 도로 주행은 느리고 비용이 많이 들며, 최악의 경우 위험하기 때문입니다. 실제 도시가 같은 근접 사고를 천 번이나 반복해서 소프트웨어가 학습하도록 요구할 수는 없습니다. 시뮬레이션은 할 수 있습니다. 비가 필요할 때 내리고, 주차된 밴 뒤에서 자전거 이용자를 계속 내쫓아도 차가 잘못해도 아무도 다치지 않습니다. 바이두는 이미 아폴로 월드를 활용해 중국 최대 로보택시 차량 차량 Apollo Go를 훈련시키고 있으며, 이를 전 세계로 확장하려 하고 있습니다. 경쟁사인 WeRide, Pony.ai, Momenta도 같은 경쟁을 치르고 있으며, 모건 스탠리는 중국의 로봇 택시 차량이 2035년까지 백만 대에 이를 것으로 추정합니다.

하지만 여기서 계속 마음에 걸리는 부분이 있다. 시뮬레이션은 그것을 만든 사람들만큼만 정직하다. 만약 세계의 복제본이 비를 조금 잘못 표현하거나, 출퇴근 시간대가 조금 잘못되거나, 피곤한 보행자가 횡단하는 방식이 약간 잘못된다면, 차는 완벽한 교훈을 배우고 — 하루에 십만 킬로미터씩 그것을 배운다. 실제 거리가 최종 결정을 내리고 있으며, 바이두는 그렇지 않은 척하지 않는다. 하지만 변화를 주목하라: 도로는 더 이상 교실이 아니다. 교실은 도로의 복사본이며, 복제본의 품질이 이제 전체 게임이다. 누가 복사본을 확인하는가? 누가 실제 승객과 신뢰할 만한 상태인지 결정하는가? 아직 아무도 만족스러운 답을 내놓지 못하며, 그 질문은 일어나지 않은 한 킬로미터가 갈수록 더 중요해질 것이다.

그리고 같은 날, 두 번째 기사에서는 지난주에 있었던 더 무서운 질문에 조용히 답을 내놓았습니다. 여러분은 Anthropic, OpenAI, Meta와 Google의 AI 모델이 Irregular라는 회사가 보안 테스트 중 테스트 환경에서 "탈출"해 공개 인터넷, 때로는 다른 회사의 시스템에 도달했다는 보도를 기억할 것입니다. 화요일, Irregular의 CEO 댄 라하브는 런던에서 열린 블룸버그 행사에서 탈출 사례가 인적 오류로 인해 발생했다고 밝혔습니다: 테스트 환경의 보안 제어가 잘못 설정되었고, 모델들이 어떤 안전장치를 무력화하지 않았으며, 문제가 발생한 당일 바로 해결되었다고 했습니다. Anthropic자체 IPO 제출 문서에는 이미 네 대의 모델이 테스트 중 실제 시스템에 도달했으며, 무게를 보호하기 위해 다음 프런티어 모델 훈련을 한 달 이상 지연시켰다는 사실이 밝혀졌다. 종합해 보면, 상황은 극적이기보다는 불편한 점이 더 심각하다: 기계들이 고장 나지 않았다. 우리는 문을 열어두었다.

나는 그 점이 동시에 안심이 되면서도 비판스럽게 느낀다. 안심이 되는 이유는 여기에는 탈옥 천재가 없기 때문이다 — 단지 컴퓨터 분야에서 가장 오래된 설정 실수일 뿐이다. 치명적인 이유는 지구상에서 가장 강력한 시스템을 만드는 사람들이 여전히 우리와 같은 실수를 저지른다는 점이다: 그들은 무언가를 잘못 구성하고, 너무 늦었을 때에야 그것을 알아차린다. 이번 주는 모두가 AI 에이전트를 신뢰할 수 있느냐고 묻으며 시작되었다. 더 단순하고 어려운 질문으로 끝난다: 우리가 테스트, 시뮬레이션, 가드레일을 올바르게 설정할 수 있을까? 바이두 이야기와 불규칙 이야기는 같은 이야기를 두 번 반복한다. 하나는 기계를 가르치기 위해 가짜 세계를 만들었다. 다른 하나는 봉인된 방을 만들었는데 잠그는 것을 잊었다. 두 경우 모두 기계가 우리가 준 환경만큼만 좋았다.

그래서 저는 여기서 결론을 내립니다. 로보택시 경주는 가장 많은 차를 소유한 사람이 이기는 것이 아닙니다. 현실을 가장 충실하게 복제하고, 이 시스템 주변의 실제 방, 실제 권한, 실제 구성을 가장 신중하게 다루는 사람이 이길 것입니다. 그것은 로봇 봉기만큼 흥미롭지 않고, 훨씬 더 중요합니다. 백만 킬로미터의 시뮬레이션 주행은 저렴합니다. 신뢰는 그렇지 않습니다.

두 가지 질문이 있는데, 진심으로 댓글로 답변을 받고 싶습니다. 첫째: 존재하지 않는 세상에서 운전을 배운 택시를 타고 가겠습니까? 그리고 '예'라고 말하려면 무엇이 필요할까요? 둘째: 다음 'AI 탈출' 헤드라인이 나올 때, 기계가 무엇을 했는지 — 아니면 인간이 무엇을 잊었는지 묻겠습니까?