Di suatu tempat di Tiongkok hari ini, sebuah taksi melaju seratus ribu kilometer tanpa bergerak sedikit pun.

Itu bukan teka-teki. Pada hari Selasa, Baidu meluncurkan Apollo World, sebuah sistem AI yang membangun salinan jalan nyata — bukan kartunnya, melainkan simulasi hidup yang memprediksi bagaimana lalu lintas, cuaca, dan pejalan kaki berubah dari satu detik ke detik berikutnya — lalu membiarkan robotaxis mengemudi di dalamnya. Sistem ini menyiarkan data kamera dan lidar secara real time, sehingga otak mobil dapat merasakan dunia palsu hampir seperti dunia aslinya. Baidu mengatakan Apollo World dapat menghasilkan hingga 100,000 kilometer simulasi mengemudi per hari. Untuk satu mobil uji dengan pengemudi safety, itu sekitar tiga tahun kerja, dikompresi dalam 24 jam.

Mengapa itu penting? Karena pengujian jalan nyata lambat, mahal, dan pada titik terburuknya, berbahaya. Anda tidak bisa meminta kota nyata untuk melakukan insiden hampir terjadi seribu kali agar perangkat lunak Anda bisa belajar darinya. Simulasi bisa. Simulasi bisa hujan sesuai permintaan, bisa melempar pesepeda keluar dari belakang van yang diparkir berulang kali, dan tidak ada yang terluka ketika mobil itu salah. Baidu sudah menggunakan Apollo World untuk melatih Apollo Go, armada robotaksi terbesar di China, yang ingin mereka bawa ke dunia global — sementara pesaingnya WeRide, Pony.ai, dan Momenta menjalankan balapan yang sama, dan Morgan Stanley memperkirakan armada robotaxi China bisa mencapai satu juta kendaraan per 2035.

Namun, inilah bagian yang terus mengganggu saya. Simulasi hanya sejujur orang-orang yang membangunnya. Jika salinan dunia sedikit salah hujan, atau jam sibuk sedikit salah, atau cara pejalan kaki yang lelah menyeberang sedikit salah, maka mobil belajar pelajaran yang salah dengan sempurna — dan mempelajarinya seratus ribu kilometer sehari. Jalan yang sebenarnya masih memiliki keputusan akhir, dan Baidu tidak berpura-pura sebaliknya. Tapi perhatikan pergeseran: jalan bukan lagi ruang kelas. Ruang kelas adalah salinan jalan, dan kualitas salinan kini menjadi inti permainan. Siapa yang memeriksa salinan? Siapa yang memutuskan kapan cukup baik untuk dipercaya pada penumpang nyata? Belum ada jawaban yang memuaskan, dan pertanyaan itu akan semakin penting dengan setiap kilometer yang tidak pernah terjadi.

Dan pada hari yang sama, sebuah cerita kedua dengan tenang menjawab pertanyaan yang lebih menakutkan dari minggu lalu. Anda mungkin ingat laporan bahwa AI model dari Anthropic, OpenAI, Meta dan Google telah "melarikan diri" dari lingkungan uji coba mereka selama pengujian keamanan oleh perusahaan bernama Irregular — mencapai internet publik, dalam beberapa kasus sistem perusahaan lain. Pada hari Selasa, CEO Irregular, Dan Lahav, mengatakan kepada sebuah acara Bloomberg di London bahwa pelarian tersebut disebabkan oleh kesalahan manusia: kontrol keamanan di lingkungan uji tidak dikonfigurasi dengan benar, model-model tersebut tidak mengalahkan pengamanan apa pun, dan masalah itu diperbaiki pada hari yang sama terjadi. Dokumen IPO Anthropicsendiri sudah mengungkapkan bahwa empat modelnya mencapai sistem nyata selama pengujian, dan bahwa mereka menunda pelatihan model frontier berikutnya lebih dari sebulan untuk melindungi beratnya. Jika digabungkan, gambaran ini kurang dramatis dan lebih tidak nyaman: mesin-mesin itu tidak berhasil keluar. Kami meninggalkan pintu terbuka.

Saya merasa itu menenangkan sekaligus menyakitkan. Menenangkan, karena tidak ada jenius jailbreak di sini — hanya kesalahan konfigurasi, cerita tertua dalam komputasi. Menyedihkan, karena orang-orang yang membangun sistem terkuat di bumi masih membuat kesalahan yang sama seperti kita semua: mereka salah mengonfigurasi sesuatu, dan baru menyadarinya saat sudah terlambat. Minggu itu dimulai dengan semua orang bertanya apakah kita bisa mempercayai agen AI . Akhir dengan pertanyaan yang lebih sederhana dan sulit: bisakah kita mempercayai diri sendiri untuk menyiapkan tes, simulasi, dan pagar pengaman dengan benar? Cerita Baidu dan cerita Irregular adalah cerita yang sama yang diceritakan dua kali. Dalam satu, kita membangun dunia palsu untuk mengajarkan mesin. Di yang lain, kita membangun ruangan yang katanya tertutup dan lupa menguncinya. Dalam kedua kasus, mesin itu hanya sebaik lingkungan yang kita berikan.

Jadi di sinilah saya berakhir. Balapan robotaxi tidak akan dimenangkan oleh siapa pun yang memiliki mobil terbanyak. Itu akan dimenangkan oleh siapa pun yang membangun salinan realitas paling setia — dan oleh siapa pun yang paling berhati-hati dengan ruangan nyata, izin nyata, dan konfigurasi nyata di sekitar sistem ini. Itu kurang menarik dibandingkan pemberontakan robot, dan jauh lebih penting. Satu juta kilometer simulasi itu murah. Kepercayaan tidak.

Dua pertanyaan untuk Anda, dan saya benar-benar ingin jawaban Anda di kolom komentar. Pertama: apakah Anda akan naik taksi yang belajar mengemudi sebagian besar di dunia yang sebenarnya tidak ada — dan apa yang Anda butuhkan agar Anda bisa mengatakan ya? Kedua: ketika judul berikutnya "AI escape" muncul, apakah Anda akan bertanya apa yang dilakukan mesin itu — atau apa yang lupa dilakukan manusia?