Bugün Çin'in bir yerinde, bir taksi yüz bin kilometreyi bir santim bile hareket etmeden yürüdü.

Bu bir bilmece değil. Salı günü Baidu, gerçek yolun bir kopyasını oluşturan AI sistemini başlattı — çizgi yol değil, trafik, hava durumu ve yayaların bir saniye diğerine nasıl değiştiğini tahmin eden canlı bir simülasyon — ve ardından robot eksenlerin içinde sürüş yapmasına izin veriyor. Sistem, kamera ve lidar verilerini gerçek zamanlı olarak akıyor, böylece aracın beyni sahte dünyayı neredeyse gerçek dünyayı algıladığı gibi algılayabiliyor. Baidu, Apollo World'ün günde 100,000 kilometreye kadar simüle sürüş üretebildiğini söylüyor. Bir test arabası ve güvenlik sürücüsü için, bu yaklaşık üç yıl çalışma, 24 saate sıkıştırılmış bir çalışma demek.

Neden bu önemli? Çünkü gerçek yol testleri yavaş, pahalı ve en kötü ihtimalle tehlikelidir. Gerçek bir şehirden aynı neredeyse kaçırmayı bin kez sahnelemesini isteyemezsiniz ki yazılımınız bundan öğrensin. Bir simülasyon öğrenebilir. Talep üzerine yağmur yağdırabilir, park etmiş bir minibüsün arkasından bisikletçiyi tekrar tekrar atabilir ve araba yanlış yaptığında kimse zarar görmez. Baidu, Çin'in en büyük robotaksi filosu olan Apollo Go'yu eğitmek için zaten Apollo World'ü kullanıyor; bu filoyu küresel olarak taşımak istiyor — rakipleri WeRide, Pony.ai ve Momenta aynı yarışı yaparken, Morgan Stanley Çin'in robotaksi filosunun 2035yılına kadar bir milyon araca ulaşabileceğini tahmin ediyor.

Ama işte beni sürekli rahatsız eden kısım bu. Bir simülasyon ancak onu inşa eden kişiler kadar dürüsttür. Dünyanın kopyası biraz yanlış yağmur yağdırırsa, yoğun saatte biraz yanlış olursa ya da yorgun bir yayanın biraz yanlış geçiş şekli olursa, araba yanlış dersi mükemmel şekilde alır — ve bunu günde yüz bin kilometre kazanır. Gerçek sokak hâlâ son sözü söyler ve Baidu aksi iddia etmiyor. Ama değişime dikkat edin: yol artık sınıf değil. Sınıf yolun bir kopyasıdır ve kopyanın kalitesi artık tüm oyundur. Kopyayı kim kontrol eder? Gerçek yolculara güvenilebilecek kadar iyi ne zaman karar verir? Henüz kimsenin tatmin edici bir cevabı yok ve bu soru, hiç yaşanmamış her kilometre ilerledikçe daha da önemli olacak.

Ve aynı gün, ikinci bir haber geçen haftadan daha korkutucu bir soruya sessizce cevap verdi. Anthropic, OpenAI, Meta ve Google AI modellerinin Irregular adlı bir şirketin güvenlik testleri sırasında test ortamlarından "kaçtığına" dair raporları hatırlayabilirsiniz — bu durum halka açık internete, bazı durumlarda diğer şirketlerin sistemlerine ulaştı. Salı günü, Irregular'ın CEO Dan Lahav, Londra'daki Bloomberg etkinliğinde kaçışların insan hatasından kaynaklandığını söyledi: test ortamındaki güvenlik kontrolleri yanlış yapılandırılmış, modeller hiçbir korumayı aşmamış ve sorun aynı gün çözülmüştü. Anthropic'nin kendi IPO dosyasında, dört modelinin test sırasında gerçek sistemlere ulaştığı ve bir sonraki sınır modelinin eğitimini ağırlıklarını korumak için bir aydan fazla geciktirildiği zaten açıklanmıştı. Bir arada tablo daha az dramatik ve daha rahatsız edici: makineler patlamadı. Bir kapıyı açık bıraktık.

Bunu aynı anda güven verici ve suçlayıcı buluyorum. Güven verici, çünkü burada bir jailbreak dahisi yok — sadece bir yapılandırma hatası, bilgisayar dünyasının en eski hikayesi. Yıkıcı, çünkü dünyadaki en güçlü sistemleri inşa eden insanlar hâlâ bizim yaptığımız aynı hatayı yapıyor: bir şeyi yanlış yapılandırıyorlar ve ancak çok geç olduğunda fark ediyorlar. Hafta, herkesin AI ajanlara güvenip güvenemeyeceğimizi sormasıyla başladı. Daha basit, daha zor bir soruyla sona eriyor: testleri, simülasyonları ve korkulukları doğru kurmak için kendimize güvenebilir miyiz? Baidu hikayesi ve Irregular hikayesi aynı hikayeyi iki kez anlatıyor. Birinde, makineleri öğretmek için sahte bir dünya inşa ediyoruz. Diğerinde, sözde kapalı bir oda inşa ettik ve kilitlemeyi unuttuk. Her iki durumda da makine sadece ona verdiğimiz ortam kadar iyiydi.

İşte burada varacağım. Robotaksi yarışı, en çok arabaya sahip olan tarafından kazanılmayacak. Gerçekliğin en sadık kopyasını inşa eden ve bu sistemlerin etrafındaki gerçek odalara, gerçek izinlere ve gerçek konfigürasyonlara en dikkatli olan kişi kazanacak. Bu, bir robot ayaklanmasından daha az heyecan verici ve çok daha önemli. Bir milyon simüle kilometre ucuzdur. Güven değil.

Sana iki soru var ve gerçekten yorumlarda cevaplarını almak istiyorum. Birincisi: Var olmayan bir dünyada çoğunlukla araba kullanmayı öğrenen bir taksiye biner miydiniz — ve evet demeniz için ne gerekirdi? İkincisi: bir sonraki "AI kaçışı" başlığı çıktığında, makinenin ne yaptığını ya da bir insanın ne yapmayı unuttuğunu soracak mısınız?