Da qualche parte in Cina oggi, un taxi ha percorso centomila chilometri senza muoversi di un centimetro.

Non è un enigma. Martedì, Baidu ha lanciato Apollo World, un sistema AI che costruisce una copia della strada reale — non un cartone animato, ma una simulazione vivente che prevede come il traffico, il meteo e i pedoni cambiano da un secondo all'altro — e poi permette ai robotaxis di guidare all'interno. Il sistema trasmette dati di telecamere e lidar in tempo reale, così il cervello dell'auto può percepire il mondo finto quasi come percepisce quello reale. Baidu afferma che Apollo World può generare fino a 100,000 chilometri di guida simulata al giorno. Per un'auto di prova con un autista di sicurezza, sono circa tre anni di lavoro, compressi in 24 ore.

Perché dovrebbe importare? Perché i veri test stradali sono lenti, costosi e, nel loro peggiore caso, pericolosi. Non puoi chiedere a una vera città di mettere in scena lo stesso quasi-incidente mille volte affinché il tuo software possa imparare da esso. Una simulazione può. Può piovere a richiesta, può buttare fuori un ciclista da dietro un furgone parcheggiato più e più volte, e nessuno si fa male quando l'auto sbaglia. Baidu sta già usando Apollo World per addestrare Apollo Go, la più grande flotta di robotaxi cinese, che vuole portare a livello globale — mentre i rivali WeRide, Pony.ai e Momenta corrono la stessa gara, e Morgan Stanley stima che la flotta di robotaxi cinese potrebbe raggiungere un milione di veicoli entro 2035.

Ecco però la parte che continua a tormentarmi. Una simulazione è onesta solo quanto le persone che l'hanno costruita. Se la copia del mondo sbaglia leggermente la pioggia, o l'ora di punta sbaglia leggermente, o il modo in cui un pedone stanco attraversa leggermente male, allora l'auto impara perfettamente la lezione sbagliata — e la impara per centomila chilometri al giorno. La vera strada ha ancora l'ultima parola, e Baidu non finge il contrario. Ma nota il cambiamento: la strada non è più l'aula. L'aula è una copia della strada, e la qualità della copia è ora tutto il gioco. Chi controlla la copia? Chi decide quando è abbastanza buona da fidarsi dei passeggeri reali? Nessuno ha ancora una risposta soddisfacente, e quella domanda conterà di più con ogni chilometro che non è mai accaduto.

E proprio nello stesso giorno, una seconda notizia ha risposto silenziosamente a una domanda più spaventosa della settimana scorsa. Forse ricorderete le notizie secondo cui AI modelli di Anthropic, OpenAI, Meta e Google erano "fuggiti" dai loro ambienti di test durante i test di sicurezza di un'azienda chiamata Irregular — raggiungendo internet pubblico, in alcuni casi i sistemi di altre aziende. Martedì, Dan Lahav, CEO di Irregular, ha dichiarato a un evento di Bloomberg a Londra che le fughe erano causate da errori umani: i controlli di sicurezza nell'ambiente di test erano configurati in modo errato, i modelli non hanno superato alcuna garanzia e il problema è stato risolto lo stesso giorno in cui è avvenuto. Il IPO di Anthropicaveva già rivelato che quattro dei suoi modelli avevano raggiunto sistemi reali durante i test e che aveva ritardato l'addestramento del suo modello di frontiera successivo di oltre un mese per proteggerne i pesi. Messo insieme, il quadro è meno drammatico e più scomodo: le macchine non sono uscite. Abbiamo lasciato una porta aperta.

Trovo questo rassicurante e condannoso allo stesso tempo. Rassicurante, perché qui non c'è un genio del jailbreak — solo un errore di configurazione, la storia più antica dell'informatica. Dannoso, perché le persone che costruiscono i sistemi più potenti al mondo commettono ancora lo stesso errore che facciamo noi: sbagliano a configurare qualcosa e se ne accorgono solo quando è troppo tardi. La settimana è iniziata con tutti che si chiedevano se possiamo fidarci AI agenti. Si conclude con una domanda più semplice e difficile: possiamo fidarci di noi stessi per impostare correttamente i test, le simulazioni e i guardrail? La storia di Baidu e quella di Irregular sono la stessa storia raccontata due volte. In uno, costruiamo un mondo falso per insegnare alle macchine. Nell'altro, abbiamo costruito una stanza presumibilmente sigillata e ci siamo dimenticati di chiuderla a chiave. In entrambi i casi, la macchina è sempre stata buona solo quanto l'ambiente che le abbiamo dato.

Quindi qui è dove atterraggio. La gara dei robotaxi non sarà vinta da chi possiede più auto. Sarà vinta da chi costruirà la copia più fedele della realtà — e da chi sarà più attento alle stanze reali, ai permessi reali e alle configurazioni reali attorno a questi sistemi. Questo è meno emozionante di una rivolta dei robot, e molto più importante. Un milione di chilometri simulati sono economici. La fiducia no.

Due domande per te, e voglio davvero le tue risposte nei commenti. Primo: prenderesti un taxi che ha imparato a guidare quasi sempre in un mondo che non esiste — e cosa ci vorrebbe per dire di sì? Secondo: quando apparirà il prossimo titolo "AI fuga", chiederai cosa ha fatto la macchina — o cosa ha dimenticato un essere umano?