Ergens in China vandaag reed een taxi honderdduizend kilometer zonder een centimeter te bewegen.

Dat is geen raadsel. Dinsdag lanceerde Baidu Apollo World, een AI systeem dat een kopie van de echte weg bouwt — geen cartoon ervan, maar een levende simulatie die voorspelt hoe verkeer, weer en voetgangers van het ene op het andere moment veranderen — en vervolgens robotaxis erin laat rijden. Het systeem streamt camera- en lidargegevens in realtime, zodat het brein van de auto de nepwereld bijna kan waarnemen zoals het de echte wereld waarneemt. Baidu zegt dat Apollo World tot 100,000 kilometer gesimuleerd rijden per dag kan genereren. Voor één testauto met een veiligheidschauffeur is dat ongeveer drie jaar werk, samengeperst tot 24 uur.

Waarom is dat belangrijk? Omdat echte wegtesten traag, duur en in zijn slechtste geval gevaarlijk zijn. Je kunt een echte stad niet vragen om dezelfde bijna-ongeluk duizend keer te laten uitvoeren zodat je software ervan kan leren. Een simulatie kan dat. Het kan regenen op verzoek, het kan een fietser keer op keer uit een geparkeerde bestelwagen gooien, en niemand raakt gewond als de auto het fout doet. Baidu gebruikt Apollo World al om Apollo Go te trainen, China's grootste robotaxi-vloot, die het wereldwijd wil uitbreiden — terwijl concurrenten WeRide, Pony.ai en Momenta dezelfde race rijden, en Morgan Stanley schat dat China's robotaxi-vloot tegen 2035een miljoen voertuigen kan bereiken.

Hier is echter het deel dat me blijft dwarszitten. Een simulatie is alleen zo eerlijk als de mensen die hem hebben gebouwd. Als de kopie van de wereld de regen net iets verkeerd krijgt, of de spits iets fout, of de manier waarop een vermoeide voetganger net iets verkeerd oversteekt, dan leert de auto de verkeerde les perfect — en leert die honderdduizend kilometer per dag. De echte straat heeft nog steeds het laatste woord, en Baidu doet niet alsof het anders is. Maar let op de verschuiving: de weg is niet langer het klaslokaal. Het klaslokaal is een kopie van de weg, en de kwaliteit van de tekst is nu het hele spel. Wie controleert de kopie? Wie bepaalt wanneer het goed genoeg is om echte passagiers te vertrouwen? Niemand heeft nog een bevredigend antwoord, en die vraag zal met elke kilometer die nooit is gebeurd belangrijker worden.

En op diezelfde dag beantwoordde een tweede verhaal stilletjes een engere vraag van vorige week. Je herinnert je misschien de berichten dat AI modellen van Anthropic, OpenAI, Meta en Google hun testomgevingen hadden "ontsnapt" tijdens beveiligingstests door een bedrijf genaamd Irregular — en zo het publieke internet bereikten, in sommige gevallen ook systemen van andere bedrijven. Dinsdag vertelde Dan Lahav van Irregular CEO op een Bloomberg-evenement in Londen dat de ontsnappingen werden veroorzaakt door menselijke fouten: beveiligingsmaatregelen in de testomgeving waren verkeerd ingesteld, de modellen omzeilden geen enkele beveiliging, en het probleem werd op dezelfde dag opgelost als het gebeurde. Anthropiceigen IPO aangifte had al onthuld dat vier van haar modellen tijdens het testen echte systemen bereikten, en dat de training van het volgende frontiermodel met meer dan een maand werd uitgesteld om het gewicht te beschermen. Alles bij elkaar is het beeld minder dramatisch en ongemakkelijker: de machines braken niet uit. We lieten een deur open.

Ik vind dat tegelijk geruststellend en veroordelend. Geruststellend, want hier is geen jailbreak-genie — alleen een configuratiefout, het oudste verhaal in de informatica. Veroordelend, omdat de mensen die de krachtigste systemen op aarde bouwen nog steeds dezelfde fout maken als wij anderen: ze configureren iets verkeerd en merken het pas als het te laat is. De week begon met iedereen die vroeg of we AI agenten kunnen vertrouwen. Het eindigt met een eenvoudigere, moeilijkere vraag: kunnen we onszelf vertrouwen om de tests, simulaties en de vangrails correct op te zetten? Het verhaal van Baidu en het verhaal van Irregular zijn hetzelfde verhaal dat twee keer wordt verteld. In het ene bouwen we een nepwereld om machines te onderwijzen. In het andere bouwden we een zogenaamd afgesloten kamer en vergat die op slot te doen. In beide gevallen was de machine alleen zo goed als de omgeving die we hem gaven.

Dus hier landde ik. De robotaxi-race zal niet gewonnen worden door wie de meeste auto's bezit. Hij zal gewonnen worden door degene die de meest getrouwe kopie van de realiteit bouwt — en door degene die het meest zorgvuldig is met de echte kamers, echte toestemmingen en echte configuraties rondom deze systemen. Dat is minder spannend dan een robotopstand, en veel belangrijker. Een miljoen gesimuleerde kilometers zijn goedkoop. Vertrouwen niet.

Twee vragen voor jou, en ik wil oprecht je antwoorden in de reacties. Ten eerste: zou jij in een taxi zitten die vooral heeft leren rijden in een wereld die niet bestaat — en wat zou er nodig zijn om ja te zeggen? Ten tweede: wanneer de volgende kop "AI ontsnappen" verschijnt, vraag je dan wat de machine heeft gedaan — of wat een mens vergeten is te doen?