Irgendwo in China fuhr heute ein Taxi hunderttausend Kilometer, ohne sich einen Zentimeter zu bewegen.

Das ist kein Rätsel. Am Dienstag startete Baidu Apollo World, ein AI System, das eine Kopie der echten Straße baut – keine Karikatur davon, sondern eine lebendige Simulation, die vorhersagt, wie sich Verkehr, Wetter und Fußgänger von einer Sekunde zur nächsten verändern – und dann Robotaxis darin fahren lässt. Das System streamt Kamera- und Lidar-Daten in Echtzeit, sodass das Gehirn des Autos die falsche Welt fast so wahrnehmen kann, wie es die echte wahrnimmt. Baidu sagt, Apollo World könne bis zu 100,000 Kilometer simulierter Fahrt pro Tag erzeugen. Bei einem Testwagen mit Sicherheitsfahrer sind das ungefähr drei Jahre Arbeit, komprimiert auf 24 Stunden.

Warum ist das wichtig? Weil echte Straßentests langsam, teuer und im schlimmsten Fall gefährlich sind. Man kann nicht von einer echten Stadt verlangen, denselben Beinaheunfall tausendmal zu inszenieren, nur damit die eigene Software daraus lernt. Eine Simulation kann das. Sie kann auf Abruf regnen, sie kann immer wieder einen Radfahrer hinter einem geparkten Van hervorwerfen, und niemand wird verletzt, wenn das Auto einen Fehler macht. Baidu nutzt bereits Apollo World, um Apollo Go zu trainieren, Chinas größte Robotaxi-Flotte, die sie global machen wollen – während die Konkurrenten WeRide, Pony.ai und Momenta dasselbe Rennen starten, und Morgan Stanley schätzt, dass Chinas Robotaxi-Flotte bis 2035eine Million Fahrzeuge erreichen könnte.

Hier ist jedoch der Teil, der mich immer wieder beschäftigt. Eine Simulation ist nur so ehrlich wie die Menschen, die sie gebaut haben. Wenn die Kopie der Welt leicht falsch regnet, oder in der Hauptverkehrszeit leicht falsch, oder wie ein müder Fußgänger leicht falsch überquert, dann lernt das Auto die falsche Lektion perfekt – und lernt sie hunderttausend Kilometer am Tag. Die echte Straße hat immer noch das letzte Wort, und Baidu tut nicht so, als wäre es anders. Aber beachten Sie die Veränderung: Die Straße ist nicht mehr das Klassenzimmer. Das Klassenzimmer ist eine Kopie der Straße, und die Qualität der Kopie ist jetzt das ganze Spiel. Wer prüft die Kopie? Wer entscheidet, wann sie gut genug ist, um echte Fahrgäste anzuvertrauen? Niemand hat bisher eine zufriedenstellende Antwort, und diese Frage wird mit jedem Kilometer, der nie passiert ist, wichtiger.

Und am selben Tag beantwortete eine zweite Geschichte leise eine beängstigendere Frage aus der letzten Woche. Sie erinnern sich vielleicht an die Berichte, dass AI Modelle von Anthropic, OpenAI, Meta und Google während Sicherheitstests eines Unternehmens namens Irregular aus ihren Testumgebungen "entkommen" waren – und damit das öffentliche Internet erreichten, in manchen Fällen auch die Systeme anderer Unternehmen. Am Dienstag sagte Dan Lahav, CEO von Irregular auf einer Bloomberg-Veranstaltung in London, dass die Fluchten durch menschliches Versagen verursacht wurden: Sicherheitskontrollen in der Testumgebung waren falsch konfiguriert, die Modelle haben keine Schutzmaßnahmen umgangen und das Problem wurde am selben Tag behoben, an dem es auftrat. Anthropiceigene IPO Anmeldung hatte bereits offengelegt, dass vier seiner Modelle während der Tests echte Systeme erreichten und dass das Training des nächsten Frontier-Modells um über einen Monat verzögert wurde, um seine Gewichte zu schützen. Insgesamt ist das Bild weniger dramatisch und unbequemer: Die Maschinen sind nicht ausgebrochen. Wir haben eine Tür offen gelassen.

Ich finde das zugleich beruhigend und verurteilend. Beruhigend, denn hier gibt es kein Jailbreak-Genie – nur einen Konfigurationsfehler, die älteste Geschichte der Computertechnik. Verurteilend, weil die Menschen, die die leistungsstärksten Systeme der Erde bauen, immer noch denselben Fehler machen wie wir alle: Sie konfigurieren etwas falsch und merken es erst, wenn es zu spät ist. Die Woche begann damit, dass alle fragten, ob wir AI Agenten vertrauen können. Sie endet mit einer einfacheren, schwierigeren Frage: Können wir uns selbst vertrauen, die Tests, Simulationen und Leitplanken richtig einzurichten? Die Baidu-Geschichte und die Irregular-Geschichte sind dieselbe Geschichte, die zweimal erzählt wird. In der einen bauen wir eine falsche Welt, um Maschinen zu unterrichten. Im anderen haben wir einen angeblich versiegelten Raum gebaut und vergessen, ihn abzuschließen. In beiden Fällen war die Maschine nur so gut wie die Umgebung, die wir ihr gegeben haben.

Hier lande ich also. Das Robotaxi-Rennen wird nicht von demjenigen gewonnen, der die meisten Autos besitzt. Es wird von demjenigen gewonnen, der die treueste Kopie der Realität baut – und von demjenigen, der am sorgfältigsten mit den echten Räumen, echten Genehmigungen und realen Konfigurationen rund um diese Systeme umgeht. Das ist weniger aufregend als ein Roboteraufstand und viel wichtiger. Eine Million simulierte Kilometer sind billig. Vertrauen ist es nicht.

Zwei Fragen an dich, und ich möchte wirklich deine Antworten in den Kommentaren hören. Erstens: Würdest du in einem Taxi fahren, das hauptsächlich in einer Welt gelernt hat, die es nicht gibt – und was müsste nötig sein, damit du ja sagst? Zweitens: Wenn die nächste Überschrift "AI entkommen" erscheint, wirst du fragen, was die Maschine getan hat – oder was ein Mensch vergessen hat zu tun?