Jarenlang betekende het AI bedrijven vertellen niet te trainen op jouw schrijven dat je de privétaal van elk bedrijf leerde en hoopte dat je geen nieuwe crawler had gemist. Op 30, oktober werd die absurde klus iets minder absurd: Google, Microsoft, en OpenAI zeiden dat ze één gedeelde regel in robots.txt zouden respecteren, het kleine bestand waar een site al met crawlers praat, en het concept erachter was geschreven door Kevin Kelley van Anthropic, die zei dat Anthropic al ondersteuning is gaan opbouwen. Een site-eigenaar zou niet langer aparte regels schrijven voor GPTBot, Google-Extended, ClaudeBot en elke nieuwe naam die verschijnt; in plaats daarvan noemt één groep een doel in plaats van een bot, __usage_ai-training, en zegt in feite: gebruik dit niet voor training, met ruimte om een enkele map open te laten, bijvoorbeeld een perskit. Het is een kleine technische verandering, en precies daarom is het belangrijk: het web heeft eindelijk een gedeeld woord voor nee.

Maar lees de kleine lettertjes voordat je viert, want dit nee is smaller dan het klinkt en langzamer. Het is een voorkeur voor gebruik, niet een hek om de site: crawlers kunnen nog steeds bezoeken, zoekresultaten worden niet verwijderd en er staat niets over woorden die al verzameld of in een model zijn verwerkt. Het behandelt toekomstige training van generatieve modellen, wat betekent inhoud die wordt gebruikt om te veranderen wat een model heeft geleerd, niet de antwoorden die een chatbot geeft door een pagina te citeren, en niet modellen die alleen classificeren of rangschikken. Microsoft, zijn eer is het enige bedrijf dat die tweede lijn duidelijk trekt, met een aparte pagina-niveau grondingsvoorkeur, en het zal vanaf februari 1, 2027, de nieuwe voorkeuren gaan honoreren terwijl het crawlt, terwijl de oude NoArchive- en NoCache-tags na maart 1, 2027niet meer meetellen als trainings- of aardingssignalen. Google streeft ernaar de gedeelde lijn te ondersteunen door deze te 2027, te behandelen als een Google-Extended block wanneer een site Google-Extended niet apart noemt. OpenAI belooft implementatie in de komende maanden, zonder datum en zonder nog te zeggen wat wint als de gedeelde regel en de GPTBot-regel het oneens zijn. En het document zelf is een individueel concept, geen goedgekeurde standaard, die op 3, 2027 mei verloopt tenzij het wordt bijgewerkt. Dus vandaag is er op geen enkele website daadwerkelijk iets veranderd. We hebben een belofte, met vier verschillende klokken.

Die kloof is waar mijn enthousiasme afkoelt in een moeilijkere vraag. De standaard is nog steeds ja. Een site die niets zegt, heeft helemaal geen voorkeur uitgesproken, en een algemene regel die jaren geleden werd geschreven telt niet, omdat een joker niet overeenkomt met dit token. Dus blijft de last precies waar die altijd lag: bij de kleinste schrijver, de onafhankelijke redactie, de blogger die nooit robots.txt heeft geopend, terwijl de grootste bedrijven een net, vrijwillig systeem krijgen zonder betaling, zonder licenties, en in alles wat tot nu toe is aangekondigd, geen manier voor een uitgever om te bewijzen dat een model is getraind nadat het bord was geplaatst. Ik twijfel er niet aan dat een gedeeld signaal beter is dan een dozijn tegenstrijdige. Ik betwijfel een systeem waarin toestemming iets is wat je moet leren achterhouden, in een bestand dat de meeste lezers nooit zullen zien, terwijl het voordeel van de twijfel de andere kant op gaat.

Toch heb ik liever dit onvolmaakte nee dan nog een jaar doen alsof het probleem te ingewikkeld is om te benoemen. Een gedeelde woordenschat is hoe normen beginnen, en normen, gehandhaafd of niet, veranderen wat bedrijven in het openbaar kunnen verdedigen. De echte test zal niet zijn wie het concept ondertekent, maar wie de oude controles blijft werken, wie eerlijke tijdlijnen publiceert, en of de volgende versie van dit idee het waagt om de standaard om te draaien: alleen trainen met toestemming, niet trainen totdat iemand weet hoe je weigert. Tot die tijd, als je een site runt, is de praktische zet saai en de moeite waard: leer de nieuwe regel, behoud je oude crawlerregels en houd de data in de gaten, want een belofte voor 2027 beschermt geen enkele zin die vanavond is geschreven. En als je alleen leest, stel jezelf dan de vraag die uitgevers nu voor je moeten beantwoorden: wil je dat het schrijven dat je liefhebt het volgende model leert, of wil je dat het precies blijft zoals het was: woorden geschreven voor mensen, niet voor brandstof? Vertel me waar je die grens trekt, en of een beleefd nee in een tekstbestand als macht voelt, of als een bord voor een deur die niemand heeft beloofd te respecteren.