वर्षों से, AI कंपनियों को अपने लेखन पर प्रशिक्षित न करने के लिए कहने का मतलब था प्रत्येक कंपनी की निजी भाषा सीखना और यह उम्मीद करना कि आपने एक नया क्रॉलर नहीं छोड़ा है। 30, अक्टूबर को वह बेतुका काम थोड़ा कम बेतुका हो गया: Google, Microsoft, और OpenAI ने कहा कि वे robots.txt में एक साझा लाइन का सम्मान करेंगे, छोटी फ़ाइल जहां एक साइट पहले से ही क्रॉलर से बात करती है, और इसके पीछे का मसौदा Anthropic, के केविन केली द्वारा लिखा गया था, जिन्होंने कहा कि Anthropic पहले से ही समर्थन का निर्माण शुरू कर दिया है। एक साइट मालिक अब GPTBot, Google-Extended, ClaudeBot और दिखाई देने वाले हर नए नाम के लिए अलग-अलग नियम नहीं लिखेगा; इसके बजाय, एक समूह एक बॉट, __usage_ai-प्रशिक्षण के बजाय एक उद्देश्य का नाम देता है, और कहता है, वास्तव में, प्रशिक्षण के लिए इसका उपयोग न करें, एक एकल फ़ोल्डर को खुला छोड़ने के लिए जगह के साथ, उदाहरण के लिए एक प्रेस किट। यह एक छोटा तकनीकी परिवर्तन है, और यही कारण है कि यह मायने रखता है: वेब में अंत में नहीं के लिए एक साझा शब्द है।

लेकिन जश्न मनाने से पहले फाइन प्रिंट पढ़ें, क्योंकि यह नहीं लगता है कि जितना लगता है उससे संकरा है, और धीमा है। यह उपयोग के बारे में एक प्राथमिकता है, साइट के चारों ओर बाड़ नहीं: क्रॉलर अभी भी जा सकते हैं, खोज परिणाम हटाए नहीं जाते हैं, और यह पहले से ही एकत्र किए गए या पहले से ही एक मॉडल में पके हुए शब्दों के बारे में कुछ नहीं कहता है। इसमें जनरेटिव मॉडल के भविष्य के प्रशिक्षण को शामिल किया गया है, जिसका अर्थ है कि एक मॉडल ने जो सीखा है उसे बदलने के लिए उपयोग की जाने वाली सामग्री, न कि एक पृष्ठ को उद्धृत करके चैटबॉट जो जवाब देता है, न कि ऐसे मॉडल जो केवल वर्गीकृत या रैंक करते हैं। Microsoft, इसके श्रेय के लिए, एक कंपनी है जो उस दूसरी पंक्ति को स्पष्ट रूप से खींचती है, एक अलग पृष्ठ-स्तरीय ग्राउंडिंग वरीयता के साथ, और यह नई प्राथमिकताओं का सम्मान करना शुरू कर देगी क्योंकि यह फरवरी 1, 2027, से क्रॉल करता है, जबकि इसके पुराने NoArchive और NoCache टैग 1, 2027मार्च के बाद प्रशिक्षण या ग्राउंडिंग सिग्नल के रूप में गिनती करना बंद कर देते हैं। Google का उद्देश्य साझा लाइन को 2027, एक Google-विस्तारित ब्लॉक के रूप में मानने में समर्थन करना है जब कोई साइट अलग से Googleका नाम नहीं देती है। OpenAI आने वाले महीनों में कार्यान्वयन का वादा करता है, बिना किसी तारीख के और अभी तक यह बताए बिना कि यदि इसका साझा नियम और इसका GPTBot नियम असहमत है तो क्या जीतता है। और दस्तावेज़ स्वयं एक व्यक्तिगत मसौदा है, न कि एक समर्थित मानक, 3, 2027 मई को समाप्त हो रहा है जब तक कि इसे अपडेट नहीं किया जाता है। इसलिए आज, वास्तव में किसी भी वेबसाइट पर कुछ भी नहीं बदला है। हमारे पास चार अलग-अलग घड़ियों के साथ एक वादा है।

वह अंतर वह जगह है जहां मेरा उत्साह एक कठिन प्रश्न में ठंडा हो जाता है। डिफ़ॉल्ट अभी भी हाँ है। एक साइट जो कहती है कि कुछ भी नहीं है, उसने कोई वरीयता व्यक्त नहीं की है, और वर्षों पहले लिखे गए एक व्यापक नियम की गिनती नहीं है, क्योंकि वाइल्डकार्ड इस टोकन से मेल नहीं खाता है। तो बोझ ठीक वहीं रहता है जहां यह हमेशा से रहा है: सबसे छोटे लेखक, स्वतंत्र न्यूज़रूम, ब्लॉगर पर जिसने कभी robots.txt नहीं खोला है, जबकि सबसे बड़ी कंपनियों को बिना किसी भुगतान के, बिना लाइसेंस के एक साफ-सुथरी, स्वैच्छिक प्रणाली मिलती है, और, अब तक घोषित किसी भी चीज़ में, प्रकाशक के लिए यह साबित करने का कोई तरीका नहीं है कि साइन अप होने के बाद एक मॉडल को प्रशिक्षित किया गया था। मुझे इसमें कोई संदेह नहीं है कि एक साझा संकेत एक दर्जन परस्पर विरोधी संकेतों से बेहतर है। मुझे एक ऐसी प्रणाली पर संदेह है जहां सहमति एक ऐसी चीज है जिसे आपको रोकना सीखना चाहिए, एक फ़ाइल में अधिकांश पाठक कभी नहीं देख पाएंगे, जबकि संदेह का लाभ दूसरी तरफ बहता है।

फिर भी, मैं इस अपूर्ण को एक और वर्ष की तुलना में यह दिखावा करना पसंद करूंगा कि समस्या का नाम देना बहुत जटिल है। एक साझा शब्दावली यह है कि मानदंड कैसे शुरू होते हैं, और मानदंड, लागू होते हैं या नहीं, कंपनियों को लगता है कि वे सार्वजनिक रूप से बचाव कर सकते हैं। असली परीक्षा यह नहीं होगी कि कौन मसौदे पर हस्ताक्षर करता है, लेकिन कौन पुराने नियंत्रणों को काम करता रहता है, जो ईमानदार समयसीमा प्रकाशित करता है, और क्या इस विचार का अगला संस्करण डिफ़ॉल्ट को फ्लिप करने की हिम्मत करता है: केवल अनुमति के साथ प्रशिक्षण, प्रशिक्षण नहीं जब तक कि कोई यह पता नहीं लगा लेता कि कैसे मना करना है। तब तक, यदि आप एक साइट चलाते हैं, तो व्यावहारिक कदम उबाऊ और करने लायक है: नई लाइन सीखें, अपने पुराने क्रॉलर नियमों को जगह में रखें, और तारीखें देखें, क्योंकि 2027 के लिए एक वादा आज रात लिखे गए एक भी वाक्य की रक्षा नहीं करता है। और यदि आप केवल पढ़ते हैं, तो अपने आप से पूछें कि प्रकाशकों को अब आपके लिए जवाब देने के लिए मजबूर किया जा रहा है: क्या आप चाहते हैं कि आप जिस लेखन से प्यार करते हैं वह अगला मॉडल सिखाए, या क्या आप चाहते हैं कि यह वही रहे जैसा वह था, लोगों के लिए लिखे गए शब्द, ईंधन नहीं? मुझे बताएं कि आप उस रेखा को कहां खींचते हैं, और क्या टेक्स्ट फ़ाइल में एक विनम्र नहीं आपको शक्ति की तरह लगता है, या जैसे किसी ने भी सम्मान करने का वादा नहीं किया है।