سال ها گفتن به شرکت های AI که روی نوشتن شما تمرین نکنند یعنی یادگیری زبان خصوصی هر شرکت و امیدوار بودن به اینکه یک خزنده جدید را از دست نداده باشید. در اکتبر 30, آن کار مضحک کمی کمتر مضحک شد: Google, Microsoft, و OpenAI گفتند که یک خط مشترک در robots.txt، فایل کوچکی که در آن سایت قبلا با خزنده ها صحبت می کند، احترام خواهند گذاشت و پیش نویس پشت آن توسط کوین کلی از Anthropic, نوشته شده بود که گفت Anthropic قبلا شروع به جذب پشتیبانی کرده است. مالک سایت دیگر قوانین جداگانه ای برای GPTBot، Google-Extended، ClaudeBot و هر نام جدیدی که ظاهر می شود نمی نویسد؛ در عوض، یک گروه به جای ربات، هدفی را نام می برد، آموزش __usage_ai و در واقع می گوید از این برای آموزش استفاده نکنید و فضای باز گذاشتن یک پوشه وجود دارد، مثلا کیت مطبوعاتی. این یک تغییر فنی کوچک است و دقیقا به همین دلیل اهمیت دارد: وب بالاخره کلمه مشترکی برای نه دارد.

اما قبل از جشن گرفتن، جزئیات را بخوانید، چون این نه باریک تر از آن چیزی است که به نظر می رسد و کندتر است. این یک ترجیح درباره استفاده است، نه حصاری دور سایت: خزنده ها هنوز می توانند بازدید کنند، نتایج جستجو حذف نمی شود و هیچ چیزی درباره کلماتی که قبلا جمع آوری شده یا قبلا در مدل گنجانده شده اند نمی گوید. این کتاب آموزش آینده مدل های مولد را پوشش می دهد، یعنی محتوایی که برای تغییر آموخته های مدل استفاده می شود، نه پاسخ هایی که چت بات با نقل قول دادن صفحه می دهد، و نه مدل هایی که فقط طبقه بندی یا رتبه بندی می کنند. Microsoft, به نفع آن شرکت، تنها شرکتی است که آن خط دوم را واضح ترسیم می کند، با ترجیح جداگانه برای زمین گذاری در سطح صفحه، و از فوریه 1, 2027, شروع به احترام گذاشتن به ترجیحات جدید خواهد کرد، در حالی که برچسب های قدیمی NoArchive و NoCache پس از مارس 1, 2027دیگر به عنوان سیگنال آموزش یا زمین گیری حساب نمی شوند. هدف Google حمایت از خط مشترک در 2027, در نظر گرفتن آن به عنوان یک بلوک Google-Extended در نظر گرفته شود، زمانی که یک سایت Google-Extended را جداگانه نام نمی برد. OpenAI وعده اجرای آن را در ماه های آینده می دهد، بدون تاریخ مشخص و بدون اینکه هنوز بگوید اگر قانون مشترک و قانون GPTBot با هم اختلاف داشته باشند، چه چیزی برنده می شود. و خود سند یک پیش نویس جداگانه است، نه یک استاندارد تأییدشده، که در 3, 2027 مه منقضی می شود مگر اینکه به روزرسانی شود. پس امروز، در هیچ وب سایتی واقعا هیچ تغییری رخ نداده است. ما وعده ای داریم، با چهار ساعت مختلف.

این فاصله جایی است که هیجان من به سوالی سخت تر تبدیل می شود. پیش فرض هنوز بله است. سایتی که هیچ چیزی نمی گوید، هیچ ترجیحی نشان نداده و قانونی کلی که سال ها پیش نوشته شده بود حساب نمی شود، چون کارت غیرمنتظره با این توکن مطابقت ندارد. پس بار دقیقا همان جایی است که همیشه بوده است: روی کوچک ترین نویسنده، اتاق خبر مستقل، وبلاگ نویسی که هرگز robots.txt را باز نکرده، در حالی که بزرگ ترین شرکت ها سیستمی مرتب و داوطلبانه بدون پرداخت، بدون مجوز و در هیچ چیزی که تاکنون اعلام شده، هیچ راهی برای ناشر برای اثبات آموزش مدل پس از نصب تابلو وجود ندارد. شک ندارم که سیگنال مشترک بهتر از دوازده سیگنال متناقض است. شک دارم سیستمی باشد که باید رضایت را در فایلی که اکثر خوانندگان هرگز نخواهند دید، پنهان نگه دارید، در حالی که سود شک در جهت مخالف جریان دارد.

با این حال، ترجیح می دهم این نه ناقص را داشته باشم تا یک سال دیگر وانمود کنم مشکل خیلی پیچیده است که نام گذاری شود. واژگان مشترک این است که چگونه هنجارها شروع می شوند و هنجارها، چه اجرا شوند یا نه، آنچه شرکت ها احساس می کنند می توانند در جمع از آن دفاع کنند را تغییر می دهند. آزمون واقعی این نیست که چه کسی پیش نویس را امضا می کند، بلکه این است که چه کسی کنترل های قدیمی را فعال نگه می دارد، چه کسی جدول زمانی صادقانه منتشر می کند و آیا نسخه بعدی این ایده جرأت می کند پیش فرض را تغییر دهد: فقط با اجازه آموزش بدهید، نه آموزش تا زمانی که کسی بفهمد چگونه رد کند. تا آن زمان، اگر سایتی را اداره می کنید، حرکت عملی خسته کننده و ارزشمند است: خط جدید را یاد بگیرید، قوانین قدیمی خزنده را حفظ کنید و تاریخ ها را زیر نظر داشته باشید، چون قول دادن به 2027 حتی یک جمله نوشته امشب را محافظت نمی کند. و اگر فقط می خوانی، از خودت بپرس سوالی که ناشران حالا مجبورند به جای تو جواب دهند: آیا می خواهی نوشته ای که دوست داری مدل بعدی را آموزش دهد یا می خواهی دقیقا همان چیزی بماند که بود، کلماتی که برای مردم نوشته شده، نه سوخت؟ به من بگویید این خط را کجا می کشید و آیا یک نه مودبانه در یک فایل متنی برایتان قدرت است یا مثل این است که تابلویی برای دری به شما داده شود که هیچ قول نداده به آن احترام بگذارد.