Протягом багатьох років казати AIкомпаніям не навчатися на вашому письмі означало вивчати приватну мову кожної компанії і сподіватися, що ви не пропустили новий краулер. У жовтні 30, ця абсурдна робота стала трохи менш абсурдною: Google, Microsoft, і OpenAI заявили, що поважатимуть одну спільну лінію robots.txt — маленький файл, де сайт уже спілкується з краулерами, а чернетку написав Кевін Келлі з Anthropic, , який сказав, що Anthropic вже почав будувати підтримку. Власник сайту більше не писав окремі правила для GPTBot, Google-Extended, ClaudeBot і кожного нового імені, що з'являється; Натомість одна група називає призначення, а не бота, __usage_ai-навчання, і фактично каже: не використовувати це для тренувань, залишаючи відкриту папку, наприклад, прес-кіт. Це невелика технічна зміна, і саме тому вона має значення: у вебі нарешті з'явилося спільне слово для «ні».

Але спочатку читайте дрібний шрифт перед святкуванням, бо це «ні» вужче, ніж здається, і повільніше. Це питання переваг щодо використання, а не обмеження навколо сайту: краулери все ще можуть заходити, результати пошуку не видаляються, і нічого не сказано про вже зібрані або вбудовані в модель. Це стосується майбутнього навчання генеративних моделей, тобто контенту, який використовується для зміни того, що модель вивчила, а не відповідей чатбота, цитуючи сторінку, а не моделей, які лише класифікують або ранжують. Microsoft, варто віддати належне, що єдина компанія чітко проводить цю другу межу з окремою перевагою на рівні заземлення сторінки, і почне дотримуватися нових уподобань, коли працюватиме з лютого 1, 2027, , поки старі теги NoArchive і NoCache перестануть вважатися тренувальними або заземленими сигналами після березня 1, 2027року. Google прагне підтримувати спільну лінію 2027, розглядати її як Google-Розширений блок, якщо сайт не називає Google-Розширений окремо. OpenAI обіцяє впровадження в найближчі місяці, без дати і ще не пояснюючи, що виграє, якщо спільне правило і правило GPTBot не погоджуються. Сам документ — це окремий чернетка, а не затверджений стандарт, який закінчується 3, 2027 травня, якщо не буде оновлений. Тож сьогодні на жодному сайті нічого не змінилося. У нас є обіцянка з чотирма різними часами.

Саме в цій прогалині моє захоплення переходить у складніше питання. За замовчуванням все ще так. Сайт, який нічого не каже, взагалі не висловив жодних уподобань, і загальне правило, написане роками тому, не враховується, бо дикий символ не відповідає цьому токену. Отже, тягар залишається саме там, де він завжди був: на найменшого автора, незалежну редакцію, блогера, який ніколи не відкривав robots.txt, тоді як найбільші компанії отримують охайну, добровільну систему без оплати, без ліцензії, і, у будь-якому анонсованому досі, немає способу довести, що модель була навчена після появи підпису. Я не сумніваюся, що спільний сигнал кращий за десяток суперечливих. Я сумніваюся в системі, де згоду треба навчитися приховувати, у файлі, який більшість читачів ніколи не побачить, а користь сумніву тече навпаки.

Проте я б радше мав це недосконале «ні», ніж ще один рік удавати, що проблема надто складна, щоб її назвати. Спільний словниковий запас — це те, як починаються норми, а норми, нав'язані чи ні, змінюють те, що компанії вважають готовими захищати публічно. Справжнім тестом буде не те, хто підпише чернетку, а хто підтримуватиме старі контролі, хто публікує чесні терміни, і чи наважиться наступна версія цієї ідеї змінити стандартне: тренувати лише з дозволу, а не тренуватися, поки хтось не зрозуміє, як відмовитися. А поки що, якщо ви керуєте сайтом, практичний крок нудний і вартий того, щоб вивчити нову лінію, зберігайте старі правила краулера і слідкуйте за дати, бо обіцянка для 2027 не захищає жодного речення, написаного сьогодні ввечері. І якщо ви читаєте лише — запитайте себе, на яке зараз змушені відповідати видавці: чи хочете, щоб улюблене письмо навчало наступну модель, чи хочете, щоб воно залишалося саме таким — слова, написані для людей, а не паливо? Скажіть, де ви проводите цю межу і чи відчуваєте вам ввічливе «ні» у текстовому файлі як владу, чи як отримати табличку дверей, які ніхто не обіцяв поважати.