Годами, чтобы AI компании не обучались вашему письму, нужно было изучать личный язык каждой компании и надеяться, что вы не пропустили новый краулер. В октябре 30, года эта абсурдная работа стала чуть менее абсурдной: Google, Microsoft, и OpenAI заявили, что будут соблюдать одну общую строку в robots.txt — небольшой файл, где сайт уже взаимодействует с краулерами, а черновик был написан Кевином Келли из Anthropic, , который сказал, что Anthropic уже начал строить поддержку. Владелец сайта больше не будет писать отдельные правила для GPTBot, Google-Extended, ClaudeBot и каждого нового имени; Вместо этого одна группа называет цель, а не бота, __usage_ai-обучение, и фактически говорит: не используйте это для обучения, оставив возможность оставить открытой одну папку, например, пресс-кит. Это небольшое техническое изменение, и именно поэтому оно важно: в интернете наконец-то появилось общее слово для «нет».

Но читайте мелкий шрифт перед празднованием, потому что это «нет» уже, чем звучит, и медленнее. Речь идёт о предпочтениях использования, а не о заборе вокруг сайта: краулеры всё ещё могут заходить, результаты поиска не удаляются, и ничего не говорится о уже собранных или внедрённых в модель. Это касается будущего обучения генеративных моделей, то есть контента, используемого для изменения того, чему модель научилась, а не ответов, которые чат-бот даёт цитированием страницы, а не модели, которые только классифицируют или ранжуют. Microsoft, заслуживает уважения — именно та, кто чётко проводит вторую черту с отдельным предпочтением на уровне страницы, и начнёт уважать новые предпочтения, пока с февраля 1, 2027, года, пока старые теги NoArchive и NoCache перестанут считаться обучающими или заземляющими сигналами после марта 1, 2027года. Google стремится поддерживать общую строку в 2027, рассматривать её как Google-Расширенный блок, если сайт не называет Google-Extended отдельно. OpenAI обещает внедрение в ближайшие месяцы, без даты и без уточнения, что выигрывает, если их общее правило и правило GPTBot не согласны. Сам документ — это индивидуальный черновик, а не одобренный стандарт, который истекает 3, 2027 мая, если не будет обновлен. Так что сегодня на самом деле ни на одном сайте ничего не изменилось. У нас есть обещание с четырьмя разными часами.

Этот разрыв — вот где моё восторг сменяется более сложным вопросом. По умолчанию всё ещё да. Сайт, который ничего не пишет, вообще не выразил предпочтений, а общее правило, написанное много лет назад, не учитывается, потому что джокер-карта не соответствует этому токену. Так что бремя остаётся ровно там, где всегда было: на самом маленьком авторе, независимой редакции, на блоге, который никогда не открывал robots.txt, в то время как крупнейшие компании получают аккуратную, добровольную систему без оплаты, без лицензирования и, в любых объявлениях, без возможности для издателя доказать, что модель была обучена после появления вывески. Я не сомневаюсь, что общий сигнал лучше, чем дюжина противоречивых сигналов. Я сомневаюсь в системе, где согласие нужно учиться скрывать в файле, который большинство читателей никогда не увидит, а преимущество сомнения течёт в обратную сторону.

Тем не менее, я бы предпочёл этот несовершенный «нет», чем ещё год притворяться, что проблема слишком сложна, чтобы её назвать. Общий словарный запас — это то, как начинаются нормы, а нормы, соблюдаемые или нет, меняют то, что компании могут защищать публично. Настоящий тест будет не в том, кто подпишет черновик, а кто поддерживает старые контроли, кто публикует честные сроки, и решит ли следующая версия этой идеи изменить стандартное: тренироваться только с разрешения, а не тренироваться, пока кто-то не разберётся, как отказаться. До тех пор, если вы управляете сайтом, практический шаг скучен и стоит того: выучите новую линейку, сохраняйте старые правила краулера и следите за датами, потому что обещание для 2027 не защищает ни одного предложения, написанного сегодня вечером. И если вы только читаете, задайте себе вопрос, на который теперь приходится отвечать издатели: хотите ли вы, чтобы любимое письмо преподавало следующую модель, или чтобы оно оставалось таким же, как было — слова, написанные для людей, а не топливо? Скажите, где вы проводите эту черту и кажется ли вежливое «нет» в текстовом файле для вас силой или как табличка двери, которую никто не обещал уважать.