수년간 AI 회사에 글쓰기 교육을 하지 말라고 말하는 것은 각 회사의 사적인 언어를 배우고 새로운 크롤러를 놓치지 않았기를 바라는 것이었습니다. 10월 30, 일, 그 터무니없는 일이 조금 덜 터무니없어졌습니다: Google, Microsoft, 와 OpenAI는 robots.txt에서 한 줄의 공유 라인을 존중하겠다고 했는데, 그 작은 파일인 사이트가 이미 크롤러와 소통하는 사이트이며, 그 뒤에 있는 초안은 Anthropic, 의 케빈 켈리가 작성했으며, Anthropic 이미 지원 구축을 시작했다고 말했습니다. 사이트 소유자는 더 이상 GPTBot, Google-Extended, ClaudeBot 등 새로 등장하는 모든 이름에 대해 별도의 규칙을 작성하지 않으며; 대신 한 그룹은 봇이 아닌 목적을 __usage_ai-교육이라고 명명하고, 사실상 이를 교육에 사용하지 말라고 하며, 예를 들어 프레스 키트 같은 단일 폴더를 열어두는 공간도 허용합니다. 이것은 작은 기술적 변화일 뿐이며, 바로 그 점이 중요합니다: 웹에는 마침내 '아니오'라는 공용 단어가 생겼기 때문입니다.

하지만 축하하기 전에 세부 약관을 꼭 읽어보세요. 이 '아니오'는 생각보다 좁고 느리기 때문입니다. 이는 사이트 주변의 울타리가 아니라 사용에 관한 선호입니다: 크롤러는 여전히 방문할 수 있고, 검색 결과는 삭제되지 않으며, 이미 수집되거나 모델에 내장된 단어에 대해서는 아무 언급도 없습니다. 이는 생성형 모델의 미래 학습 방식을 다루며, 모델이 학습한 내용을 바꾸기 위한 콘텐츠를 의미하며, 챗봇이 페이지를 인용해 내는 답변이 아니며, 분류나 순위만 내는 모델도 포함하지 않습니다. Microsoft, 칭찬할 점은 두 번째 선을 명확히 그려 별도의 페이지 수준 접지 선호도를 가지고 있으며, 2월 1, 2027, 일부터 새로운 선호도를 인정하기 시작할 것이고, 3월 1, 2027이후에는 기존 NoArchive와 NoCache 태그가 훈련 또는 접지 신호로 인정되지 않는 동안 크롤링을 시작할 예정입니다. Google 사이트가 별도로 -Extended를 명명하지 않을 때 공유 라인을 Google-Extended 블록으로 취급하면서 2027, 공유 라인을 지원Google목적입니다. OpenAI 향후 몇 달 내에 시행을 약속하지만, 날짜는 정하지 않았고, 공유 규칙과 GPTBot 규칙이 일치할 경우 어떤 것이 승리할지는 아직 밝히지 않았습니다. 그리고 문서 자체는 개별 초안이지 공식 표준이 아니며, 업데이트되지 않는 한 5월 3, 2027일에 만료됩니다. 그래서 오늘날 어떤 웹사이트에서도 실제로 변한 것은 없습니다. 우리는 네 가지 다른 시계가 있는 약속을 가지고 있습니다.

그 공백이 내 흥분이 더 어려운 질문으로 식는 지점이다. 기본값은 여전히 '예'이다. 아무 말도 하지 않는 사이트는 전혀 선호를 표현하지 않았고, 수년 전에 만들어진 포괄적인 규칙도 포함되지 않는다. 왜냐하면 와일드카드가 이 토큰과 일치하지 않기 때문이다. 그래서 부담은 항상 그랬던 곳에 그대로 있다: 가장 작은 작가, 독립 뉴스룸, 한 번도 robots.txt 문을 열지 않은 블로거에, 그리고 가장 큰 기업들은 대가도 없고 자발적인 깔끔하고 자발적인 시스템을 받으며, 지금까지 발표된 어떤 것도 출판사가 표지판이 설치된 후 모델이 훈련되었다는 것을 증명할 방법이 없다. 나는 공유 신호가 열두 개의 상충하는 신호보다 낫다는 것을 의심하지 않는다. 동의가 대부분의 독자가 절대 못할 파일에 담아야 하는 것이고, 의심의 여지가 반대로 흐르는 시스템도 의심스럽다.

그래도 나는 이 불완전한 '아니오'가 문제를 너무 복잡해서 이름 붙이기 힘든 척 또 1년을 더 하는 것보다는 낫다고 생각한다. 공유된 어휘는 규범이 어떻게 시작되는지, 그리고 규범이 강제되었든 아니든, 기업들이 공개적으로 방어할 수 있다고 느끼는 것을 바꾼다. 진짜 시험은 누가 초안에 서명하느냐가 아니라, 누가 옛 통제를 유지하는지, 누가 정직한 일정을 공개하는지, 그리고 다음 버전이 이 아이디어의 기본 조건을 뒤집을지이다: 허가 하에만 교육을 받고, 누군가 거절할 방법을 알아낼 때까지 교육하지 않는다. 그때까지는, 사이트를 운영한다면 실용적인 선택은 지루하고 가치 있다: 새 문장을 배우고, 기존 크롤러 규칙을 유지하며, 날짜를 주의 깊게 관찰한다. 왜냐하면 2027 에 대한 약속이 오늘 밤 쓰이는 단 한 문장도 보호하지 못하기 때문이다. 그리고 그저 읽기만 한다면, 출판사들이 지금 당신에게 답해야 하는 질문을 스스로에게 물어보세요: 당신이 사랑하는 글쓰기를 다음 모델에 가르치길 원하나요, 아니면 그대로 사람들을 위해 쓰인 단어로 남길 원하나요, 연료가 되길 원하지 않나요? 그 선을 어디에 그을지 말해 주세요. 그리고 텍스트 파일에서 정중히 거절하는 것이 당신에게 힘처럼 느껴지는지, 아니면 아무도 존중하지 않겠다고 약속한 문을 향해 건네지는 신호처럼 느껴지는지.