Nhiều năm qua, việc bảo AI công ty không đào tạo bài viết của bạn đồng nghĩa với việc học ngôn ngữ riêng của từng công ty và hy vọng bạn không bỏ lỡ trình thu thập dữ liệu mới. Vào ngày 30, tháng 10, công việc vô lý đó bớt vô lý hơn: Google, Microsoft, và OpenAI nói họ sẽ tôn trọng một dòng chung trong robots.txt, tập tin nhỏ nơi một trang web đã giao tiếp với trình thu thập dữ liệu, và bản thảo phía sau được viết bởi Kevin Kelley của Anthropic, , người nói Anthropic đã bắt đầu xây dựng sự hỗ trợ. Chủ sở hữu trang web sẽ không còn viết các quy tắc riêng cho GPTBot, Google-Extended, ClaudeBot và mọi tên mới xuất hiện; Thay vào đó, một nhóm nêu tên mục đích thay vì bot, __usage_ai-training, và thực chất nói rằng đừng dùng nó cho đào tạo, chỉ để mở một thư mục duy nhất, ví dụ như bộ công cụ báo chí. Đây là một thay đổi kỹ thuật nhỏ, và đó chính là lý do tại sao nó quan trọng: web cuối cùng đã có một từ chung cho việc không.

Nhưng hãy đọc kỹ các điều khoản nhỏ trước khi ăn mừng, vì câu trả lời này hẹp hơn nghe có vẻ và chậm hơn. Đó là sở thích về cách sử dụng, không phải là rào chắn quanh trang web: trình thu thập dữ liệu vẫn có thể truy cập, kết quả tìm kiếm không bị xóa, và không đề cập gì đến các từ đã được thu thập hoặc đã tích hợp vào mô hình. Nó đề cập đến việc huấn luyện các mô hình sinh tạo trong tương lai, tức là nội dung dùng để thay đổi những gì mô hình đã học, không phải câu trả lời mà chatbot đưa ra bằng cách trích dẫn một trang, chứ không phải các mô hình chỉ phân loại hoặc xếp hạng. Microsoft, đáng khen là công ty duy nhất vạch rõ ranh giới thứ hai đó, với một ưu tiên tiếp đất ở cấp trang riêng biệt, và họ sẽ bắt đầu tôn trọng các ưu tiên mới khi thu thập dữ liệu từ tháng 2 1, 2027, trong khi các thẻ NoArchive và NoCache cũ không còn được tính là tín hiệu huấn luyện hoặc tín hiệu trì hoãn sau tháng 3 1, 2027. Google nhằm hỗ trợ đường chung trong 2027, coi nó như một Google- Khối mở rộng khi một trang web không nêu tên Google- Mở rộng riêng biệt. OpenAI hứa sẽ triển khai trong những tháng tới, không có ngày cụ thể và chưa nói rõ điều gì sẽ thắng nếu quy tắc chung và quy tắc GPTBot không đồng ý. Và tài liệu này là bản dự thảo riêng lẻ, không phải tiêu chuẩn được xác nhận, sẽ hết hạn vào ngày 3, 2027 tháng 5 trừ khi được cập nhật. Vì vậy, ngày nay, không có gì thực sự thay đổi trên bất kỳ trang web nào. Chúng ta có một lời hứa, với bốn đồng hồ khác nhau.

Khoảng cách đó là lúc sự hào hứng của tôi nguội xuống thành một câu hỏi khó hơn. Mặc định vẫn là có. Một trang web không nói gì thì không thể hiện sự ưu tiên nào cả, và một quy tắc chung được viết từ nhiều năm trước cũng không được tính, vì một lá bài tự do không khớp với token này. Vì vậy, gánh nặng vẫn giữ nguyên như trước đây: cho nhà văn nhỏ nhất, phòng tin tức độc lập, blogger chưa từng mở robots.txt, trong khi các công ty lớn nhất có một hệ thống tự nguyện, gọn gàng không thanh toán, không cần cấp phép, và trong bất cứ điều gì được công bố cho đến nay, không có cách nào để nhà xuất bản chứng minh một mô hình đã được đào tạo sau khi biển hiệu được treo lên. Tôi không nghi ngờ rằng một tín hiệu chung tốt hơn hàng tá tín hiệu mâu thuẫn. Tôi nghi ngờ một hệ thống mà sự đồng thuận là điều bạn phải học cách giữ lại, trong một tập tin mà hầu hết độc giả sẽ không bao giờ thấy, trong khi lợi ích của sự nghi ngờ lại chảy ngược lại.

Tuy nhiên, tôi vẫn thà có con số không hoàn hảo này còn hơn là thêm một năm giả vờ rằng vấn đề quá phức tạp để gọi tên. Một từ vựng chung là cách các chuẩn mực bắt đầu, và chuẩn mực, dù được thực thi hay không, thay đổi những gì các công ty cảm thấy họ có thể bảo vệ trước công chúng. Thử thách thực sự không phải là ai ký bản nháp, mà là ai giữ cho các kiểm soát cũ hoạt động, ai công bố các dòng thời gian trung thực, và liệu phiên bản tiếp theo của ý tưởng này có dám đảo ngược mặc định: chỉ đào tạo khi có sự cho phép, không đào tạo cho đến khi ai đó tìm ra cách từ chối. Cho đến lúc đó, nếu bạn điều hành một trang web, bước đi thực tế là nhàm chán và đáng làm: học câu mới, giữ nguyên quy tắc crawler cũ, và theo dõi ngày tháng, vì lời hứa cho 2027 không bảo vệ được một câu nào được viết tối nay. Và nếu bạn chỉ đọc, hãy tự hỏi câu hỏi mà các nhà xuất bản giờ đây buộc phải trả lời thay: bạn muốn bài viết bạn yêu thích dạy cho mô hình tiếp theo, hay bạn muốn nó giữ nguyên nguyên như trước, những lời viết cho con người, không phải nhiên liệu? Hãy cho tôi biết bạn vạch ra ranh giới đó ở đâu, và liệu một lời từ chối lịch sự trong một tệp văn bản có khiến bạn cảm thấy quyền lực hay như được trao một dấu hiệu cho một cánh cửa mà không ai hứa sẽ tôn trọng.