Selama bertahun-tahun, memberitahu perusahaan AI untuk tidak melatih penulisan berarti mempelajari bahasa pribadi masing-masing perusahaan dan berharap Anda tidak melewatkan crawler baru. Pada 30, Oktober tugas absurd itu menjadi sedikit kurang absurd: Google, Microsoft, dan OpenAI mengatakan mereka akan menghormati satu baris bersama di robots.txt, file kecil tempat situs sudah berbicara dengan crawler, dan draft di baliknya ditulis oleh Kevin Kelley dari Anthropic, yang mengatakan Anthropic sudah mulai membangun dukungan. Pemilik situs tidak lagi menulis aturan terpisah untuk GPTBot, Google-Extended, ClaudeBot, dan setiap nama baru yang muncul; sebaliknya, satu kelompok menyebutkan tujuan, bukan bot, __usage_ai-training, dan mengatakan, pada dasarnya, jangan gunakan ini untuk pelatihan, dengan ruang untuk meninggalkan satu folder terbuka, misalnya press kit. Ini adalah perubahan teknis kecil, dan itulah mengapa hal ini penting: web akhirnya memiliki kata bersama untuk tidak.

Tapi baca syarat kecil sebelum merayakan, karena 'tidak' ini lebih sempit dari yang terdengar, dan lebih lambat. Ini adalah preferensi penggunaan, bukan pembatas di situs: crawler masih bisa berkunjung, hasil pencarian tidak dihapus, dan tidak membahas kata-kata yang sudah dikumpulkan atau sudah dimasukkan ke dalam model. Ini mencakup pelatihan model generatif di masa depan, artinya konten yang digunakan untuk mengubah apa yang telah dipelajari model, bukan jawaban chatbot dengan mengutip halaman, dan bukan model yang hanya mengklasifikasikan atau memberi peringkat. Microsoft, patut diapresiasi, adalah satu-satunya perusahaan yang jelas menarik garis kedua itu, dengan preferensi grounding halaman yang terpisah, dan mereka akan mulai menghormati preferensi baru saat mulai merayapi mulai Februari 1, 2027, sementara tag lama NoArchive dan NoCache berhenti dihitung sebagai sinyal pelatihan atau grounding setelah Maret 1, 2027. Google bertujuan mendukung jalur bersama di 2027, memperlakukannya sebagai blok Google-Extended ketika sebuah situs tidak menamai Google-Extended secara terpisah. OpenAI menjanjikan implementasi dalam beberapa bulan mendatang, tanpa tanggal dan tanpa mengatakan apa yang akan dimenangkan jika aturan bersama dan aturan GPTBot tidak sepakat. Dan dokumen itu sendiri adalah draf individual, bukan standar yang disetujui, akan berakhir pada 3, 2027 Mei kecuali diperbarui. Jadi hari ini, tidak ada yang benar-benar berubah di situs web manapun. Kami memiliki janji, dengan empat jam yang berbeda.

Kesenjangan itulah di mana antusiasme saya berubah menjadi pertanyaan yang lebih sulit. Defaultnya tetap ya. Situs yang tidak mengatakan apa-apa tidak menyatakan preferensi sama sekali, dan aturan umum yang ditulis bertahun-tahun lalu tidak dihitung, karena wildcard tidak cocok dengan token ini. Jadi beban tetap di tempat yang selalu ada: pada penulis terkecil, ruang redaksi independen, blogger yang belum pernah membuka robots.txt, sementara perusahaan terbesar mendapatkan sistem sukarela yang rapi tanpa pembayaran, tanpa lisensi, dan, dalam apa pun yang diumumkan sejauh ini, tidak ada cara bagi penerbit untuk membuktikan bahwa model dilatih setelah tanda dipasang. Saya tidak meragukan bahwa sinyal bersama lebih baik daripada selusin sinyal yang saling bertentangan. Saya ragu sistem di mana persetujuan harus dipelajari untuk ditahan, dalam file yang kebanyakan pembaca tidak akan lihat, sementara manfaat keraguan mengalir ke arah sebaliknya.

Namun, saya lebih memilih tidak yang sempurna ini daripada satu tahun lagi berpura-pura masalah terlalu rumit untuk disebutkan. Kosakata bersama adalah bagaimana norma dimulai, dan norma, ditegakkan atau tidak, mengubah apa yang perusahaan rasa bisa mereka bela di depan umum. Ujian sebenarnya bukan siapa yang menandatangani draft, tapi siapa yang menjaga kontrol lama tetap berfungsi, siapa yang menerbitkan timeline jujur, dan apakah versi berikutnya dari ide ini berani membalikkan default: pelatihan hanya dengan izin, bukan pelatihan sampai seseorang menemukan cara menolak. Sampai saat itu, jika Anda menjalankan situs, langkah praktisnya membosankan dan layak dilakukan: pelajari garis baru, pertahankan aturan crawler lama Anda, dan perhatikan tanggalnya, karena janji untuk 2027 tidak melindungi satu kalimat pun yang ditulis malam ini. Dan jika Anda hanya membaca, tanyakan pada diri sendiri pertanyaan yang kini dipaksa dijawab penerbit untuk Anda: apakah Anda ingin tulisan yang Anda cintai mengajarkan model berikutnya, atau Anda ingin tetap seperti dulu, kata-kata yang ditulis untuk orang, bukan bahan bakar? Katakan di mana kamu menarik batas itu, dan apakah penolakan sopan dalam file teks terasa seperti kekuatan bagimu, atau seperti diberikan tanda pintu yang tidak ada yang berjanji untuk dihormati.