বছরের পর বছর ধরে, AI সংস্থাগুলিকে আপনার লেখার উপর প্রশিক্ষণ না দেওয়ার অর্থ প্রতিটি সংস্থার ব্যক্তিগত ভাষা শেখা এবং আশা করা যে আপনি একটি নতুন ক্রলার মিস করেননি। 30, অক্টোবর সেই অযৌক্তিক কাজটি কিছুটা কম অযৌক্তিক হয়ে উঠেছে: Google, Microsoft, এবং OpenAI বলেছিলেন যে তারা robots.txt সালে একটি ভাগ করা লাইনকে সম্মান জানাবে, ছোট ফাইলটি যেখানে একটি সাইট ইতিমধ্যে ক্রলারদের সাথে কথা বলেছে এবং এর পিছনে খসড়াটি Anthropic, এর কেভিন কেলি লিখেছিলেন যিনি বলেছিলেন যে Anthropic ইতিমধ্যে সমর্থন তৈরি করা শুরু করেছে। একটি সাইটের মালিক আর জিপিটিবট, Google-এক্সটেন্ডেড, ক্লডবট এবং প্রদর্শিত প্রতিটি নতুন নামের জন্য আলাদা নিয়ম লিখবেন না; পরিবর্তে, একটি গ্রুপ একটি বটের পরিবর্তে একটি উদ্দেশ্যের নাম দেয়, __usage_ai-প্রশিক্ষণ, এবং বলে, প্রকৃতপক্ষে, এটি প্রশিক্ষণের জন্য ব্যবহার করবেন না, একটি একক ফোল্ডার খোলা রাখার জায়গা রয়েছে, উদাহরণস্বরূপ একটি প্রেস কিট। এটি একটি ছোট প্রযুক্তিগত পরিবর্তন, এবং ঠিক এই কারণেই এটি গুরুত্বপূর্ণ: ওয়েবে অবশেষে না এর জন্য একটি ভাগ করা শব্দ রয়েছে।

তবে উদযাপন করার আগে সূক্ষ্ম মুদ্রণটি পড়ুন, কারণ এটি শোনার চেয়ে সংকীর্ণ এবং ধীর। এটি ব্যবহারের বিষয়ে একটি পছন্দ, সাইটের চারপাশে বেড়া নয়: ক্রলাররা এখনও পরিদর্শন করতে পারে, অনুসন্ধানের ফলাফলগুলি সরানো হয় না এবং এটি ইতিমধ্যে সংগৃহীত বা ইতিমধ্যে কোনও মডেলে বেক করা শব্দগুলি সম্পর্কে কিছুই বলে না। এটি জেনারেটিভ মডেলগুলির ভবিষ্যতের প্রশিক্ষণকে অন্তর্ভুক্ত করে, যার অর্থ কোনও মডেল যা শিখেছে তা পরিবর্তন করতে ব্যবহৃত সামগ্রী, কোনও পৃষ্ঠা উদ্ধৃত করে চ্যাটবট যে উত্তরগুলি দেয় তা নয়, এবং মডেলগুলি নয় যা কেবল শ্রেণিবদ্ধ বা র্যাঙ্ক করে। Microsoft, তার কৃতিত্বের জন্য, একটি সংস্থা দ্বিতীয় লাইনটি স্পষ্টভাবে আঁকছে, একটি পৃথক পৃষ্ঠা-স্তরের গ্রাউন্ডিং পছন্দের সাথে, এবং এটি 1, 2027, ফেব্রুয়ারি থেকে ক্রল করার সাথে সাথে নতুন পছন্দগুলিকে সম্মান জানাতে শুরু করবে যখন এর পুরানো নোআর্কাইভ এবং নোক্যাশ ট্যাগগুলি 1, 2027মার্চের পরে প্রশিক্ষণ বা গ্রাউন্ডিং সংকেত হিসাবে গণনা করা বন্ধ করে দেবে। Google লক্ষ্য শেয়ারড লাইনটিকে সমর্থন করা 2027, এটি একটি Google-এক্সটেন্ডেড ব্লক হিসাবে বিবেচনা করা যখন কোনও সাইট আলাদাভাবে Google-এক্সটেন্ডেড নাম দেয় না। OpenAI আগামী মাসগুলিতে বাস্তবায়নের প্রতিশ্রুতি দেয়, কোনও তারিখ ছাড়াই এবং এর ভাগ করা নিয়ম এবং এর জিপিটিবিট নিয়ম একমত না হলে কী জিতবে তা এখনও না বললে। এবং নথিটি নিজেই একটি স্বতন্ত্র খসড়া, অনুমোদিত মান নয়, এটি আপডেট না হওয়া পর্যন্ত 3, 2027 মে শেষ হবে। সুতরাং আজ, কোনও ওয়েবসাইটে আসলে কিছুই পরিবর্তন হয়নি। আমাদের একটি প্রতিশ্রুতি রয়েছে, চারটি ভিন্ন ঘড়ি সহ।

এই ব্যবধানটি যেখানে আমার উত্তেজনা একটি কঠিন প্রশ্নে শীতল হয়ে যায়। ডিফল্টটি এখনও হ্যাঁ। এমন একটি সাইট যা বলে যে কিছুই কোনও পছন্দ প্রকাশ করেনি, এবং কয়েক বছর আগে লেখা একটি কম্বল নিয়ম গণনা করা হয় না, কারণ একটি ওয়াইল্ডকার্ড এই টোকেনের সাথে মেলে না। সুতরাং বোঝাটি ঠিক যেখানে ছিল সেখানেই থাকে: ক্ষুদ্রতম লেখক, স্বাধীন নিউজরুম, ব্লগার যিনি কখনও robots.txt খোলেননি, যখন বৃহত্তম সংস্থাগুলি কোনও অর্থ প্রদান ছাড়াই একটি পরিচ্ছন্ন, স্বেচ্ছাসেবী সিস্টেম পায় এবং এখন পর্যন্ত ঘোষণা করা কোনও কিছুতে, কোনও প্রকাশকের পক্ষে প্রমাণ করার কোনও উপায় নেই যে কোনও মডেল সাইনটি উপরে যাওয়ার পরে প্রশিক্ষিত ছিল না। আমি সন্দেহ করি না যে একটি ভাগ করা সংকেত এক ডজন বিরোধপূর্ণ সংকেতের চেয়ে ভাল। আমি সন্দেহ করি যে এমন একটি সিস্টেম যেখানে সম্মতি এমন কিছু যা আপনাকে অবশ্যই আটকে রাখতে শিখতে হবে, এমন একটি ফাইলে বেশিরভাগ পাঠক কখনই দেখতে পাবেন না, যখন সন্দেহের সুবিধাটি অন্য দিকে প্রবাহিত হয়।

তবুও, আমি সমস্যাটি নামকরণ করা খুব জটিল বলে ভান করার আরও এক বছরের চেয়ে এই অসম্পূর্ণ না থাকব। একটি ভাগ করা শব্দভাণ্ডার হ'ল কীভাবে নিয়মগুলি শুরু হয় এবং নিয়মগুলি, প্রয়োগ করা বা না করা, সংস্থাগুলি যা মনে করে তা পরিবর্তন করে যা তারা জনসমক্ষে রক্ষা করতে পারে। আসল পরীক্ষাটি খসড়ায় কে স্বাক্ষর করে তা নয়, তবে কে পুরানো নিয়ন্ত্রণগুলি কাজ করে, কে সৎ সময়রেখা প্রকাশ করে এবং এই ধারণার পরবর্তী সংস্করণটি ডিফল্টটি ফ্লিপ করার সাহস করে কিনা: কেবল অনুমতি নিয়ে প্রশিক্ষণ, প্রশিক্ষণ নয় যতক্ষণ না কেউ কীভাবে প্রত্যাখ্যান করতে হয় তা নির্ধারণ না করে। ততক্ষণ পর্যন্ত, যদি আপনি কোনও সাইট চালান তবে ব্যবহারিক পদক্ষেপটি বিরক্তিকর এবং মূল্যবান: নতুন লাইনটি শিখুন, আপনার পুরানো ক্রলার নিয়মগুলি রাখুন এবং তারিখগুলি দেখুন, কারণ 2027 জন্য একটি প্রতিশ্রুতি আজ রাতে লেখা একটি বাক্যকে রক্ষা করে না। এবং যদি আপনি কেবল পড়েন তবে নিজেকে জিজ্ঞাসা করুন যে প্রকাশকরা এখন আপনার জন্য উত্তর দিতে বাধ্য হচ্ছেন: আপনি যে লেখাটি পছন্দ করেন তা কি পরবর্তী মডেলটি শেখাতে চান, বা আপনি কি চান যে এটি ঠিক যেমন ছিল, মানুষের জন্য লেখা শব্দ, জ্বালানী নয়? আমাকে বলুন যে আপনি কোথায় এই রেখাটি আঁকেন, এবং কোনও পাঠ্য ফাইলে একটি নম্র না আপনার কাছে শক্তির মতো মনে হয় কিনা, বা এমন একটি দরজার জন্য একটি চিহ্ন দেওয়ার মতো কেউ সম্মান করার প্রতিশ্রুতি দেয়নি।