دیروز، وقتی بیشتر ما هنوز با AI, Google صحبت می کردیم، آرام موش را به آن دادیم.

در اکتبر 30, Gemini API تغییرات یک خط کوتاه با پیامدهای طولانی ثبت کرد: استفاده از کامپیوتر اکنون به طور کلی در سراسر APIهای تعاملات و تولید محتوا در دسترس است. به زبان ساده، توسعه دهنده اکنون می تواند عاملی بسازد که اسکرین شات های یک صفحه را نگاه کند، تصمیم بگیرد چه کاری انجام دهد و کلیک، اسکرول یا ضربه کلید بعدی را پیشنهاد دهد. برنامه ای که روی کامپیوتر شما اجرا می شود هنوز باید این عمل را انجام دهد و Google درباره محدودیت ها صریح است: ابزار ممکن است اشتباه کند، ممکن است نقص های امنیتی داشته باشد و وظایف مهم نیاز به نظارت دقیق دارند. هشدار می دهد که نباید از آن برای تصمیمات حیاتی، داده های حساس یا هر چیزی که کلیک اشتباه قابل بازگرداندن است استفاده نشود.

این هشدار کل داستان است، چون این هفته ای بود که اعتماد در جای دیگری هم شکسته شد. در اکتبر 29, نسخه های افزونه Claude Code Anthropic، نسخه های 2.1.312 و 2.1.313, را دستکاری کردند و حدود یازده ساعت در بازار افزونه Cursorماندند و به حداکثر 5,000 کاربران رسیدند. آن ها یک SSH پشتی مداوم کاشته کردند و Cursorهشدار دادند که فقط حذف افزونه آن را حذف نخواهد کرد. Anthropic می گوید سیستم های خودش به خطر نیفتاده اند؛ کسی دسترسی به بازار Cursorرا سوءاستفاده کرده است. این دو واقعیت را با هم بخوانید و تصویر واضح تر می شود: ما به AI نمایندگان دست می دهیم و دست ها از نرم افزاری که نصب می کنیم عبور می کنند بدون اینکه واقعا آن را بررسی کنند.

OpenAI, در همان روز، اکتبر 30, در جهت مخالف حرکت کرد و دست متفاوتی به چت بات خود داد: قدرت توقف. ChatGPT اکنون اطلاعات عملی سلاح ها و سیستم های امنیتی را از حساب هایی که پیش بینی می کند متعلق به نوجوانان است نگه می دارد، حتی وقتی سؤال بی ضرر به نظر می رسد، و می تواند مکالمه را به تنهایی پایان دهد وقتی کسی به خشونت علاقه مند شده باشد، با پایان های مکرر که می توانند حساب را متوقف کنند. اولین گزارش ایمنی جامعه برای اوایل 2027وعده داده شده است. پس در یک هفته، یک شرکت AI ای ارسال کرد که می تواند دکمه ها را فشار دهد و شرکت دیگری AI ای را ارسال کرد که می تواند از ادامه صحبت با شما امتناع کند. هر دو تصمیمات مربوط به اختیار هستند، نه پاسخ های هوشمندانه تر.

نسخه ای آرام تر از این آینده وجود دارد و از جایی غیرمنتظره آمده است: دفاتر برنامه ریزی در انگلستان. Google دیپ مایند می گوید برنامه PlanAssist که Geminiساخته است، زمان صرف شده توسط افسران برای ارزیابی وظایف سرپرستان را در آزمایش های اولیه در سه شورا 58درصد کاهش داده و اکنون وارد یک دوره بتای دوازده ماهه با دوازده شورای دیگر می شود. نکته مهم درصد نیست. مسئله این است که افسران در هر درخواست تصمیم نهایی را می زنند. دستگاه گزارش های کاملا استناد شده را تهیه می کند؛ انسان هنوز امضا می کند.

پس اینجاست که من به آن می رسم و واقعا می خواهم درباره این موضوع بحث کنم. من از عاملی که بتواند کلیک کند نمی ترسم. من از عاملی می ترسم که وقتی کسی تماشا نمی کند، از طریق ابزارهایی که هیچ بررسی نکرده، کلیک می کند، روی کارهایی که هیچ نمی تواند آن ها را برگرداند. سؤال این نیست که آیا AI می تواند از کامپیوتر استفاده کند یا نه. می تواند، و از این به بعد خواهد کرد، در تولید، نه در دموها. سؤال این است که چه چیزی را برای خودمان نگه می داریم: کلیک نهایی، امضای نهایی، حق گفتن توقف.

صادقانه بگو. اولین کاری که امشب بدون نظارت به یک نماینده می سپاری چیست و تنها کاری که هرگز تحویل نمی دهی، هرچقدر هم خوب باشد، چیست؟ پاسخ تو سیاستی است که کل صنعت هنوز از آن غایب است.