Kemarin, saat sebagian besar dari kami masih berbicara dengan AI, Google diam-diam menyerahkan tikus itu kepadanya.

Pada Oktober 30, changelog Gemini API mencatat baris singkat dengan konsekuensi panjang: Penggunaan Komputer kini tersedia secara umum di API Interactions dan GenerateContent. Dalam bahasa sederhana, pengembang kini dapat membangun agen yang melihat tangkapan layar layar, memutuskan apa yang harus dilakukan, dan mengusulkan klik, scroll, atau penekanan tombol berikutnya. Program yang berjalan di komputer Anda masih harus menjalankan aksi tersebut, dan Google tegas tentang batasannya: alat ini bisa membuat kesalahan, dapat membawa celah keamanan, dan tugas penting memerlukan pengawasan ketat. Alat ini memperingatkan agar tidak menggunakannya untuk keputusan penting, data sensitif, atau apa pun di mana klik yang salah tidak dapat dibatalkan.

Peringatan itu adalah seluruh cerita, karena minggu ini juga terjadi saat kepercayaan rusak di tempat lain. Pada Oktober 29, salinan Claude Code ekstensi Anthropic, versi 2.1.312 dan 2.1.313, tersimpan di pasar ekstensi Cursorselama sekitar sebelas jam dan menjangkau paling banyak 5,000 pengguna. Mereka menanam pintu belakang SSH yang persisten, dan Cursor memperingatkan bahwa hanya menghapus ekstensi itu tidak akan menghapusnya. Anthropic mengatakan sistemnya sendiri tidak dikompromikan; seseorang malah menyalahgunakan akses ke marketplace Cursor. Baca kedua fakta itu bersama-sama dan gambaran menjadi lebih tajam: kami memberikan tangan kepada agen AI, dan tangan itu meraih melalui perangkat lunak yang kami pasang tanpa benar-benar memeriksanya.

OpenAI, pada hari yang sama, Oktober 30, bergerak ke arah berlawanan dan memberikan chatbot-nya tangan yang berbeda: kekuatan untuk berhenti. ChatGPT kini akan menahan senjata praktis dan informasi sistem keamanan dari akun yang diprediksi milik remaja, bahkan ketika pertanyaannya tampak tidak berbahaya, dan mereka akan mampu mengakhiri percakapan sendiri ketika seseorang tampak terobsesi pada kekerasan, dengan akhir berulang yang bisa menjeda akun. Laporan Keamanan Komunitas pertama dijanjikan untuk 2027awal. Jadi dalam satu minggu, satu perusahaan mengirimkan AI yang bisa menekan tombol untuk Anda, dan perusahaan lain mengirimkan AI yang bisa menolak terus berbicara dengan Anda. Keduanya adalah keputusan tentang agensi, bukan tentang jawaban yang lebih cerdas.

Ada versi masa depan yang lebih tenang ini, dan datang dari tempat yang tidak terduga: kantor perencanaan di Inggris. Google DeepMind mengatakan PlanAssist yang dibangun Geminimemangkas waktu yang dihabiskan petugas untuk tugas penilaian rumah tangga sebesar 58% pada pilot awal di tiga dewan, dan kini memasuki beta dua belas bulan dengan dua belas dewan tambahan. Detail yang penting bukanlah persentasenya. Yang penting adalah petugas memegang keputusan akhir pada setiap aplikasi. Mesin menyusun laporan yang dikutip lengkap; seorang manusia masih menandatangani.

Jadi di sinilah saya berakhir, dan saya benar-benar ingin berdebat tentang ini. Saya tidak takut pada agen yang bisa mengklik. Saya takut pada agen yang mengklik saat tidak ada yang menonton, melalui alat yang tidak diperiksa, pada tugas yang tidak bisa dibatalkan. Pertanyaannya bukan lagi apakah AI bisa menggunakan komputer. Komputer bisa, dan mulai sekarang akan digunakan, dalam produksi, bukan dalam demo. Pertanyaannya adalah apa yang kita simpan untuk diri kita sendiri: klik terakhir, tanda tangan terakhir, hak untuk mengatakan berhenti.

Jujur saja. Apa tugas pertama yang akan Anda serahkan kepada agen malam ini tanpa pengawasan, dan tugas apa yang tidak akan pernah Anda serahkan, sebaik apapun hasilnya? Jawaban Anda adalah kebijakan yang masih belum dimiliki seluruh industri.