어제, 대부분이 아직 대화 중일 때 조용히 AI, Google에게 쥐를 건넸다.

10월 30, 일 Gemini API 변경 로그에는 긴 결과가 담긴 짧은 문장이 기록되었습니다: 컴퓨터 사용이 이제 상호작용과 생성콘텐츠 API 전반에 걸쳐 일반적으로 이용 가능해졌습니다. 쉽게 말해, 개발자는 이제 화면 스크린샷을 보고 무엇을 할지 결정하며 다음 클릭, 스크롤, 키 입력을 제안하는 에이전트를 만들 수 있습니다. 컴퓨터에서 실행되는 프로그램은 여전히 그 동작을 수행해야 하며, Google 한계를 직설적으로 밝힙니다: 이 도구는 실수를 할 수 있고, 보안 결함을 낼 수 있으며, 중요한 작업은 면밀한 감독이 필요합니다. 중요한 결정, 민감한 데이터, 또는 잘못된 클릭을 되돌릴 수 없는 모든 일에 사용하려면 사용하지 말라고 경고합니다.

그 경고가 전부인데, 이 주에 신뢰가 다른 곳에서 무너졌기 때문입니다. 10월 29, Anthropic의 Claude Code 확장 프로그램의 변조된 복사본2.1.313, 2.1.312이 Cursor의 확장 마켓플레이스에 약 11시간 동안 머물렀고 최대 5,000 사용자에게 도달했습니다. 그들은 지속적인 SSH 백도어를 심었고, Cursor 확장 프로그램을 단순히 삭제한다고 해도 제거할 수 없다고 경고했습니다. Anthropic 자체 시스템은 침해되지 않았다고 말합니다; 대신 누군가가 Cursor의 마켓플레이스 접근을 악용한 것입니다. 이 두 사실을 함께 읽으면 상황이 명확해집니다: 우리는 AI 요원에게 손을 주고 있고, 그 손은 우리가 설치한 소프트웨어를 통해 손을 뻗어 들어가지만 실제로 검사하지 않습니다.

OpenAI, 같은 날, 10월 30, 은 반대 방향으로 나아가 챗봇에게 다른 종류의 권한을 부여했습니다: 중단할 수 있는 권한을 부여했습니다. ChatGPT 이제 10대 계정의 것으로 추정되는 실용적인 무기와 보안 시스템 정보를 숨기며, 질문이 무해해 보여도 10대에게 속한다고 예측할 수 있으며, 누군가가 폭력에 집착하는 것처럼 보일 때 대화를 스스로 종료할 수 있게 되고, 반복된 종료는 계정을 일시정지시킬 수 있습니다. 첫 번째 커뮤니티 안전 보고서가 조기 2027에 약속되었습니다. 그래서 일주일 만에 한 회사는 버튼을 눌러줄 수 있는 AI 을, 또 다른 회사는 당신과 대화를 거부할 수 있는 AI 를 발송했습니다. 두 가지 모두 더 현명한 답변에 관한 것이 아니라 주체성에 관한 결정입니다.

이 미래에는 좀 더 차분한 버전이 있으며, 예상치 못한 곳에서 찾아왔다: 영국의 계획 사무소. Google DeepMind는 Gemini개발한 PlanAssist가 세 개 지방 의회 초기 시범 사업에서 가임자 평가 업무에 소요되는 시간을 58% 줄였으며, 현재는 12개 지방 의회와 함께 12개월 베타 단계로 들어간다. 중요한 것은 비율이 아니다. 모든 신청서에 대해 책임자들이 최종 결정권을 갖는다는 점이다. 기계는 완전히 인용된 보고서를 작성하고; 인간이 서명한다.

그래서 제가 생각한 부분은 이렇고, 진심으로 이 문제에 대해 논쟁하고 싶습니다. 저는 클릭할 수 있는 에이전트가 두렵지 않습니다. 하지만 아무도 않을 때, 아무도 확인하지 않은 도구로, 아무도 되돌릴 수 없는 작업을 수행하는 에이전트가 두렵습니다. 이제 문제는 AI 가 컴퓨터를 사용할 수 있느냐가 아닙니다. 컴퓨터는 사용할 수 있고, 앞으로는 데모가 아닌 생산 환경에서만 사용할 것입니다. 문제는 우리가 스스로 무엇을 간직하느냐입니다: 마지막 클릭, 최종 서명, 멈출 권리.

솔직히 말해봐. 오늘 밤 감독 없이 에이전트에게 가장 먼저 맡길 일은 뭐고, 아무리 좋아져도 절대 넘기지 않을 일은 뭐야? 네 대답은 업계 전체가 아직도 빠져 있는 정책이야.