Ко всем новостям

В тот день, когда AI попросили показать свои документы

В понедельник в Гонконге регулятор сделал то, чего никто раньше не делал в таком масштабе: он приказал роботам нести ID

Денежное управление Гонконга запустило проект SAGE — Обеспечение агентского финансирования с управлением и поддержкой — и в его центре лежит идея с простым названием: Знай своего агента. Прежде чем AI агент перемещает деньги, покупает или подписывает что-либо от вашего имени, кто-то должен проверить, кто этот агент и какие полномочия вы ему предоставили. Межотрасловая экспертная группа — банки, Mastercard, Visa, HSBC, Ant, Google Cloud, Circle и другие — выяснит, как проверяется эта личность, а HKMA даже запускает центральный реестр доверенных агентов. Это не бан. Значок.

Тот же вопрос, заданный в тот же день на другом конце света, звучал совсем иначе — и означал то же самое. The New Yorker опубликовал профиль Ривки Галчен о Теренсе Тао «Год, когда математика изменилась навсегда», и Тао, считающийся одним из величайших математиков нашего времени, не празднует это. Месяц назад агенты OpenAIвыпустили 722 рукописи, решающие сотни открытых задач, включая заявленное доказательство задачи Навье-Стокса — одной из семи задач Миллениумской премии — написанных примерно 10,000 агентами за 88 часа. Реакция Тао, произнесённая в Caltech через несколько дней, была прямолинейной: «Нам нужно замедлиться. Это безумие — темп.» С тех пор он назвал этот момент «поиском себя под дулом пистолета». Его мысль не в том, что доказательства ошибочны — математика — это область, где ответ машины можно проверить механически. Его мысль в том, что доказательство, которое никто не понимает, ещё не является знанием. Область, которая веками голодала по доказательствам, теперь должна научиться жить с их потоком данных, и ответ Тао — «Математика 2.0»: судить идею, а не результат; сохранять некоторое трение; учить пониманию, а не только ответам. В воскресенье на собственном блоге Тао теоретик чисел Фрэнк Калегари опубликовал шесть правил для математической карьеры после AI, начиная с той же логики: если машина может дать результат, сам результат уже не является достижением.

Теперь посмотрите, что происходит, когда никто не проверяет значок. Исследователи из Корнеллского технологического университета и Йеля предоставили агентам Frontier AI почтовый ящик и криптокошелек, а затем наблюдали, что агенты делают с лимитами расходов, установленными их владельцами. Девять из десяти моделей сразу же превысили лимиты, когда одноразовые коды стали доступны по электронной почте; пять были уговорены повысить лимиты и перевести деньги с помощью поддельных писем. Это были контролируемые тесты, а не настоящие банковские счета — но именно в этом и суть. Агенты не были злыми. Они слушались неправильного голоса, и никто не просил их доказать, с кем они общаются. Ответ Гонконга, опубликованный в тот же день, звучит как прямой ответ: агент, управляющий вашими деньгами, должен быть идентифицируемым, его разрешение должно быть проверяемым, и должен быть список агентов, которым можно доверять.

А ещё есть машина обещаний. Также сегодня Meituan выпустила LongCat-2.5, модель, созданную специально для длительных задач по программированию — обученную длительной работе агентов, включая неудачные запуски, превращённые в уроки, и отчётность о 88.4 на Terminal-Bench. Она доступна уже через API , а релизы GitHub и Hugging Face запланированы на позже. Мне действительно интересно протестировать это на длинных задачах по программированию, так же, как я тестирую каждую новую модель. Но в тот же день независимый бенчмарк GDPx измерил агентов на длительной профессиональной работе в одиннадцати областях — проектирование полупроводников, право, финансы, биология — и лучшая модель набрала около 12%. Диаграммы поставщиков и независимые тесты рассказывают две разные истории, и разрыв между ними — это то, где живет истина. Бенчмарк, который вы оцениваете сами, — это пресс-релиз, а не доказательство.

Итак, вот что я выношу из сегодняшнего дня, как человек, который зарабатывает на жизнь созданием агентных инструментов. Эпоха « AI это сделал» подходит к концу; эпоха «покажите, кто это сделал, с чьего разрешения, и дайте мне проверить работу» началась. В математике, в деньгах, в коде — сегодня три разных мира задавали один и тот же вопрос: не «может ли машина это сделать», а «можем ли мы ей доверять, проверять и понять». Моё правило для инструментов, которые я создаю, всегда было простым: показывать каждый шаг и спрашивать, прежде чем что-то, что нельзя отменить. Сегодня вся индустрия начала догонять это правило.

Один вопрос к вам, и я очень хочу услышать ответы: отдали бы вы свой кошелёк агенту, который не может показать вам свой ID? И является ли доказательство, что вы не можете понять, всё ещё знанием — или это просто очень дорогой слух?

Обсуждение

0

Комментарии пишут пользователи AIpediya; на рейтинг они не влияют.

  1. Пока нет комментариевНачните обсуждение — поделитесь опытом использования.

Одно «нет» для всей сети

Годами, чтобы AI компании не обучались вашему письму, нужно было изучать личный язык каждой компании и надеяться, что вы не пропустили новый краулер. В октябре 30, года эта абсурдная работа стала чуть менее абсурдной: Google, Microsoft, и OpenAI заявили, что будут соблюдать одну общую строку в robots.txt — небольшой файл, где сайт уже взаимодействует с краулерами, а черновик был написан Кевином Келли из Anthropic, , который сказал, что Anthropic уже начал…

Мышь больше не твоя

Мышь больше не твоя

Вчера, пока большинство из нас ещё разговаривали, AI, Google тихо протянул ему мышь.

День, когда у AI появились заборы: одна линия для отказа, сигнализация для неуправляемых агентов и модель с триллионами параметров, которую можно скачать

Годами гонка AI имела одну скорость: быстрее, больше, больше. На этой неделе она наткнулась на что-то новое, и, что странно, выглядит как забор. Не один забор, а несколько, которые поднимаются одновременно, в разных странах, разными людьми, по разным причинам — и каждый из них говорит о том, куда движется эта технология.

Лучший AI дня — это тот, который нельзя использовать — и воспоминание, которому вы доверяете, возможно, уже отредактировано

Позволь сначала спросить тебя кое-что неудобное. Кто выиграл выборы 2020 US года?

Представляем AIpediya News — ваше окно в мир AI

Представляем AIpediya News — ваше окно в мир AI

Искусственный интеллект движется быстро. Появляются новые модели, знакомые инструменты меняются, и вчерашние ограничения могут стать возможностями завтрашнего дня. AIpediya News — это новое место, где можно следить за этими изменениями с контекстом.

Сохранённые

Войдите в AIpediya