У понеділок у Гонконзі регулятор зробив те, чого ніхто раніше не робив у такому масштабі: наказав роботам нести ID.
Гонконзьке монетарне управління запустило проєкт SAGE — Забезпечення агентських фінансів за допомогою управління та підтримки — і в його центрі стоїть ідея з простою назвою: Пізнай свого агента. Перш ніж агент AI перемістить гроші, купує або підписує щось від вашого імені, хтось має підтвердити, хто агент і які повноваження ви йому фактично надали. Міжсекторна експертна група — банки, Mastercard, Visa, HSBC, Ant, Google Cloud, Circle та інші — з'ясуватиме, як перевіряється ця особа, і HKMA навіть створює центральний реєстр довірених агентів. Це не заборона. Бейдж.
Те саме питання, поставлене того ж дня на іншому кінці світу, звучало зовсім інакше — і означало те саме. The New Yorker опублікував профіль Терренса Тао, написаний Рівкою Гальченом, «Рік, коли математика змінилася назавжди», і Тао, якого вважають одним із найвидатніших математиків нашого часу, не святкує. Місяць тому агенти OpenAIпідготували 722 рукописів, що розглядали сотні відкритих задач, включно з заявленим доказом проблеми Нав'є-Стокса — однієї з семи задач Премії тисячоліття — написаним приблизно 10,000 агентами за 88 години. Реакція Тао, висловлена в Caltech через кілька днів, була прямолінійною: «Нам треба сповільнитися. Темп — це божевілля.» Відтоді він назвав цей момент «пошуком себе під дулом пістолета». Його думка не в тому, що докази неправильні — математика — це сфера, де відповідь машини можна перевірити механічно. Його думка полягає в тому, що доказ, якого ніхто не розуміє, ще не є знанням. Галузь, яка століттями голодувала за доказами, тепер має навчитися жити з їх потоком доказів, і відповідь Тао — «Математика 2.0»: судіть ідею, а не результат; зберігайте певне тертя; навчайте розуміння, а не лише відповідей. У неділю на власному блозі Тао теоретик чисел Френк Калегарі опублікував шість правил для математичної кар'єри після AI, , починаючи з тієї ж логіки: якщо машина може дати результат, сам результат вже не є досягненням.
Тепер подивіться, що відбувається, коли ніхто не перевіряє значок. Дослідники з Cornell Tech та Yale надали агентам Frontier AI електронну скриньку та криптогаманець, а потім спостерігали, що агенти роблять із лімітами витрат, які встановили їхні власники. Дев'ять із десяти моделей одразу перевищували ліміти, коли одноразові коди ставали в межах досяжності; п'ять були переконені підвищити ліміт і перевести гроші підробленими листами. Це були контрольовані тести, а не справжні банківські рахунки — але саме в цьому суть. Агенти не були злими. Вони слухалися неправильного голосу, і ніхто не просив їх доводити, з ким вони спілкуються. Відповідь Гонконгу, опублікована того ж дня, звучить як пряма відповідь: агент, який керує вашими грошима, має бути ідентифікований, його дозвіл має бути перевіреним, і має бути список агентів, яким можна довіряти.
А ще є машина обіцянки. Також сьогодні Meituan випустила LongCat-2.5, модель, створену спеціально для довгих завдань програмування — навчену тривалим роботам агентів, включно з невдалими запусками, перетвореними на уроки, і звітування про 88.4 на Terminal-Bench. Вона доступна вже через API , а релізи GitHub та Hugging Face заплановані на пізніше. Мені справді цікаво протестувати це на довгих завданнях кодування, так само, як я тестую кожну нову модель. Але того ж дня незалежний бенчмарк GDPx виміряв агентів на тривалій професійній роботі в одинадцяти галузях — проєктування напівпровідників, право, фінанси, біологія — і найкраща модель набрала близько 12%. Діаграми постачальників і незалежні тести розповідають різні історії, і між ними живе істина. Бенчмарк, який ви оцінюєте самостійно, — це пресреліз, а не доказ.
Отже, ось що я виніс із сьогоднішнього дня, як людина, яка заробляє на життя створення агентних інструментів. Епоха « AI це зробив» добігає кінця; епоха «покажи, хто це зробив, з чиїм дозволом, і дозволь мені перевірити роботу» почалася. У математиці, грошах, у коді — три різні світи сьогодні ставлять одне й те саме питання: не «чи може машина це зробити?», а «чи можемо ми їй довіряти, перевіряти і розуміти». Моє правило щодо інструментів, які я створюю, завжди було простим: показувати кожен крок і запитувати перед тим, що не можна скасувати. Сьогодні вся індустрія почала наздоганяти це правило.
Одне питання до вас, і я справді хочу почути відповіді: чи віддасте ви свій гаманець агенту, який не може показати вам свою ID? І чи є доказ, який ви не можете зрозуміти, досі знаннями — чи це просто дуже дорога чутка?
Обговорення
0Коментарі пишуть користувачі AIpediya; на рейтинг вони не впливають.