Ранний сотрудник Anthropic и экс-глава операций METR нашли, как обуздать ИИ-агентов

Новый уровень контроля

Квист, один из первых сотрудников Anthropic, и Даттани, который с 2024 по 2025 год был операционным директором METR, считают, что ИИ быстро становится умнее. При этом внедрять и контролировать его становится сложнее: чем выше способности системы, тем больше рисков возникает при её использовании.

Основатели запустили AIUC, чтобы помогать компаниям безопасно применять ИИ и разработчикам моделей и агентов — проверять их продукты. Среди клиентов стартап называет Cursor, Lovable, Harvey и ElevenLabs.

Во вторник AIUC объявила о привлечении $40 млн в раунде серии A. Его возглавил Ribbit Capital, а First Harmonic выступил участником. До этого компания получила $15 млн на посевном раунде от Ната Фридмана через его фонд NFDG, а также от Emergence, сооснователя Anthropic Бена Манна и других инвесторов. Общий объём финансирования AIUC достиг $55 млн.

Инвесторов заинтересовал подход AIUC: компания переносит знакомую модель кибербезопасности на новый набор рисков, связанных с ИИ. Стартап создал независимый уровень аудита и сертификации для ИИ-агентов.

По словам Квиста, банки, больницы, государственные учреждения и военные организации уже отказываются от внедрения ИИ не из-за недостаточной умности моделей. Причина в другом: они обещают своим клиентам, что система будет делать, а чего делать не станет, но пока никто не может это гарантировать.

Как работает AIUC-1

В качестве основы AIUC выбрала широко распространённый стандарт кибербезопасности SOC 2. На его основе компания разработала собственный стандарт AIUC-1 и сервис тестирования, который проверяет агентов на соответствие требованиям.

Чтобы сформировать стандарт, AIUC собрала консорциум примерно из 250 специалистов по безопасности и управлению рисками — именно они обычно покупают ИИ-агентов. Компания регулярно встречается с ними и выясняет:

Ответы участников консорциума определяют содержание тестов. Затем AIUC прогоняет агента примерно через 5 000 проверок, чтобы оценить его поведение в сценариях, связанных с:

По итогам формируется отчёт примерно на 100 страниц. В нём описывается, где агент работает безопасно и надёжно, а где не справляется с требованиями. Сами тесты запускают ИИ-агенты, а данные анализирует ИИ. Финальный аудит, по словам Квиста, проверяют люди.

Связь с METR

Подход AIUC частично напоминает работу METR — организации, где Даттани был операционным директором с 2024 по 2025 год и остаётся членом совета директоров. METR проводит похожие проверки для передовых ИИ-лабораторий, однако до недавнего времени в основном оценивала производительность: может ли агент надёжно выполнять задачи.

METR входила в число независимых исследовательских организаций, которые OpenAI привлекла для расследования инцидента с Hugging Face.

Генеральный директор Anthropic Дарио Амодеи недавно также призвал ИИ-индустрию замедлить развитие передовых моделей. Он связал это с быстрым ростом числа инцидентов, связанных с опасным поведением систем.

В своей публикации Амодеи предложил обязать передовые ИИ-лаборатории использовать встроенных независимых оценщиков. Такие специалисты должны наблюдать за работой систем и проверять их безопасность. В качестве одного из возможных вариантов он назвал METR.

AIUC не собирается размещать своих специалистов на площадках заказчиков. Однако общий замысел похож: предоставить компаниям независимую оценку безопасности ИИ-агентов. Перед покупкой заказчик должен понимать, где система проходит проверки и заслуживает доверия, а где остаются проблемы, требующие внимания.