Новый тип ИИ-модели от одного из создателей ChatGPT приводит разработчиков в восторг

Почему появился Jev

Алмейда был исследователем OpenAI и помогал создавать чат-бота, а затем разработал обучение с подкреплением на основе отзывов людей — технику обучения моделей, которая, возможно, сильнее всего повлияла на нынешний этап развития ИИ. Несмотря на возможности таких систем, результат его разочаровал.

Алмейда рассказывал TechCrunch, что разработчики получили впечатляющие модели, но не смогли сделать их полезными. Он долго искал причину и пришёл к выводу: отрасль оптимизирует системы под человеческий язык. За четыре года модели научились хорошо работать с ним, но для автоматизации это мало подходит, потому что компьютеры используют другой язык.

Два года назад Алмейда ушёл из OpenAI и основал TypeSafe AI. Стартап решил исправить эту проблему. На этой неделе компания выпустила Jev — новую модель на основе трансформера, которая не является большой языковой моделью.

Jev не создает текст. Вместо этого модель выдает вероятности — TypeSafe AI называет их «калиброванными решениями».

Отказ от языка дает модели несколько свойств:

На снимке экрана показано сравнение ответов Jev и модели OpenAI на одни и те же запросы

Источник: techcrunch.com

Первые применения

Разработчики проявили к Jev большой интерес. Из-за резкого роста спроса TypeSafe AI на короткое время потеряла возможность обслуживать пользователей через API.

Пока Jev особенно полезна для автоматизации программного обеспечения. Разработчики видят в ней более дешёвый и устойчивый способ добавлять интеллектуальные функции в код.

Пранит Шарма, инженер-программист Vercel — компании, которая создаёт инфраструктуру для ИИ-агентов, — рассказал об одном таком применении. Vercel использовала ChatGPT Luna 5.6 от OpenAI для классификации команд и проверки их безопасности. После замены Luna на Jev результаты стали приходить в 5–18 раз быстрее и оказались точнее.

Технический директор Bryo AI Нихил Мудхолкар сравнил Jev с Gemini на задаче классификации деловых писем. В его тесте Gemini оказалась немного точнее, но стоила в 10–20 раз дороже. Больше всего Мудхолкара заинтересовали оценки уверенности Jev: только эта модель возвращала настоящую вероятность, поэтому её удобно использовать для автоматизации рабочих процессов.

Проверка других моделей

Jev может не только заменять большие языковые модели в отдельных сценариях, но и дополнять их, проверяя нежелательное поведение.

Наблюдение одних ИИ-агентов за другими быстро становится дорогим. Алмейда считает, что для этого разумнее использовать Jev. По его замыслу, модель сможет отслеживать трассировки ИИ-агентов, работающих на базе больших языковых моделей, и предотвращать обходы ограничений.

Армин Ронахер, технический директор Earendil, которая разрабатывает открытую оболочку для моделей Pi, считает, что такой подход частично передаёт проблему галлюцинаций пользователю. Пользователь сам должен решить, как трактовать вероятность: результат с вероятностью 50% можно счесть случайным и отбросить, а результат с вероятностью 95% — использовать.

Ещё один возможный сценарий — маршрутизация моделей. По словам Ронахера, полезно заранее определять, нужна ли конкретной рабочей нагрузке определённая модель. Использовать для этого большую языковую модель дорого, а низкая стоимость и высокая скорость Jev позволяют выполнять такую сортировку в реальном времени.

Как появилось название

Именно на широкое распространение интеллектуального программного обеспечения рассчитывает Алмейда. Модель назвали в честь британского экономиста XIX века Уильяма Стэнли Джевонса. В его честь назван парадокс Джевонса: снижение стоимости товара может привести к тому, что его начинают использовать намного чаще.

В случае Jev снижение стоимости интеллектуальных функций, по замыслу TypeSafe AI, должно привести к их широкому внедрению.

Алмейда ожидает, что интеллектуальное программное обеспечение будет появляться повсюду — постепенно и распределённо. По его сравнению, это должно напоминать ранний интернет, а не крупные приложения, которые компании пытаются создавать сегодня.

Устройство и обучение модели

Алмейда не раскрывает архитектуру Jev. Внешние наблюдатели предполагают, что модель построена поверх большой языковой модели с открытыми весами.

TypeSafe AI называет Jev моделью System One. Она должна работать на основе интуиции, а не рассуждений, и концентрироваться на правильно поставленной задаче.

Алмейда утверждает, что Jev обучали исключительно на синтетических данных — данных, созданных искусственно. Для обучения компания использует метод, который называет обучением с подкреплением на основе калиброванных решений.

По словам Алмейды, TypeSafe AI с самого начала сделала ставку на полное владение своими данными. Он считает это решение одним из лучших в своей жизни — более удачным, чем запуск компании и RLHF. Половина TypeSafe AI, по его описанию, — лаборатория, которая занимается всем направлением статистически понятных синтетических данных.

Конкуренты и новые версии

Сейчас Jev остаётся единственной моделью такого типа. Однако Ронахер ожидает появления конкурентов, поскольку практическая польза подхода стала заметной.

Он считает, что подобные модели можно было заметить раньше. Возможно, разработчики не искали новые решения потому, что большие языковые модели оставались дешёвыми и субсидировались, поэтому необходимость в изобретательности была невысокой.

TypeSafe AI собирается выпускать новые версии Jev для других модальностей.

На вопрос о том, является ли TypeSafe AI передовой лабораторией, Алмейда ответил, что главным продуктом таких лабораторий обычно становятся страх или ажиотаж. Он хотел бы, чтобы главным продуктом его компании был интеллект. TypeSafe AI, по его словам, не стремится стать лабораторией в смысле ставок на бесконечное богатство, религию или строительство бога в центре обработки данных — либо на любую другую модную идею.