Бывший исследователь OpenAI создал ИИ-модель, которая оценивает варианты, а не пишет текст

Сортировка запросов вместо ответов клиентам

В документации TypeSafe приводит пример с интернет-магазином. Клиент пишет, что с него дважды списали деньги за заказ, и просит вернуть второй платёж. Прежде чем кто-то займётся обращением, его нужно классифицировать:

Разработчик подключает программу магазина к Jev, задаёт эти вопросы и перечисляет допустимые ответы. С каждым новым сообщением программа передаёт модели текст клиента. В ответ приходит не письмо, а, например, метка «проблема с платежом» и вероятность того, что клиент требует возврата денег.

Дальше программа магазина применяет заранее заданные правила:

Jev выполняет оценку, а программа решает, что делать с результатом.

При этом модель сама не подтверждает факт двойного списания и не возвращает деньги. Это нужно отдельно проверить по реальным транзакциям. После подтверждения статуса другой чат-бот может сообщить его клиенту. Для одной только сортировки обращения чат-бот не требуется.

Ответы за доли секунды

TypeSafe заявляет, что Jev отвечает за 70–500 миллисекунд — это во много раз быстрее даже самых быстрых современных языковых моделей. Модель не генерирует текст шаг за шагом, а, по словам компании, вычисляет несколько результатов параллельно. Если добавить в один запрос новые вопросы, время ответа увеличится лишь незначительно.

Короткая задержка может позволить проверять каждый ответ ИИ-помощника ещё до его отправки. Например:

TypeSafe описывает такие проверки в примерах пайплайнов. Компания также называет возможные применения в продажах и обслуживании клиентов:

Обычные языковые модели тоже умеют выдавать заранее заданные категории и структуры данных. У OpenAI для этого есть Structured Outputs. Поэтому одного структурированного формата ответа недостаточно, чтобы Jev отличалась от конкурентов. Модели нужно выполнять такие задачи не только быстрее или дешевле, но и с достаточно высоким качеством.

Опубликованные тесты производительности имеют ограничения. TypeSafe сравнила четыре созданных ею пайплайна, а в качестве ориентира использовала ответы других ИИ-моделей, а не независимо проверенные правильные решения. GPT-6 Astra в оценке также не участвовала.

При этом сама модель стоит недорого:

Отсутствие галлюцинаций не исключает ошибок

TypeSafe продвигает Jev как модель, которая не способна галлюцинировать. Но это обещание относится только к структуре допустимого ответа: модель не выдаст вариант за пределами заранее заданного набора. Ошибочный выбор среди разрешённых вариантов всё равно возможен.

Jev предназначена для того, чтобы сделать экономичнее множество небольших оценок, выполняемых в фоне. Достаточно ли надёжны такие оценки, компаниям предстоит проверить самостоятельно на своих задачах. Пока разработчики получают доступ к модели через список ожидания.