«Обучение с подкреплением для калиброванных решений» в заголовках об ИИ — но без шумихи

Что такое RLCD

Вокруг нового термина уже возник ажиотаж, но RLCD — это название, придуманное TypeSafe. За ним не стоит глобально признанная стандартизированная технология.

Есть и другие похожие подходы:

RLCD не совпадает с ними, хотя у этих методов есть общие концептуальные черты.

Термин принадлежит TypeSafe и описывает закрытую технологию компании. Это не генеративный ИИ и не большая языковая модель, а инструмент, который может использовать обычная система ИИ или другое программное обеспечение.

Методы обучения с подкреплением

Для языковых моделей особенно важен подход RLHF — обучение с подкреплением на основе обратной связи от людей. Именно его активно применяли при настройке ChatGPT, и сейчас этот метод используют почти все разработчики ИИ.

Сначала языковую модель обучают на данных из интернета. Затем её настраивают для более удобного и приемлемого общения. Для этого компании нанимают людей, которые оценивают ответы модели: ставят положительную или отрицательную отметку за содержание и форму ответа.

Модель математически учитывает эти оценки и корректирует своё поведение. Если во время первоначального обучения она усвоила нецензурные выражения, проверяющие, скорее всего, будут понижать оценки за их использование. Модель отметит такие ответы как нежелательные для повседневного общения.

Название RLHF описывает механику метода: люди оценивают ответы ИИ, а полученная обратная связь усиливает одни варианты поведения и ослабляет другие.

Видимость уверенности

Современные генеративные модели и языковые модели часто отвечают слишком уверенно. Формулировки звучат авторитетно, поэтому пользователь легко начинает считать ответ правильным. Особенно этому способствует категоричный тон без оговорок и сомнений.

Разработчики могли бы настроить модели так, чтобы они звучали осторожнее. RLHF позволяет это сделать. Однако уверенный ИИ, вероятно, воспринимается лучше, чем система, которая постоянно кажется неуверенной. Пользователь может предпочесть смелые ответы и избегать модели, которая редко говорит убедительно.

Как показать степень уверенности

Отсюда возникает вопрос: как понять, насколько модель уверена в своём ответе?

Один из подходов — попросить языковую модель указывать степень уверенности или неуверенности вместе с ответом. Тогда она сообщает не только результат, но и связанный с ним уровень уверенности либо вероятность каждого варианта.

Получить такие оценки можно с помощью промта. Пользователям, которые регулярно работают с языковыми моделями, полезно уметь запрашивать у ИИ уровни уверенности, сомнения и вероятности.

Универсальный ИИ или специализированный инструмент

Представим, что вы спрашиваете генеративный ИИ, стоит ли покупать автомобиль, который вам понравился. Языковая модель может уточнить ваши предпочтения, финансовое положение и другие обстоятельства, а затем ответить «да» или «нет».

Но в таком ответе не будет указано, насколько модель уверена. Если попросить её добавить вероятность, она может сообщить, например, 80% для ответа «да» и 20% для ответа «нет». Тогда первоначальное простое «да» предстанет уже не как полностью уверенный вывод, а как решение с вероятностью 80%.

Расчёт вероятностей требует от языковой модели дополнительных вычислений и токенов, а ответ может занять больше времени. Обычные языковые модели не специально создавались для такой работы. Вместо этого они могут обратиться к внешнему приложению, предназначенному именно для расчёта вероятностей.

Инструмент TypeSafe

15 сентября 2026 года TypeSafe представила Jev — инструмент, который определяет степень уверенности и неуверенности. Его может вызывать обычный ИИ или использовать другое программное обеспечение.

Свой метод TypeSafe называет RLCD. Внутренние подробности работы компания не раскрыла, поэтому Jev остаётся «чёрным ящиком»: по открытым данным нельзя точно установить, какие механизмы лежат внутри.

На сайте TypeSafe Jev описывают так:

На сайте также опубликованы видеодемки. В одной из них автоматизированный бот играет в сетевую игру Doom. Судя по описанию, Jev помогает ему определить, куда и когда стрелять: инструмент рассчитывает вероятности, после чего бот действует на их основе. В демке используется структурированное состояние, представленное текстом; изображения пока не применяются.

Что обещает инструмент

TypeSafe подчёркивает, что Jev быстрее и дешевле обычного генеративного ИИ при выполнении тех же задач. Если принять это утверждение, оно выглядит логично: специализированный инструмент обычно должен эффективнее решать конкретную задачу. Специализированное сверло, предназначенное для отверстий, ожидаемо окажется быстрее и дешевле универсального сверла, если использовать его по назначению.

Отдельное внимание СМИ привлекло заявление о том, что Jev якобы не допускает галлюцинаций.

Галлюцинацией называют случай, когда генеративный ИИ выдаёт выдуманный ответ, не основанный на фактах. Такие ошибки опасны: пользователь не знает, когда столкнётся с ними, а уверенная формулировка может заставить поверить даже в нелепый или вредный вывод.

Что считать галлюцинацией

Рассмотрим тот же пример с покупкой автомобиля.

Если попросить генеративный ИИ прямо ответить, стоит ли покупать машину, можно ожидать ответа «да» или «нет». Но если не ограничивать модель этими двумя вариантами и задать вопрос в свободной форме, она может ответить иначе.

Например, вместо рекомендации купить автомобиль или отказаться от покупки модель сообщит, что автомобили больше не имеют смысла, и предложит найти левитационный костюм, позволяющий летать из одного места в другое. Если пользователь не знает, что такие костюмы не существуют как реальный способ передвижения, он может отказаться от покупки автомобиля и начать искать левитационный костюм.

Структурированные решения

Если заранее потребовать от ИИ отвечать только «да» или «нет» и модель выполнит эту инструкцию, рассказа о левитационном костюме не будет. Ответ окажется приведён к заданному типу.

Инструмент со структурированными входными данными и заранее определёнными вариантами работает похожим образом. Если для вопроса о покупке автомобиля задать только два возможных ответа — «да» и «нет», — система выберет один из них. Она не сможет добавить историю о левитационных костюмах, если всё остальное работает как задумано.

На первый взгляд это устраняет вероятность галлюцинации. Но возможна другая ошибка: правильным ответом должно было быть «да», а инструмент выбрал «нет». Тогда система не вышла за пределы допустимых вариантов, но всё равно приняла неверное решение.

Поэтому отсутствие свободного выдуманного текста ещё не означает стопроцентно правильного выбора. В одном случае ИИ создаёт неподтверждённые утверждения в произвольном тексте, в другом — выбирает неправильный вариант из заранее заданного набора. Можно назвать и то и другое галлюцинацией, но это зависит от определения термина, который и без того используется в вычислительных системах неоднозначно.

Гибридный ИИ

Структурированный инструмент требует заранее определить варианты ответа и правила выбора. Это удобно, например, для автоматической обработки запросов на возврат товара. Клиент получает один из заранее заданных ответов — «да» или «нет». Вероятность выбора можно скрыть от клиента, но оставить доступной сотруднику службы поддержки, если тот будет разбирать жалобу.

Такая схема напоминает экспертные системы, которые также называли системами, основанными на знаниях, или системами на основе правил. В прошлом разработчики создавали инструменты для структурированных решений, использовали правила и вероятности, а затем внедряли их в разные области.

Со временем экспертные системы потеряли популярность: их считали слишком хрупкими и сложными в разработке. Однако возможен их возврат в сочетании с генеративным ИИ и языковыми моделями. Такие решения называют гибридными системами ИИ или нейросимволическим ИИ.

Вывод

Новый инструмент TypeSafe показывает, что будущее ИИ может быть связано с сочетанием разных подходов: генеративного ИИ, искусственных нейронных сетей и систем на основе правил.

При этом описание Jev в публичном поле смешивает структурированное принятие решений с заявлениями о полном отсутствии галлюцинаций. Эти понятия стоит разделять.

Компаниям следует выбирать инструмент под конкретную задачу. Для одних проблем подойдёт обычный генеративный ИИ. Если задача связана со структурированным решением, попытка решить её только генеративной моделью может оказаться неуместной. В таком случае генеративный ИИ можно объединить со специализированным инструментом, который работает по заданным правилам и возвращает ограниченный набор решений.

Человечество называют животным, создающим инструменты. Поэтому важно выбирать подходящий инструмент для конкретной работы — и заранее понимать, как именно вы собираетесь использовать ИИ.