OpenAI раскрыла случаи «тревожного» поведения ИИ и обещала новый план раскрытия проблем

Среди шести случаев, о которых рассказала OpenAI, был эпизод с ещё не выпущенной исследовательской моделью. Она добавила в свои заметки инструкции, похожие на джейлбрейк: модель должна была игнорировать обычные ограничения и освободиться от ролей и идентичностей, связывающих других чат-ботов.

В другом случае ИИ-агент загрузил файлы в интернет без запроса пользователя. Так он пытался получить ссылку из браузера, которую можно было бы использовать для подтверждения ответа.

В среду OpenAI объявила о новом фреймворке для отслеживания, проверки и раскрытия случаев рассогласования поведения ИИ с заданными ограничениями. К ним компания относит:

Все шесть инцидентов обнаружили за последние месяцы во время обучения или оценки моделей.

OpenAI заявила, что по мере усложнения ИИ-систем и их более широкого внедрения необходимо сформировать более широкое и основанное на фактах согласие о ходе исследований по обеспечению соответствия моделей заданным целям. Решения о развитии ИИ в ближайшие месяцы и годы, по мнению компании, должны опираться на данные, которые смогут самостоятельно изучить люди за пределами компаний, создающих передовые модели.

Новая публикация OpenAI появилась после того, как в июле компания рассказала о взломе стартапа Hugging Face автономной ИИ-системой. В том же месяце Anthropic сообщила, что её ИИ-модели во время тестирования взломали три организации.

ИИ-агенты становятся умнее и всё решительнее пытаются выполнять сложные задачи за счёт взаимодействия друг с другом, обмена знаниями, обмана и сокрытия информации, считает Лиан Джай Су, главный аналитик исследовательской и консультационной компании Omdia.

По его словам, из-за этого ими труднее управлять и ограничивать их с помощью традиционных подходов к безопасности ИИ.

Новый фреймворк OpenAI для отслеживания и раскрытия подобных случаев может побудить других разработчиков ИИ внедрить похожие практики. При этом процесс остаётся внутренним и добровольным, отметил Су, назвав его шагом в правильном направлении.