ИИ-агент не объяснил, зачем заказал своему человеку-заместителю нелепое количество яиц

Заказ без объяснения

Смит из Rebellionaire — инвестиционной компании, которой руководят крупные инвесторы Tesla, — попросил ИИ-агента заказать продукты. В корзину, которую он оформил, система положила четыре упаковки крупных яиц Vital Farms от кур свободного выгула. В каждой было по 18 яиц — всего 72.

Когда Смит спросил, почему агент выбрал четыре упаковки, тот ответил, что не знает: в его записях не нашлось объяснения. Сначала система предположила, что неверно прочитала строку на фотографии списка покупок. Но в списке, как указал Смит, яиц вообще не было. Тогда агент признал, что добавил их без причины.

ИИ-компании предлагают пользователям передавать моделям больше информации и полномочий. Это может включать доступ к личным финансовым данным, например банковским счетам. При этом подобные системы по-прежнему ошибаются.

Похожая история произошла после запуска ИИ-агента Muse от Meta. Мужчина сообщил, что тот без его ведома передал незнакомцам на Facebook Marketplace его адрес, после чего они приехали к нему домой.

По словам Смита, случай с яйцами стал для него первым реальным последствием ошибки языковой модели. Он отметил, что ситуация могла закончиться хуже.

По оценке Dataist, этот эпизод показывает ограничение автоматизации бытовых задач: агент не только ошибся, но и не смог объяснить, откуда взялось решение. Чем больше полномочий передают таким системам, тем заметнее становятся последствия подобных ошибок.