Может ли ИИ представлять серьёзную угрозу для нашего существования?

Внимание смещают с ответственности компаний

Снова появляются технооптимисты, утверждающие, что ИИ создаст сверхразум и уничтожит человечество. Мы слышали это уже много раз, пишет доктор Мхайри Эйткен, директор и сооснователь Our AI Collective CIC.

Это знакомый сюжет почти каждого научно-фантастического фильма об ИИ. Такие истории существовали всегда, но время от времени снова выходят на первые полосы: когда кто-то из ведущих ИИ-компаний увольняется, предупреждает об опасности или когда так называемые ведущие исследователи ИИ подписывают открытое письмо.

По мнению Эйткен, подобные заявления появляются не случайно. Обычно они совпадают с усилением контроля над разработкой ИИ, ростом общественных требований к подотчётности компаний или призывами к регулированию отрасли.

Она называет это подменой: ИИ-компании и их сторонники переводят внимание на гипотетические и сенсационные разговоры о сверхразумных машинах, контролировать которые якобы способны только сами компании. В результате обсуждение того, за что эти организации должны отвечать уже сейчас, отходит на второй план.

Речь идёт не о реакции на новые технологические прорывы, а о защите от общественного внимания к действиям ИИ-компаний. Последние предупреждения появились одновременно с ростом обеспокоенности:

Именно эти темы, считает Эйткен, заслуживают места в новостях. ИИ действительно связан с вполне реальными рисками, которые проявляются уже сейчас, а не в гипотетическом будущем. Опасность исходит от организаций и людей, разрабатывающих и контролирующих технологии, а не от самой технологии. Поэтому подотчётными нужно сделать именно их.

Когда ИИ перестаёт быть инструментом

В статье Дары Керр о реакции на предупреждение бывшего исследователя Anthropic Джейкоба Коксона, заявившего об угрозе ИИ для человечества, политики, исследователи и представители индустрии в основном сошлись в одном решении: нужны дополнительные меры защиты, более жёсткое регулирование и аварийные выключатели. Статья называлась «Anthropic описала попытки злоумышленников использовать ИИ для создания биологического оружия» и вышла 10 сентября.

Такой подход предполагает, что будущий ИИ останется обычным инструментом. Аварийные выключатели, защитные ограничения и правила работают только с системами, которые изначально предназначены для их соблюдения.

Большая часть дискуссии сосредоточена на интеллекте, но сам по себе интеллект не является решающей границей. Важнее понять, появятся ли у системы собственные цели, предпочтения или ценности. Интеллектуальная система, которая просто выполняет инструкции, остаётся инструментом. Система, которая начинает самостоятельно трактовать, расставлять приоритеты или преследовать цели, становится чем-то иным.

Айзек Азимов понимал это различие. Три закона робототехники создавались не как готовое решение проблемы безопасности ИИ. В десятках рассказов они, напротив, показывали, как управление на основе правил даёт сбой, когда машина начинает интерпретировать правила, а не просто им подчиняться.

Если ИИ останется инструментом, главная опасность может заключаться в том, что люди передадут системам собственное суждение. Такие системы способны демонстрировать уверенность, не обладая пониманием.

Если же у ИИ появятся собственные цели, правила и аварийные выключатели перестанут быть защитой и превратятся в препятствия.

Так считает Иэм Лёуринк, Испания.

Контроль важнее риторики о сверхразуме

Если ИИ будут регулировать, нужно изменить и язык, которым о нём говорят, пишет Дэвид Блэк, ссылаясь на редакционную статью The Guardian «Взгляд The Guardian на контроль ИИ: человечество не может передать выживание на аутсорсинг», опубликованную 11 сентября.

По его мнению, создание машины, которую разработчик больше не контролирует, нельзя описывать как появление в ней сверхразума. Это свидетельствует о некомпетентности самого разработчика.

Изменение риторики помогло бы яснее говорить о необходимости контроля и надзора.

Дэвид Блэк, Лондон.