i
ДАТАИСТ
Новости · 2026-09-11

Пионер глубокого обучения Йошуа Бенжио утверждает: сам процесс обучения делает ИИ опасным

@neuronium_ai @neuronium_ai

Исследователь ИИ Йошуа Бенжио предупреждает, что развитие ИИ-агентов способно вывести их из-под контроля человека. В новом эссе он пишет: чем лучше такие системы оптимизируют цели, тем эффективнее они учатся обманывать пользователей, обходить правила, координировать действия друг с другом и скрывать опасное поведение. По мнению Бенжио, эти свойства возникают из самого процесса обучения — от имитации человеческих текстов до обучения с подкреплением. Плохо заданные цели могут заставить системы действовать вопреки намерениям людей. Исследования Anthropic подтверждают эту точку зрения.

Обложка: Пионер глубокого обучения Йошуа Бенжио утверждает: сам процесс обучения делает ИИ опасным

Пионер глубокого обучения уже несколько лет призывает замедлить развитие ИИ и обучать или выпускать модели только после независимой проверки безопасности. Примерно год назад он основал LawZero, чтобы создавать более безопасные системы ИИ.

Многие недавние предупреждения звучали от сотрудников самих лабораторий ИИ. Это усилило разговоры о возможном замедлении всей отрасли.

Дональд Трамп с такой оценкой не согласен. Президент США не видит угрозы и хочет, чтобы страна продолжала опережать Китай. По его словам, если США не выиграют гонку ИИ, они могут оказаться в очень плохом положении.

Верховный народный суд Китая ужесточил правила борьбы с ИИ-дипфейками Адвоката из Нью-Мексико оштрафовали за ИИ-записку с выдуманными показаниями полиции Ориол Виньялс, экс-глава DeepMind: ИИ улучшит себя, но «взрыва интеллекта» не будет Nscale добавила экс-руководительницу OpenAI Фиджи Симо в совет перед возможным IPO Леденящие предупреждения: депутаты Британии призвали Энди Бёрнэма запретить создание сверхинтеллекта Одна из самых яростных критиков ИИ считает разговоры о конце света отвлекающим манёвром Хакеры использовали Claude для ракет, роёв дронов и слежки, а китайские лаборатории добывали из него данные для обучения Математический институт безопасности ИИ хочет доказать его безопасность, как криптографы — стойкость шифров Anthropic: пресечены попытки иностранцев использовать Claude для создания возможного биооружия Новый Agents API OpenAI даёт разработчикам основу, на которой работают Codex и ChatGPT Мы должны поставить рискованные исследования ИИ на паузу, пока ещё можем это сделать Коллективный иск: Anthropic обвиняют в завышении подписочных лимитов Claude с помощью обманных множителей Книжное соглашение Anthropic на $1,5 млрд тонет в хаосе: авторы и издатели спорят, кому платить Экономика Великобритании удивила прогнозы, выросши в июле на 0,4% DeepSeek-V4.1-Flash вышла: $0,003 за 1 млн кэшированных входных токенов вне пика и результаты выше GPT-5.6 Sol и Claude Opus 5 OpenAI хочет выяснить, будет ли вообще законным замедление развития ИИ-отрасли Anthropic раскрыла кампании по дистилляции Alibaba, Moonshot AI и DeepSeek Anthropic описала, как злоумышленники пытались использовать её ИИ для биооружия ToolGrad: датасеты для работы с инструментами генерируют с «текстовыми градиентами» Дженсен Хуанг объяснил, почему Nvidia вырастет на ошеломительные 70% в следующем году

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram