i
ДАТАИСТ
Новости · 2026-09-11

Математический институт безопасности ИИ хочет доказать его безопасность, как криптографы — стойкость шифров

@neuronium_ai @neuronium_ai

Канадский математик Джейкоб Цимерман, недавно получивший медаль Филдса, объявил о создании независимого Mathematical A.I. Safety Institute (MAISI) в районе залива Сан-Франциско. Институт начнёт работу в январе 2027 года и соберёт от 10 до 30 математиков для исследований в области безопасности ИИ. Цимерман также присоединяется к команде OpenAI по безопасности. По его словам, этой области нужен гораздо более высокий стандарт безопасности, чем тот, который существует сейчас.

Обложка: Математический институт безопасности ИИ хочет доказать его безопасность, как криптографы — стойкость шифров

В криптографии можно доказать, что схема шифрования не поддаётся взлому, не проверяя каждую возможную атаку. Для ИИ такого сокращённого пути пока нет: безопасность проявляется только на практике. В MAISI считают, что даже теоретического, чёткого определения безопасности ИИ сейчас не существует.

Институт хочет сделать возможными доказательства того, что система:

действует ответственно и выдаёт корректные результаты;
при совместной работе нескольких ИИ-агентов не приводит к нежелательным последствиям;
выдерживает уязвимости, которые пока никто не обнаружил.

Одним из инструментов могут стать доказательства с нулевым разглашением. Они позволяют системе подтвердить, что она не обманывает, не раскрывая коммерческие секреты лабораторий, разрабатывающих ИИ.

Anthropic: пресечены попытки иностранцев использовать Claude для создания возможного биооружия Новый Agents API OpenAI даёт разработчикам основу, на которой работают Codex и ChatGPT Мы должны поставить рискованные исследования ИИ на паузу, пока ещё можем это сделать Коллективный иск: Anthropic обвиняют в завышении подписочных лимитов Claude с помощью обманных множителей Книжное соглашение Anthropic на $1,5 млрд тонет в хаосе: авторы и издатели спорят, кому платить Экономика Великобритании удивила прогнозы, выросши в июле на 0,4% DeepSeek-V4.1-Flash вышла: $0,003 за 1 млн кэшированных входных токенов вне пика и результаты выше GPT-5.6 Sol и Claude Opus 5 OpenAI хочет выяснить, будет ли вообще законным замедление развития ИИ-отрасли Anthropic раскрыла кампании по дистилляции Alibaba, Moonshot AI и DeepSeek Anthropic описала, как злоумышленники пытались использовать её ИИ для биооружия ToolGrad: датасеты для работы с инструментами генерируют с «текстовыми градиентами» Дженсен Хуанг объяснил, почему Nvidia вырастет на ошеломительные 70% в следующем году Исследователи Anthropic предупреждают об опасностях ИИ; Маск называет страхи «психоперацией» Роботы учатся чувствовать мир на ощупь OpenAI приостановила новые подписки Pro из-за спроса на Astra Swarmchasers ищут агентов-отступников, Anthropic расследует себя — общий след темнеет ИИ-агент Meta Muse стал вторым по популярности приложением в США Бывший пиарщик DeepMind утверждает, что там запрещали публично обсуждать риск вымирания из-за ИИ Индийская Pocket FM удвоила годовой темп выручки до $500 млн: ИИ создаёт 93% аудиоконтента Nvidia и Palantir объединяют усилия для управления цепочками поставок с ИИ — начнут с операций Nvidia на миллионах деталей

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram