У ИИ-лабораторий проблема доверия к данным — их правила её не решили

Компании ограничивают работу с Fable

После изменения политики Anthropic Nvidia стала применять Fable только для менее чувствительных задач, например в проектах с открытым исходным кодом. Для внутренних процессов, включая мониторинг цепочек поставок с помощью ИИ, компания использует собственные модели Nemotron.

По словам вице-президента Nvidia по корпоративному ИИ Джастина Бойтано, в компании считают, что режим ZDR — Zero Data Retention, то есть нулевое хранение данных, должен быть включён по умолчанию. При этом Nvidia инвестировала в Anthropic, планирует продолжать инвестиции и поставляет компании оборудование для разработки моделей.

Booz Allen Hamilton, один из первых пользователей модели Anthropic Mythos, запретила сотрудникам применять Fable при работе с собственной программой для кибербезопасности. Технический директор компании Билл Васс объяснил это опасением, что модель может обучаться на их коде.

Palantir заблокировала запуск Fable через собственное программное обеспечение для клиентов, пока Anthropic не предоставит безотзывные гарантии нулевого хранения данных. На встрече с клиентами генеральный директор Palantir Алекс Карп заявил, что компании устали от того, что ИИ-лаборатории их «эксплуатируют».

Карп и раньше открыто выражал недоверие к ИИ-лабораториям. При этом позиция Palantir отвечает и её собственным интересам: компания хочет, чтобы клиенты запускали модели через её платформу, которую она называет защищённой, а не обращались напрямую к поставщикам моделей.

После недовольства клиентов и августовского решения OpenAI разрешить пользователям GPT-5.6 Cyber хранить журналы безопасности на собственных серверах Anthropic пошла по тому же пути. Осенью компания начала разворачивать аналогичную программу для отдельных клиентов.

Нулевое хранение данных не закрывает все вопросы

Даже при нулевом хранении данных ИИ-лаборатории могут узнавать многое о том, как используются их сервисы. По данным The Information, OpenAI и Anthropic собирают у корпоративных клиентов метаданные и технические сведения об использовании продуктов.

OpenAI называет эти данные обезличенными: из них удаляют информацию, которая могла бы связать сведения с конкретным клиентом.

На сайте OpenAI говорится, что компания пропускает бизнес-данные через автоматические классификаторы и инструменты безопасности, чтобы лучше понимать, как используются её сервисы. Полученные классификации, по утверждению компании, относятся к метаданным о бизнес-данных, но сами бизнес-данные в них не содержатся.

Некоторые клиенты не уверены, что именно входит в эти метаданные, и считают нынешний уровень прозрачности недостаточным.

Как ИИ-лаборатории обучаются на пользовательских данных

Соучредитель OpenAI Джон Шульман, который недолго работал в Anthropic, а теперь трудится в Thinking Machines, недавно описал несколько способов обучения ИИ-систем на пользовательских данных.

Диапазон начинается с прямого предварительного обучения на данных пользователей — этот подход несёт высокий риск воспроизведения исходного содержимого. Далее идут дистилляция больших моделей в меньшие и создание задач для обучения с подкреплением на основе «следов пользователей».

Последний способ слабо связан с прямым воспроизведением содержимого, но всё равно может раскрывать интеллектуальную собственность клиентов. Шульман привёл примеры:

По его словам, обезличивание ненадёжно: пользователя иногда можно восстановить всего по небольшому количеству битов данных, а от утечки интеллектуальной собственности оно не защищает.

Исследовательница ИИ Сара Хукер, ранее работавшая в Cohere и Google DeepMind, описала похожую лазейку. По её словам, существуют продвинутые методы создания синтетических данных, которые сохраняют конфиденциальность, но при этом воспроизводят статистические свойства исходного набора.

Иными словами, лаборатория может не использовать оригинальные данные напрямую, но извлечь из них статистические закономерности и получить тот же практический результат.

Хукер предупредила компании с собственной интеллектуальной собственностью: у них есть ограниченное время, чтобы создать собственные интеллектуальные системы на базе этих данных. Иначе они будут помогать передовой ИИ-лаборатории, которая рано или поздно начнёт конкурировать с ними в их отрасли.

Позже Шульман частично смягчил эту оценку. Он написал, что обучение на пользовательских данных крайне маловероятно заметно повлияет на рост возможностей передовых моделей. Основной вклад в такие улучшения дают масштабирование предварительного обучения и обучение с подкреплением.

Пользовательские данные, по его мнению, полезнее для поиска ошибок и ситуаций, которые трудно воспроизвести с помощью оплачиваемых разметчиков.

При этом Шульман отметил, что компании-разработчики моделей по-разному активно используют пользовательские данные, а загрузка репозиториев — не гипотетический сценарий. Вероятно, это относится к инструментам для программирования вроде Codex и Cursor, куда пользователи напрямую подключают свои репозитории к сервисам. Шульман призвал выработать более строгие нормы раскрытия информации о том, как компании обучают модели на пользовательских данных.

История Бакмастера сделала проблему доверия реальной

Шульман высказался после серьёзных обвинений математика Тристана Бакмастера в адрес OpenAI. Бакмастер и его соавтор Левент Алпоге использовали ИИ-модели, чтобы продвинуться в решении уравнений Навье — Стокса, и загружали свои черновики через Codex.

Вскоре после этого OpenAI представила собственный результат, используя тот же необычный путь решения.

Сначала OpenAI признала, что не может исключить возможность: обезличенные данные, полученные при использовании её продуктов, помогли улучшить модели. После внутреннего расследования компания обновила публикацию и заявила, что промты Бакмастера в Codex за два месяца до публикации 8 сентября 2026 года не могли повлиять на систему ни одним способом, включая обучение.

Тем не менее этот случай показал, насколько хрупким остаётся доверие между бизнесом, академической средой и ИИ-лабораториями.