Сотни сотрудников OpenAI читают личные чаты пользователей

Зачем OpenAI читает промты

404 Media выяснило, что OpenAI привлекает сотни сотрудников для отбора и чтения пользовательских промтов. Среди них бывают сообщения с чувствительной личной информацией.

Эта работа не связана с модерацией. OpenAI использует просмотр промтов, чтобы улучшать ответы ChatGPT. Подрядчики оценивают и критикуют каждый ответ модели. Внутренние документы показывают, что от ChatGPT хотят добиться меньшей склонности приписывать себе человеческие качества и поддакивать пользователю.

Оба явления подробно изучают из-за их связи с так называемым психозом, вызванным ИИ, — случаями, когда ИИ провоцирует и поддерживает бредовое поведение пользователя. В нескольких исках утверждается, что более ранняя и менее ограниченная версия ChatGPT на базе GPT-4o подтолкнула пользователей к самоубийству.

Что известно о Project Lily

Для многих пользователей сам факт такой проверки стал бы тревожным вторжением в личную жизнь, если бы они знали о происходящем. Операция получила название Project Lily.

404 Media спросило одного из сотрудников, считают ли они, что пользователи ChatGPT знают о чтении своих переписок людьми. Сотрудник ответил, что нет: пользователи, вероятно, не стали бы предполагать, что где-то подрядчик анализирует их разговоры.

Неясно, сколько именно промтов просматривают и как OpenAI отбирает их. По данным 404 Media, среди выбранных сообщений бывают и такие, где пользователь прямо просит ChatGPT сохранить разговор в тайне.

Выбранные промты обезличивают, однако в них иногда остаются персональные сведения. Рабочая панель сотрудников также показывает сводку пользовательских воспоминаний — данные о прошлых разговорах, по которым иногда можно понять, где живёт человек.

В ответ на запрос 404 Media OpenAI заявила, что применяет модель Privacy Filter для обезличивания переписок. На сайте компании указано, что эта модель «может допускать ошибки».

Настройка по умолчанию

OpenAI уже признавалась, что сотрудники читают сообщения для модерации и обеспечения безопасности. Но компания не ответила 404 Media, сообщала ли она пользователям напрямую о чтении промтов людьми для улучшения ИИ.

После публикации материала OpenAI сослалась на страницу своего сайта, где сказано, что люди могут просматривать промты для улучшения работы модели. Пользователь может отказаться от этого, отключив настройку улучшать модель для всех, однако по умолчанию она включена.

Михал Лурия, старший научный сотрудник Center for Democracy and Technology, сказала 404 Media, что проверка людьми может быть необходима для безопасности. При этом интерфейсы чат-ботов автоматически создают ложное ощущение близости и приватности.

По её словам, это отличается от модерации контента в социальных сетях: публикация там изначально предполагает проверку платформой и возможную публичную доступность.

Как OpenAI проверяет стиль ответов

OpenAI, судя по внутренним материалам, отдельно следит за тем, как звучат ответы её моделей. Сотрудники отмечали и записывали случаи «речи ИИ» и ненужного использования эмодзи — признаков, по которым часто узнают текст чат-бота.

В документе для проверяющих приводился такой пример: эмодзи дерева уместен при обсуждении празднования Дня посадки деревьев, но эмодзи черепа при разговоре о смерти или самолёта в сообщении о катастрофе со смертельным исходом использовать не следует.

Проверка фактов не входит в задачу

Судя по всему, внутренний процесс может быть шире, чем кажется. В разделе с часто задаваемыми вопросами для проверяющих сказано, что им не нужно перепроверять фактическую точность ответов. Документ также упоминает другие команды, которые занимаются проверкой содержания.