Источник: ai.meta.com
В прошлом году команда представила Brain2Qwerty v1 — исследование по переводу мозговой активности в текст без хирургического импланта. Теперь появилась версия v2: сквозной конвейер, который расшифровывает предложения в реальном времени по неинвазивным записям мозга и приближается по точности к методам, для которых требуется операция.
Чтобы ускорить исследования в нейронауке, авторы открывают полный код обучения Brain2Qwerty v1 и v2. Партнёр проекта, Basque Center on Cognition, Brain, and Language (BCBL), также публикует набор данных для v1.
Такая технология может помочь миллионам людей с повреждениями мозга, из-за которых они теряют способность общаться. Инвазивные методы — стереотаксическая электроэнцефалография и электрокортикография — уже показывали, что нейропротез, передающий сигналы системе расшифровки на базе ИИ, способен восстановить коммуникацию. Однако масштабировать такие решения сложно. Неинвазивный подход должен помочь сократить этот разрыв.
Источник: ai.meta.com
Brain2Qwerty v2 обучали примерно на 22 000 предложений от девяти добровольцев. Каждый участник проводил по 10 часов в устройстве для магнитоэнцефалографии (МЭГ) и в это время активно набирал текст.
Вместо заранее спроектированных конвейеров для поиска отдельных нейронных событий команда использовала сквозное глубокое обучение. Система расшифровывает данные непосредственно из исходных мозговых сигналов.
Источник: ai.meta.com
Файн-тюнинг больших языковых моделей на нейронных данных позволяет учитывать смысловой контекст. Благодаря этому система связывает зашумлённые записи мозга с последовательным языком.
Для поиска оптимизаций конвейера расшифровки команда привлекла ИИ-агентов. При этом итоговые настройки обучения инженеры выбрали вручную.
Источник: ai.meta.com
Brain2Qwerty v2 восстанавливает связные предложения из зашумлённых нейронных сигналов. Точность распознавания слов составила 61% — против 8% у других неинвазивных методов. Для лучшего участника показатель достиг 78%: более половины всех предложений система расшифровывала с одной ошибкой в слове или без неё.
Авторы также обнаружили, что точность расшифровки растёт логарифмически вместе с объёмом данных. Это указывает на возможность сократить оставшийся разрыв с хирургическими методами за счёт дальнейшего увеличения набора данных.
Работа входит в программу по созданию открытых базовых моделей мозга. В неё уже входят модель Tribev2 для кодирования восприятия, NeuralSet для обработки мозговых данных в больших масштабах и NeuralBench для систематической оценки моделей.
Команда развивает проект вместе с сообществом. В рамках инициативы Digital Brain Project она недавно создала фонд на $5 миллионов для поддержки открытых наборов данных. Авторы рассчитывают, что открытая работа поможет быстрее выявлять, диагностировать и лечить неврологические заболевания, чем исследования, ведущиеся изолированно.
Источник: ai.meta.com
Читайте также
Claude Sonnet 5 приблизилась к Opus 4.8 по качеству
NVIDIA выпустила Alpamayo 2 Super для разработки беспилотников
Nvidia обходит AMD до пяти раз в новом тесте ИИ-агентов
Запаниковавшие техноглавы пытаются сменить риторику об ИИ-ЦОДах
Meta представила модель генерации изображений Muse Image
Китайские автопроизводители вслед за Tesla ставят на роботов как на новый источник прибыли
Маск ускорит выпуск газовых турбин, но столкнётся с загрязнением
Meta, ByteDance и YouTube контролируют 94% рынка вертикального видео объёмом $150 млрд
Самые страшные катастрофы ИИ нагрянут без предупреждения
Почему самые горячие новинки среди носимых устройств хотят, чтобы их игнорировали
Настроения вокруг ИИ портятся: отзывы работников показывают растущее недовольство
MIT предупреждает: ИИ уже выполняет почти любые задания бакалавриата — вуз обдумывает реформу образования
Как ИИ-модели Meta запускают первую волну проектов миссии Genesis
Планетарный движок прогнозирования: Earth AI автоматизирует глобальные модели
Generalist достигла оценки в $3 млрд, сообщают источники
Neocloud Lambda привлекла $1 млрд долгового финансирования на новые чипы
ИИ заставляет врачей спрашивать: что нам остаётся?
OpenAI отключает Cursor после сделки SpaceX — из-за прежних нарушений договоров Маска
Учёные дали 12-летним ИИ-репетитора — наверняка вы знаете, что они с ним делали
Переосмыслить независимость: как ИИ Meta меняет роботов Университета Питтсбурга
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ, роботах и метавселенных и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram