Бывшие исследователи Meta хотят внедрить визуальный ИИ на производстве

Визуальный ИИ выходит на производство

ИИ пока в основном используется в цифровой среде, но компании всё чаще пытаются перенести его в физический мир. Один из таких проектов — Perceptron, созданный двумя бывшими учёными Meta.

Компания появилась в ноябре 2024 года и разрабатывает передовые визуальные модели, которые должны помочь машинам лучше взаимодействовать с окружающей средой.

На этой неделе Perceptron представила Isaac 0.5. По замыслу создателей, модель даёт машинам возможность «воспринимать, рассуждать и действовать» в промышленной среде. Программное обеспечение помогает роботам с компьютерным зрением перемещаться в сложных условиях — например, на складе или в цехе. Кроме того, компании могут извлекать визуальные данные из видео, записанных этими роботами.

Isaac 0.5 распространяется как открытая модель: любой желающий может изучить её параметры и материалы, использованные при обучении.

Универсальная модель для роботов

Perceptron основали Armen Aghajanyan и Akshat Shrivastava. Ранее они работали в Fundamental ИИ Research (FAIR) — исследовательском подразделении Meta. Создатели считают, что их программное обеспечение станет основой промышленного развёртывания автоматизированных систем.

В компании говорят, что физический ИИ сегодня вынуждает выбирать между двумя вариантами: универсальными базовыми моделями, которым для каждого экземпляра требуется несколько выделенных облачных GPU, и узкими моделями, способными работать либо с восприятием, либо с управлением, но не с обоими направлениями сразу.

Aghajanyan и Shrivastava утверждают, что Isaac 0.5 отличается от существующих решений универсальным назначением. Модель не рассчитана на одну конкретную повторяющуюся операцию, а должна адаптироваться к среде и текущей ситуации.

Shrivastava предложил рассмотреть простую физическую задачу — сортировку коробок. Роботу, который раскладывает посылки, сначала нужно прочитать маркировку, затем понять, где находятся коробки, и выбрать, какую из них взять. Если коробок несколько, система должна ещё и спланировать порядок действий.

Программное обеспечение Perceptron призвано помогать роботу проходить через каждый этап такого процесса. Отдельные решения для большинства этих операций уже существуют, однако гибких программ, способных объединять их и адаптироваться к разным условиям, пока немного.

На каких данных обучают Isaac 0.5

Модели вроде Isaac 0.5 осваивают рабочие навыки, анализируя огромные объёмы видео. Perceptron сообщает, что использовала для обучения алгоритма миллион часов видео общего назначения. Эти данные должны были научить модель распознавать различные места, визуальные объекты и ситуации.

Компания также активно применяла видео от первого лица — записи, сделанные с точки зрения человека, который выполняет физическую задачу. Обычно для этого используют GoPro или носимую камеру. Ещё одним источником стали видео UMI: их записывают, чтобы обучать ИИ движениям через фиксацию повторяющихся действий человека.

Perceptron не раскрывает источники обучающих данных. При этом Shrivastava рассказал, что компания самостоятельно создала наборы данных петабайтного масштаба. Они включают разные типы информации: изображения, текст, видео и траектории движения роботов.

Где применят модель

Программное обеспечение, которое помогает роботам уверенно работать на складах, может использоваться в самых разных сферах. Perceptron готова продавать свою разработку различным поставщикам, чтобы её интеллектуальный слой встраивался в широкий спектр отраслей.

Компания уже привлекла $16 млн от Bessemer Venture Partners, The Explorer Fund и SmartGateVC в 2024 году, сообщает PitchBook. По данным TechCrunch, сейчас Perceptron завершает привлечение дополнительного раунда.

В более ранней версии публикации были неверно указаны сведения о недавнем финансировании компании.