Робототехника: компании наперегонки улучшают системы обучения роботов

Само достижение Freddo выглядит не самым впечатляющим на фоне робота, который недавно превзошёл рекорд Усэйна Болта на дистанции 100 м. Но скорость обучения робота ходьбе, распознаванию бутылки и захвату предмета действительно примечательна.

Я побывал в Vsim — британском стартапе из Кембриджа. Его основатели Мишель Лу и Кир Стори надеются, что однажды их ПО будет управлять роботами, которые смогут ориентироваться в доме и на рабочем месте и выполнять полезные задачи.

Кир Стори объясняет, что в робототехнике есть необычный контраст: сложные для человека действия вроде гимнастики роботы выполняют достаточно хорошо, а привычная для людей тонкая моторика даётся им трудно.

Навыки Freddo отрабатывали в виртуальной среде: одну и ту же задачу можно миллионы раз выполнить в компьютерной симуляции. После выбора оптимального решения, которое называют политикой, его загружают в аппаратную систему — в данном случае в Freddo.

Основатели Vsim Мишель Лу и Киер Стори

Источник: bbc.com

Как Vsim ускоряет симуляции

Виртуальные симуляции — распространённый способ обучения роботов. У технологической компании Nvidia есть система Isaac Sim, работающая по этому принципу. Лу и Стори участвовали в создании её ранней версии.

В 2022 году они основали Vsim, чтобы разработать собственную среду обучения и другие инструменты.

Начав с нуля, основатели смогли оптимизировать ПО под мощные компьютерные чипы, используемые в ИИ, — графические процессоры, или GPU.

По словам Стори, базовые алгоритмы большинства робототехнических симуляций восходят к 1970–1980-м годам и плохо подходят для работы с GPU.

Через несколько месяцев Лу и Стори поняли, что их система работает заметно быстрее всех знакомых им решений. Через 18 месяцев после начала работы, говорит Лу, у Vsim уже был полностью функциональный высокопроизводительный симулятор.

ПО настолько эффективно, что запускается прямо на аппаратуре, которую несёт Freddo. Поэтому робот может выполнять десятки тысяч симуляций во время движения.

Стори поясняет, что система примерно на секунду заглядывает в будущее и одновременно рассматривает 20 000 различных вариантов развития событий.

Это особенно важно для робота, который перемещается в неструктурированной среде обычного дома.

Люди, животные и другие роботы могут совершить непредвиденные действия, не зависящие от самого робота. В таких случаях стратегию приходится быстро менять, чтобы действия оставались безопасными и соответствовали задаче, отмечает Лу.

Что предлагают Nvidia и Vsim

В Vsim над технологиями работают 10 инженеров. Nvidia находится на другом конце отрасли: компания доминирует на рынке компьютерных чипов для ИИ и располагает крупным подразделением робототехнического ПО, где работают сотни инженеров.

Nvidia не производит роботов. Вместо этого компания выпускает набор программ для их обучения и управления.

В него входят:

Даже при доступных Nvidia вычислительных ресурсах это ПО пока даёт лишь базовое представление о реальном мире.

Спенсер Хуан, директор по продукту робототехнического направления Nvidia, говорит, что взять бутылку не слишком сложно. Проблемы начинаются в длинных задачах: например, когда роботу нужно взять бутылку, наполнить её и затем вылить содержимое.

При этом Хуан считает, что прогресс идёт. В этом году Nvidia начала использовать ИИ-агентов для создания виртуальных сред обучения роботов и проверки того, работают ли решения, полученные в ходе обучения.

По его словам, создание виртуального мира и его сканирование во многом всё ещё требуют ручного труда. Компания направляет на эту работу ИИ-агентов, фактически получая большую виртуальную рабочую силу.

Обучение по человеческим демонстрациям

Симуляции — не единственный способ обучать роботов. Их также можно обучать по наблюдениям за людьми или видеодемонстрациям.

Рика Антонова работает в робототехнике с 2015 года и сейчас занимает должность доцента на кафедре компьютерных наук и технологий Кембриджского университета.

Она разрабатывает ПО и аппаратные системы, которые помогают роботам осваивать сложное поведение.

Антонова работает с системой обучения MuJoCo, которой с 2021 года владеет Google DeepMind. Это ПО с открытым исходным кодом: исследователи могут бесплатно пользоваться им и изменять его код.

По словам Антоновой, MuJoCo очень удобно использовать, поэтому система подходит исследовательским группам и небольшим стартапам.

Подход Vsim с очень быстрыми симуляциями она считает перспективным. Если симулятор работает достаточно быстро, то за несколько секунд, пока робот решает, как изменить движение, можно создать сотни миллионов образцов и почти в реальном времени скорректировать траекторию.

Однако виртуальные среды всё ещё остаются приближёнными моделями реального мира, и это ограничивает круг обучаемых навыков.

Антонова отмечает, что в симуляции трудно точно моделировать сильно деформируемые объекты и резку.

Над этой проблемой работают Nvidia, а также Лу и Стори из Vsim.

Лу говорит, что команда уменьшила расхождение между симуляцией и реальностью: точные симуляции позволяют обучать модели, которые в реальном мире работают так же, как в виртуальной среде.

Вскоре к разработке подключится второй робот — Nacho.

По словам Лу, он должен ускорить процесс создания системы и помочь убедиться, что ПО работает на разных машинах.

Кроме того, у Freddo появится компания.

Системы обучения роботов используют виртуальные среды, в которых отрабатываются задачи

Источник: bbc.com