Подготовка следующего поколения рабочих ТОиР: могут ли роботы обучаться промышленным задачам

Статья Ахмеда Резики рассматривает, можно ли применить уже используемые подходы к обучению гуманоидных роботов для полезных задач технического обслуживания, а не для показательных выступлений. Автор отталкивается от известных демонстраций, где гуманоиды танцуют, бегают марафоны или участвуют в спортивных событиях, и отмечает, что за ними стоят реальные методы: демонстрации человека, управление роботом оператором, симуляции с миллионами попыток и алгоритмы, обучающиеся по повторяющейся обратной связи. В предыдущих материалах серии разбирались подсистемы гуманоидов и возможные области применения гуманоидов и physical AI в цеху; теперь в статье поставлен более практический вопрос — как научить такого робота выполнять реальную задачу обслуживания.

Первый подход — обучение по наблюдению за человеком, или learning from demonstration / imitation learning. Материал подчёркивает, что сами специалисты по обслуживанию обычно осваивают первые практические операции, наблюдая за опытным техником: как он стоит, какой инструмент выбирает, как подходит к компоненту и какие неформальные детали использует помимо процедуры. В качестве актуального примера приводится система Helix компании Figure: в 2025 году в рамках Project Go-Big компания сообщила о переносе поведения с видеозаписи от первого лица человека на гуманоидного робота. Робот мог перемещаться в ранее не виденных загромождённых средах по инструкциям на естественном языке, причём для конкретной среды не требовалось собирать демонстрации, выполненные самим роботом.

Однако авторы указывают, что нельзя просто снять на видео замену подшипника насоса и ожидать, что гуманоид на следующий день повторит операцию. Между демонстрацией человека и действиями робота существует embodiment gap — разрыв, обусловленный различиями в морфологии, датчиках, управлении и условиях контакта. При внешнем сходстве в виде двух рук и двух ног у техника и робота могут различаться диапазоны суставов, длины звеньев, геометрия кистей, сила и скорость приводов, динамика равновесия и возможности контактного sensing. Поэтому действия, доступные и устойчивые для человека, не обязательно физически выполнимы для робота. Например, техник может опереться одной рукой на машину и второй работать с разъёмом, тогда как гуманоиду для той же цели потребуется другая поза, чтобы не потерять равновесие.

По мнению автора, роботу важнее понять цель действия, чем механически скопировать движения человека. В работе Human2Sim2Robot 2025 года робот освоил задачу ловкой манипуляции лишь по одной RGB-D записи выполнения человеком: демонстрация задавала цель, а обучение с подкреплением в симуляции позволяло найти движения, подходящие для собственного тела робота. На примере подключения диагностического кабеля статья поясняет это различие: задача состоит в том, чтобы найти нужный разъём, безопасно подойти к нему, выровнять штекер, контролировать усилие вставки и подтвердить соединение, а траектория плеча, локтя и кисти робота может радикально отличаться от человеческой.

Ещё один пример — проект HumanEgo Университета Мэриленда, представленный в июне 2026 года. Система учила роботов манипуляционным навыкам по видеозаписям от первого лица, не требуя ни демонстраций робота, ни данных обучения, специфичных для него; для переноса существенного для задачи поведения через embodiment gap использовалось представление пространственного отношения рук и объектов. Авторы проекта сообщили о среднем успехе 92,5% в четырёх реальных манипуляционных задачах при примерно 30 минутах человеческого видео на задачу, а также о zero-shot переносе на новые конфигурации робота, камеры и среды. В статье говорится, что запись работы техника камерой потенциально может фиксировать не только формальную процедуру, но и порядок внимания к компонентам, направление взгляда, подвод инструмента и последовательность действий. При этом одного видео для большинства сложных работ по обслуживанию пока недостаточно: могут потребоваться данные глубины и усилий, успешные демонстрации робота, симуляция или телеуправляемые примеры.

Второй метод — teleoperation, при котором техник временно управляет телом робота через VR-гарнитуру, системы motion capture, камеры или специализированные контроллеры. Такой способ особенно важен там, где наблюдение не передаёт требуемое усилие, реакцию на сопротивление детали или коррекцию неудачного первого подхода. Пока робот физически выполняет операцию, система может записывать наблюдения, действия, состояния суставов, траектории кистей, взаимодействия с объектами и результаты задачи. Эти записи затем становятся данными для обучения по демонстрациям. В Open-TeleVision, представленном Cheng et al. на CoRL 2024 и опубликованном в Proceedings of Machine Learning Research в 2025 году, движения рук и кистей оператора зеркально воспроизводились гуманоидными роботами; собранные демонстрации применялись для обучения политик imitation learning в длительных точных операциях, включая сортировку и вставку банок, складывание и разгрузку, с последующим развёртыванием на реальных роботах.

Материал также упоминает OmniH2O, представленный Tairan He et al. на той же конференции. Система расширяет подход до управления всем телом полноразмерного гуманоида с помощью VR, устных инструкций и RGB-камер, а телеуправляемые демонстрации используются для освоения навыков и перехода по конвейеру sim-to-real от прямого управления человеком к автономному выполнению задач всем телом. За пределами лабораторий в Пекине создаются крупные центры обучения гуманоидов, где операторы направляют роботов в повторяющихся действиях — например, берут ключ, совмещают его с замком, вставляют и поворачивают. Данные движений записываются, обрабатываются и используются для улучшения AI-моделей, после чего модели возвращаются роботам. Крупнейший китайский центр в районе Шицзиншань воспроизвёл в натуральную величину промышленные и другие реальные среды; там роботов обучают через VR и motion capture сортировке, упаковке, инспекции, переноске и доставке. Центр сообщил об освоении более 20 базовых, или «атомарных», навыков.

Для обслуживания автор предлагает мысленный пример сбора вибрационных данных с насоса. Сначала техник телеуправляет роботом: ведёт его к насосу, определяет верную точку измерения, берёт прибор, правильно располагает его, удерживает контакт нужное время и переходит к следующей точке. Ценность представляют не только удачные демонстрации, но и исправления, когда робот выбрал неверный угол, не обеспечил контакт прибора или столкнулся с мешающим кабелем. Эти корректировки показывают, как опытный оператор действует, когда реальность не совпадает с ожиданием. Авторы указывают на поэтапный путь к автономности: сначала человек принимает все значимые решения; затем робот частично самостоятельно повторяет показанные действия; далее выполняет рутинную работу под надзором; и лишь после многократной надёжной работы получает больше ответственности. Этот процесс сопоставлен с подготовкой нового техника: «посмотри на меня», «сделай со мной», «сделай, пока я наблюдаю», «теперь сделай сам». Отличие в том, что каждая демонстрация для гуманоида может стать повторно используемыми данными обучения.

Третий подход — обучение в симуляции. Статья подчёркивает, что нельзя позволить роботу осваивать каждую операцию на действующем производственном активе: при обучении он может неверно подойти к машине, приложить чрезмерное усилие, потерять равновесие или столкнуться с оборудованием. Современные симуляции моделируют тело и суставы робота, контактные силы, гравитацию, объекты, камеры и иногда внешний вид среды, позволяя повторять задачу без повреждений. NVIDIA применяла синтетическую генерацию данных для гуманоидов: подход Isaac GR00T создал свыше 750 000 синтетических траекторий за 11 часов, что, по оценке NVIDIA, эквивалентно примерно 6 500 часам демонстрационных данных человека. После объединения синтетических данных с реальными данными робота компания сообщила об улучшении производительности на 40% по сравнению с обучением только на реальных данных.

На примере инспекции промышленного насоса автор показывает, что в цифровой среде робот мог бы многократно отрабатывать подход к оборудованию, распознавание нужного насоса, обход препятствий, поиск точек контроля, работу с измерительным прибором и поддержание равновесия. Затем можно менять расположение насоса и точки инспекции, освещение, вид оборудования, объекты на полу и вводить шум датчиков. Это дало бы тысячи вариаций, которые непрактично, дорого или опасно постоянно воспроизводить в реальном цеху. Вместе с тем материал специально отмечает центральную проблему sim-to-real gap: роботу, обученному в цифровом мире, в итоге предстоит работать с маслом, износом, допусками, препятствиями и неожиданностями физического производства; эта тема заявлена как основная для следующей части.

В итоге статья выделяет четыре взаимодополняющих способа обучения: наблюдать за демонстрациями человека, учиться при непосредственном управлении человеком, отрабатывать множество вариаций в симуляции и улучшать поведение по обратной связи, успехам и ошибкам. Ни один из методов по отдельности, как подчёркивает автор, вряд ли создаст надёжного помощника по обслуживанию. Совместно они формируют путь, где техник демонстрирует, робот наблюдает, оператор обучает, симулятор даёт неограниченную практику, система обучения совершенствуется, а человек контролирует процесс до постепенного предоставления автономности. Заключительный акцент сделан не на том, чтобы применять гуманоидов для любой работы: часть задач лучше оставить традиционной автоматизации, специализированным машинам или людям. Следующая тема серии должна определить, каким именно задачам обслуживания гуманоид способен принести реальную пользу и почему их следует осваивать в первую очередь.