МТС (MWS): пайплайн AgenticFocus для обучения гуманоидных роботов
Описание проекта
Пайплайн превращает произвольное видео от первого лица в датасет для обучения мелкой моторики гуманоидных роботов. Внутри — 3D-реконструкция и трекинг объектов, оценка позы кисти и ретаргетинг на кинематику конкретного робота, синтез смешанной реальности через многослойный композитинг. Все ролики приводятся к 30 FPS. Результат подаётся на Vision-Language-Action модели и world-action модели предсказания среды.
Вендор и технология: MWS AI, собственный пайплайн AgenticFocus на VLA- и world-action-моделях.
Задача
Развитие Physical AI упирается в нехватку данных: существующие FPV-видео нельзя напрямую использовать для обучения робота из-за несовпадения точки обзора, перекрытия объектов кистью и несоответствия эмбодимента реальной кинематике манипулятора. Классический захват движения требует дорогого оборудования.
Цели внедрения
-
Получать роботные датасеты из обычного видео от первого лица
-
отказаться от дорогих mocap-систем
-
обеспечить консистентность эмбодимента
-
повысить точность реконструкции траекторий
-
сделать пайплайн воспроизводимым на публичных датасетах
Результаты
-
Результаты
-
Наименьшая ошибка реконструкции траектории среди сравниваемых методов
-
метрика гладкости SPARC −5,18 против −5,56 у Masquerade и −6,05 у Do as I Do (улучшение примерно на 7% и 14%)
-
нормализация обработки на 30 FPS Нагрузка и масштаб
-
Тестирование на датасете EPIC-KITCHENS плюс собственные демонстрации Сроки
-
Работа представлена на конференции ISMAR 2026, публикация 02.09.2026