从“能拍”到“能量产训练数据”，MEgoVista补全无本体采集框架

第一视角视频有了，为什么机器人还“学不会”？

具身智能训练最缺的不是摄像头，而是“能直接喂模型”的动作数据。

头戴设备拍一段操作看似简单，但从Ego视频到可训练4D样本之间，隔着好几道转化关：手识别对了不代表空间位置对，单帧姿态像不代表整段不抖，一个人操作尚可靠，多人靠近就容易跟错。

这些问题不解决，视频量再大也只能算“素材”，不能算“教材”。

近日，觅蜂联合西工大、西安交大发布MEgoVista框架，目标就是把MEgo设备拍下的第一视角视频，稳定转成带真实尺度、可溯源、可进训练管线的双手与头部4D数据。（论文链接：https://arxiv.org/abs/2609.16684）

ego数据转化的老问题：不是“有画面”就能用

第一视角数据要进入具身预训练，至少得过四关。

一是尺度与深度关。单目头显能估手形，但距离常靠模型经验“猜”；没有现场测量，重建结果即使贴合手部轮廓，空间位移也可能偏几厘米，机器人照搬就会抓空、放歪。

二是身份与遮挡关。真实作业里常有第二双手：美甲有顾客、餐饮有搭档、护理有被服务对象；工具、容器、前臂也会遮手指，手暂时出框就断跟踪。传统方法容易把旁人手势误归为佩戴者，后续整段标签全错。

三是头部与镜头耦合关。头显随人转头、低头、走动，画面变化不完全等于手在动。若不分清“手运动”和“镜头运动”，倒水、拧瓶、取物等轨迹会被头部晃动带偏。

四是时序与可用率关。逐帧看姿势合理，连起来却可能跳变、手指过弯、手腕漂移；再叠加漏检、误检、重复补帧，整体可用率会大幅下降。对训练管线来说，真正要的不是“有几段好看视频”，而是漏检少、尺度准、身份稳、抖动低、可批量转化的标准化样本。

MEgoVista用三个极端场景验证：为什么是美甲、奶茶、宠物洗澡

MEgoVista走“先认手、再测距、后优化”的离线流程：用MEgo View三鱼眼60fps画面做立体匹配与深度融合，锁定佩戴者左右手身份，再跨帧优化手部姿态与头部轨迹，统一到真实尺度坐标系。

它特意选了比工业夹取、家庭擦桌子更“难”的三类场景做压力测试：

美甲验证多人身份。美甲师与顾客手频繁交织，HaWoR、Dyn－HaMR在对比中曾把顾客手误认成佩戴者手，MEgoVista是唯一保持正确归属的系统，解决“跟错人”这一多交互场景核心问题。

奶茶验证快速运动。双手倒水、摇杯、取料移动快，对比中HaWoR左手骨架出现明显错位，MEgoVista骨架更贴手，说明高速操作下仍能保持跟踪与位置一致性。

宠物洗澡验证污物与遮挡。手沾泡沫、被宠物和工具遮挡、动作幅度大，HaWoR出现左手和手腕偏移，MEgoVista与Dyn－HaMR均能检测到脏手，但结合独立动捕测评，MEgoVista手指姿态误差4.29毫米、抖动1.11毫米/帧²，整体优于对比方法。

换句话说，选这三个场景不是避开工业，而是用更高密度的“多人＋快速＋脏污遮挡”把框架逼到极限；若这类服务场景能稳定出数，结构化工业夹取、单一任务家庭操作反而更容易复用同一套重建逻辑。

MEgoVista补的是觅蜂“设备—引擎—众包”闭环的中间核心

觅蜂此前的体系已经搭成三层：硬件端MEgo View做头戴300°+腕部双视角、亚毫秒同步、毫米级空间定位，MEgo Gripper做末端夹取；平台端MEgo Engine做多源对齐、6D轨迹、人体关键点、三维环境重建、自动标注与ManiEval质检；运营端觅蜂派用APP派单，把普通人的叠衣、泡茶、理货等转成任务数据，配合2万套设备、百万小时无本体数据池。