这项由阿里巴巴达摩院、香港具身AI实验室、香港中文大学与蚂蚁集团联合开展的研究，于2026年7月7日以预印本形式发布（论文编号arXiv:2607.06558），尚未经过同行评审正式发表。研究团队提出了一个名为RynnWorld-Teleop的系统，致力于从根本上改变机器人训练数据的采集方式。
机器人之所以难以训练，核心困境在于数据。就像教一个孩子做家务，你需要一遍一遍地示范、演示、纠错，才能让他学会端盘子的角度、放物品的力道。现实中训练机器人也是这个道理——研究者们需要让人类操作员坐在专门的设备前，戴上传感器手套，盯着真实的机器人，一个动作一个动作地遥控演示，同时录下机器人视角的视频和对应的关节运动数据。这个过程不仅需要昂贵的机器人硬件，还要求场地固定、物品摆放精准，每次演示结束后操作员还要手动把所有东西复原，才能开始下一条数据的录制。这种方式的瓶颈非常直接：机器人有多少台、实验室有多少个，数据就只能产这么多，完全无法规模化。
达摩院团队提出的解决思路颇具创意——既然真实机器人是限制因素，那能不能用一个"虚拟机器人"来代替？操作员照旧戴手套、做动作，但驱动的不是真正的机器臂，而是一个能根据手势实时生成机器人视角视频的AI模型。这个AI模型就像一个无所不能的摄影师，拿到一张场景照片和一段人手运动轨迹，就能源源不断地"拍"出机器人真实执行时应该看到的画面。操作员的手部动作数据经过转换，变成适合各种机器人身体结构的控制信号；AI生成的视频则提供对应的视觉观测。两者配对，就构成了完整的训练数据，完全不需要真实机器人参与。
一、机器人训练数据的困境：为什么现在的做法这么难规模化
要理解这项研究究竟解决了什么问题，先得搞清楚现有方法有多麻烦。传统的物理遥操作系统，简单来说就是：操作员戴上追踪设备，通过某种映射关系实时控制机器人的手臂和手指，机器人上的摄像头录下它"看到"的画面，同时系统记录每一帧对应的关节角度数据。这两份数据配对在一起，就是一条训练轨迹。
这个流程的问题显而易见。首先，它绑死在特定硬件上——你有什么机器人就只能采这个机器人的数据，想换个机器人平台，整套设备和流程都要重来。其次，它绑死在特定场景里——桌子的位置、物品的摆放都必须固定，每次采完一条数据就要手动复原，效率极低。更关键的是，现实世界里物品的种类、形状、纹理千变万化，而实验室里能采到的场景种类永远是有限的，因为你没办法把超市货架搬进实验室。
正是这个原因，现有的机器人学习系统在"长尾分布"上表现很差——所谓长尾，就是那些不常见但确实存在的场景和物品。当机器人遇到训练数据里没见过的东西，往往就手足无措了。研究团队把这个现象称为"数据瓶颈"，也是本文要正面突破的核心问题。
在现有的相关研究中，有两条路线曾经尝试过类似方向，但都各有缺陷。一条路线是把人类演示视频"机器人化"——把人手的动作画面翻译成机器人手臂的画面，跨越视觉上的差距。但这类方法本质上是被动的、只处理视觉层面的，它们从不产生真实的动作控制信号，所以生成的数据没法直接用来训练控制策略。另一条路线是"以人为中心的行动条件视频生成"——给定人手的动作信号，生成未来的画面。这类方法确实能实时互动，但画面里仍然是人的手，而不是机器人的手，"人机之间的外形鸿沟"依然存在。
RynnWorld-Teleop的目标是同时满足三个条件：生成的画面必须是机器人视角的（机器人中心）、每帧画面必须和可恢复的关节控制信号精确对应（动作基础）、整个过程必须达到实时速度（实时性）。在这项研究之前，没有任何系统能同时满足这三点。
二、核心技术设计：三把钥匙，打开三道门
RynnWorld-Teleop系统的技术设计围绕三个核心创新展开，三者环环相扣，共同保证了系统的可用性。
第一把钥匙是"深度感知骨骼表示"。操作员的手部姿态通过21个关节点的空间坐标来表示，这本来是三维空间里的数据。问题在于，视频是二维的平面图像，把三维数据"压"进二维时，深度信息（也就是手离摄像头多远）会丢失。深度信息对于机器人操作至关重要——一个手势，手在桌面上方5厘米和50厘米时代表的动作含义完全不同。
研究团队的解决方案非常直观：既然无法在画面里直接显示深度，那就用颜色和大小来间接传达。每个关节点的颜色和半径，会根据它距离摄像头的实际距离动态调整——离摄像头越近，点就越大、颜色越深；越远则越小、越浅。这样，一张看似普通的骨骼示意图，实际上编码了完整的三维空间信息。AI模型在接受这张图作为输入时，能够从颜色和尺寸的变化中"读"出手的真实空间位置，从而生成符合物理规律的操作画面。
第二把钥匙是"渐进式跨域训练"。这里有一个根本性的挑战：机器人手臂和人手的外形差异很大，AI模型如果只看过机器人数据，它知道的机器人场景太少；但如果只看过人手数据，它又不知道机器人长什么样。
研究团队采用了"先博后精"的两阶段训练策略。第一阶段，用海量的人手操作视频来训练，让模型学会手与物体互动的基本物理规律——手抓东西时物体怎么移动、手指弯曲时接触面怎么变化。这一阶段使用了两个大型数据集：EgoDex包含7400万帧的第一人称手部操作视频，VITRA包含3070万帧并提供了详细的手部动作标注。模型在这个阶段学到的是"操作这件事"本身的规律，而不是某种特定外形的手的规律。
第二阶段，用研究团队自己采集的1800条人机配对演示数据来精调模型。这1800条数据覆盖四种双臂协调任务：双手分别抓取桌面上的苹果和香蕉并放到桌上；左手推一个方块到中央再由右手推到目标区域；双手同步举起一个西瓜抱枕放入托盘；以及把一个纸箱的盖子准确扣回去。这四个任务设计得很有代表性，既有精准操作，也有力量配合，还有时序协调。通过这个阶段，模型学会了将人手的动作"翻译"成机器人手臂的对应画面，完成了从人到机器人的视觉迁移。
第三把钥匙是"流式自回归蒸馏"。原始的双向视频扩散模型（可以理解为一种高质量的AI画图引擎）在生成视频时，需要"看完整段再输出"，就像必须把整本书读完才能给出评价，速度上完全不支持实时交互。研究团队用"蒸馏"技术把这个慢速的"老师模型"压缩成一个快速的"学生模型"。
学生模型采用了因果型时间掩码——也就是说，它在处理第t帧时只能"看"它之前的帧，不能偷看未来。同时引入了KV缓存机制，把之前帧的中间计算结果存下来反复利用，大幅节省每一帧的计算量。蒸馏过程分两步：先做因果流匹配预热，让学生模型学会以流式方式预测运动轨迹；再做"分布匹配蒸馏"（DMD），通过一个评判网络把学生模型的输出质量往老师模型靠拢，最终只需4步推理就能生成高质量画面。最终结果是系统在单张H100显卡上达到了每秒40帧以上的生成速度，远超现有同类系统2到10帧的水平，也超过了真实机器人摄像头的标准30帧。
三、完整的数字遥操系统：从手势到训练数据的全流程
仅有世界模型本身还不够，研究团队进一步把它包装成一个完整可用的数字遥操系统。
操作员穿戴的设备包括胸部、双腕和双上臂的五个HTC Vive追踪器，以及Manus数据手套。追踪器以每秒100到120次的频率捕捉腕关节相对胸部的位置和朝向，再通过一个阻尼最小二乘逆运动学求解器，计算出TIANJI M6机器人双臂（每臂7个关节）的关节角度命令。手套信号则被转换成21个关节点的手部骨骼数据，再映射到WUJI灵巧手的20个关节空间。两套信号合并，就产生了一个54维的机器人动作向量，全程与世界模型生成的视频保持严格同步。
生成数据的流程是这样的：操作员先为目标场景拍一张参考图（比如一张摆好苹果和香蕉的桌子）；然后开始做手势演示，手部骨骼序列以每秒16帧的速率被渲染成深度感知骨骼图；RynnWorld-Teleop以这张参考图和骨骼序列为输入，实时合成对应的机器人执行视频；视频帧与54维动作向量配对，就得到了可以直接用于模仿学习的训练数据。
为了防止长视频中累积误差导致画面漂移（就像抄写时越抄越走样），系统采用了"分块重锚"策略：每81帧为一个块，每开始一个新块时，用机器人摄像头当时实际拍到的画面来重新校准参考图，确保合成视频始终与现实场景保持一致。
与传统物理模拟器相比，这套系统有几个本质优势。传统模拟器需要为每个物品建立精确的3D网格模型和物理参数文件，耗费大量人工；RynnWorld-Teleop只需一张参考照片，不需要任何3D资产。传统模拟器渲染出的画面和真实世界之间存在"现实鸿沟"，策略往往在模拟器里表现好但迁移到真实机器人就失效；RynnWorld-Teleop直接在真实像素分布里合成画面，自然包含了真实的光照、反射和噪声。传统模拟器对可变形物体束手无策；预训练在大量人类视频上的RynnWorld-Teleop已经内化了接触动力学的"常识"。
四、实验结果：合成数据真的能训练出好用的机器人吗
研究团队在TIANJI M6双臂机器人上进行了真实世界的策略评估，每个任务在随机化物体位置的条件下连续测试35次，以完成率作为核心指标。
最值得关注的实验结论有两层。第一层是"以假乱真"：π0这个基础策略模型，完全不用任何真实机器人数据、仅用300条RynnWorld-Teleop合成数据来训练，在方块推送任务上达到了82.86%的完成率，在双手举起西瓜任务上达到77.14%。这说明合成的视频不仅在视觉上逼真，在物理规律层面也足够准确，策略能从中学到可迁移的操作技能。
第二层是"锦上添花"：当在300条真实数据基础上再加入300条合成数据时，各个策略模型的表现都有明显提升。扩散策略（DP）在西瓜举起任务上从88.57%提升到94.29%；π0.5在双手举起任务上从94.29%提升到100%；在难度最高的盖盖子任务上，π0.5从42.86%跳到62.86%，π0从34.29%跳到54.29%，两者都提升了整整20个百分点。
为了进一步验证合成数据与真实数据的相似性，研究团队用I3D视频特征提取网络分别提取了1000帧真实画面和1000帧合成画面的特征，再用t-SNE降维可视化。结果显示两组数据的特征分布高度重叠，说明合成数据在语义层面与真实机器人操作的分布高度对齐，这正是零样本迁移能够成功的根本原因。
在定量生成质量评估方面，RynnWorld-Teleop（全参数精调版本）在EgoDex测试集上取得了PSNR 26.78、SSIM 0.887、LPIPS 0.119、FVD 550的成绩，全面超越InterDyn、CosHand、Mask2IV等同类方法，也大幅领先于Wan、CogVideoX等通用视频生成模型。因果流式版本（RynnWorld-Teleop-Causal）在牺牲一定画质的情况下实现了每秒40帧的实时生成能力，在实际机器人测试集上的PSNR为18.66、FVD为1534，延迟分解为：骨骼动作编码约占5%、因果DiT去噪约占72%、视觉解码约占23%，平均每帧约25毫秒。
五、消融实验：每个设计选择都有其道理
研究团队做了详细的消融实验，验证每个设计环节是否真的必要。
首先是条件融合方式的选择。系统采用的是"分布对齐加法融合"：把骨骼控制信号先归一化到与视频隐空间相同的统计分布，再通过可学习的门控参数与视频信号相加。对比实验用简单的"拼接融合"（直接把控制信号拼到视频信号后面）替代这个方案，结果FVD从585飙升到1191，画面质量大幅下降。原因在于直接拼接破坏了预训练模型已经建立的隐空间结构，就像把两种相互排斥的材料混在一起，反而什么都做不好。加法融合搭配零初始化的门控参数，则让模型能够"温和地"逐渐引入骨骼信号，不破坏已有的生成能力。
其次是第一阶段人类数据预训练的价值。去掉第一阶段、直接在机器人数据上精调，FVD从585恶化到2598，LPIPS从0.119恶化到0.453，画质几乎崩溃。可视化结果显示，没有预训练的模型无法合成真实的手指结构，在操作过程中会出现严重的"鬼影"和画面模糊，目标物体甚至会从画面中凭空消失。这说明1800条机器人数据远远不足以让模型从零开始学习手物接触的物理规律，必须先从海量人类视频中汲取这种"先验知识"。
再次是两阶段蒸馏流程的必要性。只用因果流匹配热身、不做DMD精调，PSNR从22.25降到19.25。反过来，跳过热身阶段直接做DMD，则会出现严重的训练不稳定和画面模糊，无法收敛。研究团队将这解释为：热身阶段建立了因果生成的基本架构，是DMD阶段能够稳定地继承老师模型复杂操作先验的前提条件，两者缺一不可。
六、泛化到训练集之外的场景：一张图片，无限可能
数字遥操范式的一个重要主张是：只要给一张参考图，就能在任意场景里生成训练数据。研究团队专门验证了模型在分布外视觉状态下的表现，测试了两个方向的泛化能力。
第一个方向是"看不见的物体"。把参考图里的操作对象换成训练时从未出现过的类别或形状，比如把木块换成红色球体、把西瓜抱枕换成橄榄球。第二个方向是"看不见的背景"。把桌面纹理替换成训练时没见过的样式，比如花纹桌布。两类替换都通过现成的图像编辑工具完成，没有改动任何真实场景。
从Fig.7展示的结果来看，模型在这两种泛化场景下都能维持时序一致性，并按照动作信号忠实执行轨迹。研究团队据此认为，模型学到的操作先验与具体物体纹理和背景外观解耦，真正支持了"从单张参考图实例化任意操作场景"这一数字遥操范式的核心主张。这意味着未来只需要在网上找一张合适的场景图片，再做几分钟手势演示，就能产出一批针对全新物体和环境的训练数据。
说到底，RynnWorld-Teleop想解决的是机器人领域里一个很古老的问题：你需要大量数据才能训练好的机器人，但采集大量数据本身又依赖于你已经有了大量机器人和实验室资源。这是一个典型的"鸡生蛋蛋生鸡"的困境。
这项研究提供的答案是：用AI生成器来打破这个循环。人类操作员做一次手势演示，AI就能把这次演示"变换"到任意场景、任意背景、任意物体组合下，产出数十倍的训练数据。合成数据与真实数据混合使用，在多个任务上都能显著提升机器人的成功率；甚至在某些任务上，完全依赖合成数据训练的机器人也能有相当不错的表现。
当然，研究也诚实地列出了现有局限。模型对液体流动、高度可变形物体（比如面团、布料）等复杂物理现象的建模还不够准确，因为训练数据里这类场景太少。此外，弥合"人机外形鸿沟"目前仍需要针对具体机器人平台做精调，限制了系统在多机器人平台间的可移植性。研究团队认为，以机器人运动学描述符为条件的跨具身基础世界模型，是未来值得探索的方向。
从更宏观的视角看，这项研究尝试回答的是：人类已经积累的大量"如何操作物体"的知识（体现在人类演示视频里），能不能被有效地迁移给机器人？结果是肯定的——至少在双臂协调操作这个场景下，这种迁移是可行的，而且量化结果相当扎实。对机器人学习的数据问题感兴趣的读者，可以通过论文编号arXiv:2607.06558查找完整原文。
Q&A
Q1：RynnWorld-Teleop生成的视频和真实机器人录制的视频有多大差距？
A：从定量指标来看，RynnWorld-Teleop在机器人专属测试集上的PSNR为22.53，SSIM为0.898，LPIPS为0.148，FVD为763。研究团队通过I3D特征的t-SNE可视化分析发现，合成数据与真实机器人数据的特征分布高度重叠，说明两者在语义层面非常接近，这也是完全依靠合成数据训练的机器人能够在真实环境里取得不错成绩的根本原因。
Q2：数字遥操和传统物理遥操相比，数据采集效率提升了多少？
A：论文中没有直接给出采集效率的对比数字，但定性来看，数字遥操去掉了三个主要瓶颈：不再需要真实机器人硬件、不再需要固定实验室场景、不再需要每次演示后手动复原物品。更重要的是，操作员做一次手势演示后，可以通过换参考图的方式让AI在不同物体和背景下重复生成数据，理论上可以将单次演示的数据价值成倍放大。
Q3：RynnWorld-Teleop能否适用于不同品牌或结构的机器人？
A：目前需要针对具体机器人平台进行精调，这是研究团队自己承认的局限之一。现有的第二阶段训练数据专门来自TIANJI M6加WUJI灵巧手这套组合，换了其他机器人就需要重新采集配对数据并重新精调。研究团队认为未来可能需要以机器人运动学描述符为条件的跨具身基础世界模型来解决这个问题，但目前尚未实现。