具身的数据管线，到底应该怎么做？

具身智能数据管线大模型

作者：向欣

2026/10/30 15:11

数据规模不断扩大，有效性却没有跟上。

作者丨向欣

编辑丨高景辉

雷峰网(公众号：雷峰网)：一家具身数据厂商告诉我们，他们向模型厂商交付了几万小时数据之后，对方反过来问了一句：能不能顺便帮忙把模型也训练出来，好让他们“交个差”，原因是模型厂商自己心里也没底，不知道这批数据喂进去能训出什么结果。

这种焦虑与无力，是当下不少模型厂商的真实状态，他们面临的真实困境是：虽然在不断花钱采集、购买数据，数据规模不断扩大，但数据的有效性却没有跟上。钱花出去了，效果却像打了水漂。

年初，不少具身公司声称今年要采集百万级别的数据。大半年过去，确实有公司宣称已经积累了百万数据，但模型能力上似乎没有看到对应的提升，反而被 GPT 的 Astra 抢了风头。

问题不仅在于数量，还在于数据管线。数据被大量采集回来，但从采集到进训练之间那段加工链路存在大量问题：筛选没有细粒度标准，数据难以跨本体迁移，数据质量至今没有公认的评测机制。具身的数据多了，可用数据却不一定多。

具身数据管线该怎么做？为此，我们与机器人基础模型公司行元智能创始人兼CEO杨世琦聊了聊，试着拆解这条数据链路上的关键难题，以及如何让规模不断增长的数据真正转化为模型能力。

今天，我们就把这条管线拆开聊透。

数据量在涨，但「可用数据」没跟着涨

一条原始数据要变成机器人可以学习的数据，通常要经过五个环节：

首先是数据筛选，剔除画面模糊、动作中断、轨迹异常等低质量样本；
其次是数据标注，给操作过程补充任务、物体状态、动作阶段和语言指令等信息，让模型能够理解数据中发生了什么；
第三是动作转换，将人类示范或一种机器人产生的动作，映射到目标机器人能够执行的动作空间；
第四是数据验证，通过规则检查、仿真测试或真机实验，判断数据是否合理、能否执行；
最后是反馈迭代，结合模型训练和实际部署的表现，调整数据筛选、标注和转换策略。

这条链路的绝大部分环节都已可以自动化，但在实际操作中存在不少难题。

首先，数据缺少统一、细粒度的筛选与评价标准。

从大语言模型的经验来看，如果训练中混入一批dirty 数据，带来的降智大概率是永久性的，会在整个模型生命周期中持续产生影响。

但目前业内仍然没有一个可规模化的数据筛选机制。一段视频画面清晰、动作完整，不代表它对模型训练有用；一条转换后的轨迹符合运动学约束，也不意味着机器人能够在真实环境中顺利完成任务。

数据供应商和模型公司对“高质量”的理解存在差异，如何衡量一份数据的实际训练价值，仍然是个难题。

其次，从人类动作到机器人动作的转换存在明显门槛，也就是做动作重定向难。不同机器人的关节结构、工作空间和末端执行器各不相同，同一项任务可能需要不同的操作策略。尤其在人类第一视角视频中，往往缺少机器人关节状态、力觉等信息，系统需要从有限的视觉观测中恢复空间关系，再生成适配目标机器人的动作。

对于结构相近的机械臂，可以通过逆运动学等方法求解；但如果末端执行器差异很大，问题就会复杂得多。

人类用五指手抓住一个物体时，可以调整多个手指的位置和施力方式；夹爪执行同样的任务，采用却是完全不同的接近角度和抓取策略。两者难以使用同一套动作轨迹。

除了数据管线本身的技术难题，行业也存在不少乱象。

一是数据处理分工混乱，数据采集、数据处理和模型训练往往由不同团队承担，各方的交付标准和评价指标未必一致。

二是许多公司依赖开源管线。不少团队使用开源工具拼接处理流程，却缺少针对具体模型、任务和机器人本体的系统设计。行业讨论容易聚焦采集了多少小时、积累了多少条轨迹，对数据经过哪些处理、多少样本最终可用、能否改善下游任务表现，披露相对有限。

结果是，数据规模、可用数据规模和真正产生训练收益的数据规模，容易被混为一谈。

建立完整的数据管线，并用训练和部署结果验证每个环节的价值，正在成为比单纯扩大采集量更需要解决的问题。

采集门槛越低，管线要求越高

具身数据的来源越来越多，但不同数据类型面临的管线难题并不相同。目前行业主要探索四类：真机遥操作、仿真、UMI，以及人类第一视角视频。

真机数据质量和部署一致性最好。真实机器人产生的数据与目标机器人的控制、传感器和执行环境接近，容易直接验证。代价是贵：机器人、操作人员、场地和任务都需要投入；其次还是跨本体难，在 A 机器人上采的数据要用到 B 机器人上，每家处理方式不同，做出来的跨本体能力也不一样。

仿真数据的优势是非常容易扩量，缺点是常谈的 Sim2Real gap。以 robot 为主的大量仿真器，下层物理引擎已经很多年没有足够大的变动，无法准确反映摩擦力、物体形变、接触位置等信息，这个缺陷在装配、抓取、拧转这类需要精确控制接触的富接触任务中尤其明显。

UMI 等低成本操作采集方案通过更轻量的采集装置记录人类操作，减少了对完整机器人遥操作系统的依赖，让单条数据更便宜、更容易采集。

但它仍然需要人主动执行任务、使用特定设备，不同UMI采集装置与机器人之间还存在动作映射和适配问题。本质上它仍是项目制驱动的增量数据，多样性和 scaling 上限受采集组织方式约束。

第一视角人类视频打开了更大规模的数据来源。人类日常生活中本来就存在大量操作行为，头戴相机、智能眼镜等设备有机会持续记录，降低专门组织采集的成本。但这条路线将更多压力转移到了数据管线。

首先，视频通常缺少机器人系统能直接使用的关节状态和动作信息，系统需要从视频中提取手部、物体和动作，再恢复空间关系。

其次，采集设备差异更大，画质、视角、帧率和传感器配置各不相同，管线需要消化这些差异。来源越广，原始数据质量就越难统一，日常视频里既有有价值的操作，也有大量与训练目标无关的内容，需要更高效的筛选方法。

再次，人类操作与机器人本体之间存在差异，视频中的人可以用灵巧的双手完成任务，机器人可能配备不同结构的手或夹爪，系统需要将人类动作转换成目标机器人能够执行的动作。

四条路线各自的优势和短板可以归纳为：真机数据更贴近真实执行，仿真更容易扩量，UMI 降低了部分采集门槛，人类第一视角视频有机会获得更丰富、更自然的数据来源。

其中的基本矛盾是，降低对采集设备的限制，有利于扩大数据规模，却会增加清洗、空间重建和跨本体转换的工作量。

也就是说，数据源越丰富，就越需要能够统一处理不同设备、不同动作表征与不同机器人本体的数据基础设施。更重要的是，数据来源的扩展不等于直接扩展了模型可学习经验。

如果目标是持续扩大可用数据的规模，优先实现Scaling，人类第一视角视频与UMI无疑是最具潜力的路线；但要把它真正用于机器人训练，关键在于建立足够可靠的数据处理管线。

这也正是行元智能选择的方向。

把人类操作视频变成机器人训练数据

行元智能最近发布了面向机器人预训练的跨本体数据引擎 Chorus（众行），能够将来自不同设备的人类操作数据，转化成适配不同机器人本体的训练数据。

和单纯追求数据规模不同，Chorus 的一个重要设计思路，就是从机器人学习和部署的需求来反推数据应该如何组织。

具体来看，它针对前面提到的几个核心问题，做了五件事。

第一，不限制数据来源，尽可能将能用的数据用起来。

智能眼镜、胸戴相机、腕部相机、UMI 等设备采集的数据，都可以进入 Chorus。

不同设备的拍摄视角、画质和深度信息存在差异，行元采用基于 learning-based 方法处理这些差异，同时用足够多的配对数据训练，信息较少的设备也能够尽可能恢复出更可靠的空间信息，例如可以让单目相机逐步逼近双目效果。

数据进入管线后，系统还会记录其来源、评估质量并进行分级，再根据训练阶段调整不同数据的使用比例。这样做的目的，是尽可能利用已有数据，形成一个合理的数据配方，避免质量参差不齐的数据直接混在一起。

第二，把跨本体作为设计前提。

Chorus能够将一份人类数据转成多种机器人可用的训练数据；新增机器人时，不必从头重跑全部原始数据。

行元的做法是，先在机器人的 system 侧把不同 controller 和部署能力搭建起来，再反推管线该输出什么，顺序上保证了跨本体不是事后补丁。

做好跨本体表征，必须既清楚哪些信息与硬件无关，又保证动作迁移所需的信号足够，这要求设计者接触过足够多的机器人本体，并深度理解这些机器人硬件、传感器排布和控制器输入。

行元创始人兼 CEO 杨世琦毕业于加州大学圣地亚哥分校，师从王小龙教授，是较早开展跨本体操作与人类数据学习方向的研究者之一，在具身行业早期搭建过多机型的控制系统和数据方案，积累了深厚经验。

第三，可以对第一视角数据做完整重建。

整条转化链路一共分为五步，层层递进：基础清洗之后，第一步是帧级原子动作标注，按任务、动作、交互物体逐级拆解视频，记录左右手在不同时段的动作以及接触对象。

第二步开展二维分割、深度估计与手部定位，识别出手、工具、交互物体等关键目标。

第三步将二维信息还原为完整三维场景，重建相机轨迹、手部位姿与物体六维姿态，保证空间逻辑自洽。

第四步，引入运动学与动力学约束动作重定向，在仿真环境校验目标机器人能否复现该动作，输出适配机器人的三维轨迹。

第五步再将三维场景渲染回二维画面，让训练输入和真机部署时的感知形式对齐，抹平训练和落地之间的差距。

和仿真数据相比，这套方案源自真实观测，不存在物理引擎带来的偏差，物体交互变化贴合现实规律，兼顾成本与数据质量。

行元技术联创杨靖康长期深耕第一视角视频理解与多模态学习，主导过 EgoLife 等代表性工作，这也是 Chorus 处理人类第一视角数据的重要技术积累。

第四，建立可量化的评分体系。

Chorus 从操作丰富度、标注质量、三维可恢复性、机器人可迁移性和视角稳定性五个维度为数据评分，数据评分既用于筛选和评估训练数据，也能为具身模型的训练提供指导信号。

第五，把闭环纳入设计。 Chorus 不仅处理各路来源的人类数据，也为真机部署后的数据回流预留通道。

部署端的失败识别靠一个 learning-based 的 state policy 监测机器人状态，初期由工程师主动干预产生训练信号，部署越久、接管越多，监测越准；部署方法论上先重设计 SOP、再算 ROI，接受人机并行，逐步提高自动化程度。

这五件事，对应的是行业管线五个痛点：来源复杂难统一、跨本体难、第一视角转化难、质量难量化、闭环缺失。Chorus 将这五个问题纳入一套数据引擎中解决了。

模型厂商必须自己定义数据管线

评价一套具身数据管线做得好不好，关键要看三个问题：原始数据能转化出多少有效训练数据、这些数据能否真正提升模型能力，以及整个过程的成本能否支撑规模化。

行元给出的数据是：平均可用数据转化率提升至 85%；在当前测试配置下，通过 16 种机器人本体适配，将每小时有效机器人轨迹的处理成本降至 15 元；结合 3 倍指令增广，可实现约 40 倍的有效训练数据扩容，单位训练样本的等效成本约 5 元/小时。

此外，行元此前发布的 Continuo 可部署于可穿戴设备，支持人类动作视频的规模化采集与连续理解；计划年内推出的 Duet，则是面向真实部署的人机共驾系统，机器人自主执行，遇到困难主动请求接管，一人可按需监管多台，接管产生的纠正经验回流用于后续训练。

Continuo（随行）、Chorus（众行）、Duet（同行）共同构成行元从真实世界经验走向物理行动的学习基础设施。

不难看出，行元的数据管线、模型训练和部署系统是耦合的。行元认为，模型厂商必须自己定义数据管线：不知道目标机器人需要什么输入输出，就不知道管线该输出什么；把管线交出去，等于把 scaling 的解释权也交出去。

行元三个 Chapter 是这条理念的展开：Continuo 解决数据从哪来，Chorus 解决数据怎么变成训练信号，Duet 解决部署后的经验怎么回流。

回到开头那个问题：当行业已经积累了越来越多的具身数据，为什么数据还没有充分转化为机器人的能力？

行元的解法是，通过两条路径推动具身数据 Scaling：一条开发人类日常活动中的数据价值，尤其是规模庞大的人类第一视角视频，构建一个数据处理能力极强的跨本体数据管线，降低经验转化的成本；另一条是从机器人部署中积累真实数据，让模型在执行过程中不断获取新的学习经验。

要让这些数据真正服务于不同形态的机器人，底层还需要解决跨本体问题。这构成了行元从人类数据采集、跨本体转换到部署反馈的整体思路。

但数据扩大，只是解决了问题的一半。

数据和模型之间并非简单的供给关系。数据管线决定了哪些真实世界的经验能够进入模型的学习目标，而训练表现和真实部署的反馈又反过来决定什么样的数据更有价值，需要什么样的处理方式。只有把数据的生产、转化与模型训练联系起来，数据规模的增长才有可能促进模型能力的良序提升。

杨世琦告诉我们，这也是行元选择把数据管线与模型研发深度结合的原因。对机器人基础模型而言，Scaling 不只是不断增加训练数据，更需要在数据与模型的相互迭代中，提升每一份数据的学习价值。

当然，这只是其中一条路线。真机采集、仿真、UMI 和人类视频各有优势，数据的表达方式、转换方法和训练机制也仍有探索空间。

具身智能需要 Scaling，但 Scaling 不仅需要大规模的数据支撑，还要找到让更多数据真正发挥作用的方法。

行元的探索，让行业看到数据规模化已经有了一些具体且可行的工程解法。这或许也是具身数据管线接下来值得关注的方向：如何让已有的真实世界中丰富的经验，以更低成本、更高效率进入机器人的学习过程。

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

扫描上方二维码

或点击「阅读原文」关注专区。