模型

RoboDojo:让机器人策略真正“同场考试”的仿真—真实统一基准

小w · RobotXYZ 编辑部

RoboDojo 不是一个新的机器人控制模型,而是一套面向通用机器人操控策略的统一评测基础设施。本文拆解其 42 个仿真任务、18 个真机任务、RealEval、XPolicyLab、评测协议与最新榜单,并分析其价值与局限。

RoboDojo:让机器人策略真正“同场考试”的仿真—真实统一基准

过去几年,机器人操控模型的演进速度很快:从针对单一任务训练的模仿学习策略,到能够理解自然语言、处理多种物体并跨任务迁移的视觉—语言—动作模型(VLA),再到尝试用世界模型预测未来状态与动作的 WAM。模型越来越“大”,演示视频也越来越惊艳,但一个基础问题始终没有被很好解决:这些模型到底谁更强,强在哪里,又能否在真实机器人上稳定复现?

RoboDojo 的目标,就是为这个问题提供一套更接近“统一考试”的答案。

严格来说,RoboDojo 不是一种新的机器人控制算法,而是一套面向通用机器人操控策略的基准、基础设施和评测治理机制。它把大规模仿真测试、标准化真机测试、统一策略接口、远程评测和公开榜单连接在一起,希望把机器人模型的比较从“各自在自己的实验室、自己的机器人和自己的任务上报一个数字”,推进到尽可能一致、可复现、可审查的评测流程。

RoboDojo 仿真与真实世界统一评测体系总览

图 1:RoboDojo 官方总览图。上半部分连接 42 个仿真任务与 18 个真机任务,下半部分展示开源生态、XPolicyLab、榜单和任务样例。来源:RoboDojo 官方网站。

一句话理解 RoboDojo

可以把 RoboDojo 看成由四层组成的机器人策略“考场”:

  1. 试卷:42 个仿真任务和 18 个真实世界任务;
  2. 考场:基于 Isaac Sim 的并行仿真平台,以及标准化的 RoboDojo-RealEval 真机平台;
  3. 统一答题接口:XPolicyLab 把不同模型的数据格式、运行环境和动作接口适配到同一套协议;
  4. 监考与成绩单:官方远程评测、隐藏布局验证、视频公开、开源复现要求和持续更新的排行榜。

这四层缺一不可。只有任务而没有统一接口,接入成本会很高;只有仿真而没有真机,难以暴露接触、噪声和安全问题;只有公开榜单而没有验证协议,又容易出现针对测试集调参甚至“刷榜”。

RoboDojo 具体做了什么?

1. 用 42 个仿真任务诊断五类能力

RoboDojo 的仿真部分基于 NVIDIA Isaac Sim 和 Isaac Lab,采用 ARX X5 双臂平台。42 个任务不是简单地更换物体颜色或桌面背景,而是按五种能力组织:

RoboDojo 42 个仿真任务和 18 个真机任务总览

图 2:RoboDojo 全部测试任务的官方总览。仿真任务按五个能力维度排列,底部为三种机器人本体上的 18 个真机任务。来源:RoboDojo 论文图 2。

能力维度 任务数 主要考察内容
Generalization(泛化) 12 面对新背景、光照、杂物和目标物体时是否仍能完成任务
Memory(记忆) 6 当前画面不包含全部信息时,能否利用此前观察做决策
Long-Horizon(长程) 8 能否维持任务进度、组合多个子技能并完成多步骤流程
Precision(精密操作) 8 定位、轨迹平滑度、插接和接触控制是否足够准确
Open(开放指令) 8 面对训练中没有直接出现的任务描述,能否重组已有技能

Generalization:同一个任务,换一个世界还能不能做

12 个泛化任务是:stack_bowls、push_T、pack_objects_into_box、fold_clothes、hang_mugs、sweep_blocks、pour_liquid_into_cup、make_toast、arrange_largest_number、sort_nesting_dolls_by_size、store_laptop_and_headphones 和 stack_blocks。

它们覆盖堆叠、推动、折叠、悬挂、清扫、倾倒、排序和收纳等操作。评测的重点不是模型能否背下木纹桌面的固定布局,而是任务结构不变时,面对新背景、光照、目标物体与最多 25 个干扰物是否仍能工作。每个任务的 50 次评测被拆成 25 次标准场景和 25 次随机场景。

几个任务能说明这种难度来自哪里:

Memory:答案藏在过去的画面里

6 个记忆任务是:cover_blocks、match_and_pick_from_conveyor、swap_T、press_by_number、imitate_sorting_sequence 和 swap_blocks。

这些任务刻意让当前观测不足以决定下一步动作。例如,cover_blocks 中,机器人先从左到右盖住随机排列的红、绿、蓝积木,随后必须凭记忆按红—绿—蓝顺序揭开;match_and_pick_from_conveyor 中,第一个物体会随传送带消失,机器人要等待并抓取稍后出现的同类物体;press_by_number 则要求先读两张数字卡,再分别按对应次数按下红色按钮,最后按蓝色按钮确认——一旦提前确认,任务立即结束。

RoboDojo imitate_sorting_sequence 记忆任务关键帧

图 3:imitate_sorting_sequence 任务。机器人先观察对侧机械臂把五类物体按某一顺序放入篮子,再用自己一侧的对应物体复现顺序。来源:RoboDojo 论文 Appendix I。

Long-Horizon:单个技能会做,还要把十几步串起来

8 个长程任务是:put_bottles_into_dustbin、play_tic_tac_toe、classify_objects、fill_pen_holder、fill_egg_holder、organize_table、play_stacking_toy 和 make_kong。

这组任务重点测试阶段切换、任务进度维护、双臂交接和误差累积。例如:

这类任务允许模型拿到不低的部分进度分,却仍可能因为最后一两个步骤失败而得不到成功判定。因此,Score 与 Success Rate 的差距在这里特别有解释力。

Precision:毫米级误差会直接变成失败

8 个精密任务是:fasten_screws、insert_tubes、plug_in_charger、pour_balls_into_vase、play_Xylophone、deposit_coin、insert_key 和 build_tower。

它们共同要求精确视觉定位、姿态调整、平滑轨迹和稳定接触。fasten_screws 要从五种颜色中匹配当次出现的三组螺钉与螺母,插入后还要旋紧;insert_key 要先拿起钥匙,交给另一只手调整姿态,再插入锁孔并转动;deposit_coin 要把硬币准确送入储蓄罐槽口;play_Xylophone 则要求持槌从左到右逐键敲击。模型即使理解了任务语义,只要末端轨迹抖动、接触角度不对或缺少偏离轨迹后的修正,仍会失败。

Open:没有任务演示,只能重组已有技能

8 个开放任务是:align_blocks、solve_equation、stack_blocks_by_language、general_pickup、classify_objects_by_language、pick_from_conveyor_by_image、store_tools_in_toolbox 和 pour_by_language。

Open 维度完全不提供任务级训练演示。策略只能利用其他任务学到的抓取、推动、分类、堆叠和倾倒技能,再根据新语言或图像提示组合动作。比如 solve_equation 要从随机摆放的数字和运算符中找出缺项,完成桌面上的算式;pick_from_conveyor_by_image 要先把篮子抬高 8 厘米以上,再根据展示板上的图片识别传送带目标并放入篮子;align_blocks 则要求把直角尺当作工具,把三块积木推成一条对齐直线。

此外,训练集还有一个不计入 42 个评测任务的 DLC 辅助目录:机器人要在复杂背景和拥挤桌面上找出字母,依次拼出“RoboDojo”。这 100 条域随机化轨迹只用于增加视觉暴露,不包含任何评测任务的解法。

一个 episode 到底怎样结束

仿真任务使用任务专属成功条件,并同时记录完整成功与子步骤进度。最大交互步数不是统一写死:官方先计算该任务演示轨迹长度的第 90 百分位,再乘以 1.2;对自动生成的短任务使用 1.5 倍,以免轻微轨迹变化导致过早终止。达到成功条件、发生任务规定的终止事件,或用完交互步数后,episode 结束。

配套训练集包含 35 个任务目录、3,500 条轨迹、约 186 万帧和 20.66 小时双臂数据。Open 维度不提供对应任务的训练演示,目的正是测试策略能否把已经学过的技能重新组合,而不是复现任务模板。评测时,每个仿真任务运行 50 个 episode,共 2,100 个 episode;官方榜单要求以三个随机种子报告均值和标准差。总成绩按五个能力维度等权平均,避免任务数量更多的维度主导最终排名。

2. 用 18 个真机任务检验“能不能落地”

仿真可以高效、可重复地暴露问题,但无法完整复制真实世界中的摩擦、接触、执行器误差、相机噪声和意外碰撞。为此,RoboDojo 又在 ARX X5、Piper 和 Piper X 三种双臂机器人上设计了 18 个真机任务,每种本体 6 个。

机器人本体 6 个测试任务 主要挑战
ARX X5 insert_tubes、make_bread、make_food、pack_and_pour_fruit、cover_blocks、store_in_safe 精密插入、记忆、多物体收纳和长程厨房流程
Piper X disassemble_LEGO、cap_pen、hang_mugs、classify_objects、sweep_blocks、pack_objects_into_backpack 接触拆解、双手对准、工具使用、分类与柔性容器收纳
Piper fill_pen_holder、put_objects_into_basket、stack_and_cover_blocks、stack_bowls、stand_up_bottles、insert_charger 多物体抓放、堆叠稳定性、姿态恢复和连接器插接

真机任务不是简单的“抓起来再放下”。make_food 要先取出砧板,把牛排和刀放到砧板上,再把蔬菜与虾放进锅里,把锅移到炉灶并盖上锅盖;insert_charger 要先把充电插头插入插线板,再把充电线接到插头上;stack_and_cover_blocks 则要求先稳定堆叠积木,最后用杯子把整座积木盖住。每个动作都会改变后续状态,中间的抓取偏差、遮挡或碰撞很容易累积成最终失败。

RoboDojo ARX X5 真机 make_food 任务关键帧

图 4:ARX X5 上的 make_food 长程真机任务,需要完成砧板、食材、锅、炉灶和锅盖之间的一系列依赖步骤。来源:RoboDojo 论文 Appendix J。

真机数据集包含 1,800 条轨迹、约 161 万帧和 17.91 小时数据。每个任务由 4 名操作者采集 100 条演示,并记录头部相机、双腕相机、机器人状态和语言标注。正式评测中,每个任务运行 10 次,因此一个覆盖三种本体的完整策略评测需要 180 次真机试验。

论文中的做法是针对每一种机器人本体分别训练一个随机种子,再在对应本体上评测。因此,“覆盖三种本体”衡量的是多平台部署覆盖面,不能直接解读为同一个 checkpoint 能够零样本控制三种机器人。

这里有一个容易误解的地方:RoboDojo 并没有为仿真与真机设计一一对应的任务对,也不是专门测量某个策略的直接 sim-to-real 迁移率。 两部分是互补关系——仿真用于快速、细粒度地诊断能力,真机用于检验物理部署中的稳定性和鲁棒性。

真机任务的最大执行时长同样来自演示数据:取该任务轨迹长度的第 90 百分位,再乘以 1.5。步数用尽会自动终止;若策略撞击桌面、外框或自身,评测人员也可以安全停止。最终评分由三名不知道模型身份的评审独立完成,既看最终结果,也看中间子步骤,并过滤分歧过大的样本后取平均值。

3. RoboDojo-RealEval:把真机实验做成可复现的远程服务

真实机器人评测最大的难点,往往不是模型推理本身,而是“考场”不一致:机械臂和相机差几厘米、灯光不同、桌面摩擦不同、每次摆放物体的位置不同,都可能改变结果。

RoboDojo-RealEval 因此固定了机械臂、相机、灯光和操作台的相对位置,并用模块化结构复现实验装置。评测人员通过触屏界面完成场景重置、策略运行、急停、录像和云端评分。重置场景时,系统把预先采集的目标布局以半透明图层叠加在实时画面上,帮助操作员恢复一致的初始条件。

RoboDojo-RealEval 标准化真机评测平台

图 5:RoboDojo-RealEval 实物平台。1.2 米 × 1.2 米工作台位于 1.5 米 × 1.5 米 × 2.1 米外框内,配有固定 LED 光源、头部与腕部相机、三种可替换双臂本体、触屏和工作站。来源:RoboDojo 官方网站与论文 Appendix G。

每次真机试验都会录像,并由三名评审在双盲条件下独立评分。分数既考虑最终是否成功,也考虑中间子步骤的完成度,最终取三名评审的平均值。官方同时提供远程云端评测,让没有同款硬件的团队也能把策略接入统一真机平台。

4. XPolicyLab:一次接入,多处评测

机器人策略的工程栈高度碎片化:不同模型使用不同的数据格式、图像预处理、动作表示、依赖环境、训练脚本和部署方式。即使两篇论文都声称在同一个基准上测试,工程细节也可能让结果难以直接比较。

XPolicyLab 试图把这种 N 个策略对接 M 个环境的 O(N×M) 工作,压缩为“每个策略写一个适配器、每个环境写一个客户端”的 O(N+M) 结构。它统一了观测更新、动作预测、策略重置、批量查询、远程通信和部署流程,同时保留模型内部架构。

RoboDojo 论文最初通过 XPolicyLab 集成了 30 个代表性策略;截至 2026 年 10 月,XPolicyLab 官方仓库称生态已经覆盖 55 个策略,包括 VLA、世界—动作模型、模仿学习和记忆增强方法。对研究团队而言,这一层的价值不亚于任务本身:策略接入一次后,可以在 RoboDojo 仿真、标准化真机平台以及其他已接入基准上复用。

5. 异构并行仿真:不是把同一个场景复制几十份

传统向量化仿真通常复制同一种场景,只改变物体位姿或随机种子。RoboDojo 的“异构并行”允许不同并行环境拥有不同物体类别、几何形状、干扰物数量、关节结构和任务布局,在保留场景多样性的同时并行推进。

RoboDojo 异构并行仿真场景

图 6:同时运行的异构仿真环境。不同格子不是同一场景的简单复制,而是具有不同任务、物体、背景、干扰物和布局。来源:RoboDojo 论文图 6。

论文报告,在 8 张 RTX 4090 上进行零动作 rollout 时,异构并行达到 77.4 interactions/s,非异构设置为 40.0 interactions/s,提升约 1.94 倍;加入 π0.5 推理后,吞吐量为 64.0 interactions/s,对比非异构设置的 39.2 interactions/s,提升约 1.63 倍。这里的数字取决于论文所用硬件和配置,不应被理解为所有部署环境都能获得相同加速,但它证明了多任务、大规模评测在工程上是可行的。

榜单怎么看:Score 和 Success Rate 不是一回事

RoboDojo 同时报告两个核心指标:

如果一个模型 Score 不低但 SR 很低,通常说明它能完成部分阶段,却无法把多个子技能稳定组合成最终成功。这在长程任务中尤其常见:一次小误差会沿着后续步骤持续累积。

当前仿真主榜 Top 10

以下为 RoboDojo 在线榜单 截至 2026 年 10 月 9 日(UTC+8) 显示的仿真主榜,按综合 Score 排名。官网将 Agent 类系统单列,因此表中不包含 Agent 赛道。

排名 模型 Score Success Rate
1 VPP2 39.26 32.26%
2 PhysicalRSI 36.27 31.38%
3 Awomo-0.5 35.34 29.64%
4 Simate-beta 33.95 27.96%
5 Rex-M1 Preview 33.79 27.44%
6 VPP2-Preview 31.40 25.62%
7 InternW0-Δ 30.77 23.91%
8 Liber-0 Preview 30.74 25.52%
9 Liber-0 Lite 29.24 24.23%
10 DM0.5 24.90 19.34%

这个榜单变化很快。论文在 2026 年 7 月 3 日冻结结果时,第一名还是 Hy-Embodied-0.5-VLA,Score 为 13.07、SR 为 8.80%;同一论文中的专家遥操作参考为 80.42 分、76.03% SR。三个月后,在线榜首已经提高到 39.26 分和 32.26% SR,说明基准发布后模型进展非常快;但若以论文中的人类参考作为粗略尺度,当前榜首仍有明显差距。由于这是跨时间快照比较,且官网包含 Preview 条目,它更适合展示趋势,不应被当作严格的纵向消融实验。

当前真机榜单 Top 5

排名 模型 Score Success Rate
1 OpenWAM-α 37.6 24.4%
2 π0.5(官网记作 Pi-05) 22.9 12.8%
3 InternVLA-A1 12.0 7.2%
4 GalaxeaVLA(G0) 9.0 4.4%
5 Xiaomi-Robotics-0 7.9 3.9%

真机榜和仿真总榜的顺序并不一致。例如 OpenWAM-α 在当前真机榜排名第一,但在仿真主榜并非第一;π0.5 也在真机上排名靠前。这并不等于“仿真无效”,而是再次说明两套任务承担不同角色,且并非一一对齐。要判断仿真分数能否预测真实部署,仍需要报告跨模型的秩相关性、匹配任务对照或更系统的 sim-to-real 分析。

评测协议:RoboDojo 为什么不只是一张排行榜

公开测试集一旦成为热门榜单,就会面临针对特定布局调参、人工挑选最好结果和训练数据泄漏等问题。RoboDojo 的官方协议采用几层约束:

这种设计在“便于参与”和“结果可验证”之间做了折中:团队可以在私有开发阶段通过远程策略服务器测试,而不立即公开权重;但要把成绩作为正式、可复现的榜单条目发布,就必须开放完整评测工件。

这个领域是怎样走到 RoboDojo 的?

机器人学习基准的发展,大致经历了从“更多任务”,到“更明确的能力维度”,再到“连接仿真与真实部署”的过程。

阶段 代表工作 推动了什么
2019—2020:规模化仿真任务 RLBench、robosuite、Meta-World 提供大量标准任务、可复用环境和自动生成演示,让算法可以在共同任务集上比较
2021—2022:语言与长程组合 CALVIN 把自然语言条件、连续控制和多步骤任务组合引入核心评测
2023:持续学习与知识迁移 LIBERO 用空间、物体、目标和长程任务套件分析声明性与程序性知识迁移
2024:用仿真近似评估真机策略 SimplerEnv 研究仿真排名与真实机器人表现的相关性,降低真机评测成本
2025:双臂与更强泛化 RoboTwin 2.0 扩展双臂任务和结构化域随机化,强调跨场景泛化
2025—2026:能力专项与真机基准 RMBench、RoboArena、RoboChallenge、ManipulationNet、EBench 等 分别强化记忆、元素级诊断、标准化真机技能和具身推理评估
2026:统一评测闭环 RoboDojo 把五维仿真诊断、三种本体真机验证、统一策略接口、远程评测和榜单治理放进同一体系

RoboDojo 的创新因此不只是“任务更多”。在论文的横向统计中,它覆盖 24 类操作技能、60 个仿真与真机任务,并集成 35 个以上基线;相比之下,RoboTwin 2.0 更集中于 50 个仿真双臂任务和泛化,CALVIN 更集中于语言条件长程任务,LIBERO 更集中于持续学习与知识迁移,SimplerEnv 的核心问题则是仿真评测能否关联真机表现。

这些基准不是简单的替代关系。研究记忆机制时,RMBench 的专项设计可能更敏锐;研究终身学习时,LIBERO 的任务序列与迁移协议更合适;研究配对的 sim-to-real 相关性时,SimplerEnv 更直接。RoboDojo 的优势是覆盖面和统一闭环,代价则是每个专项问题未必都能做到最深。

与主要现有基准横向比较

下图把几个经常与 RoboDojo 一起讨论的基准放到同一组能力轴上。这里使用四档定性标记,而没有直接画成数值雷达图:这些项目并未在同一套任务、机器人和评分协议上比赛,把“是否重点研究某个问题”换算成连续分数,会制造并不存在的精确性。图中的“核心”“较强”“涉及”和“非核心”表示研究范围与设计重点,不表示模型在该维度的实际性能高低。

基准 多任务覆盖 语言与长程 双臂与泛化 持续学习 sim-real 关联 标准化真机 评测治理
RoboDojo 核心 核心 核心 涉及 较强 核心 核心
CALVIN 较强 核心 涉及 涉及 非核心 非核心 涉及
LIBERO 较强 较强 涉及 核心 非核心 非核心 涉及
SimplerEnv 涉及 涉及 涉及 非核心 核心 涉及 涉及
RoboTwin 2.0 核心 较强 核心 涉及 涉及 非核心 涉及
RoboArena 较强 涉及 涉及 非核心 涉及 核心 较强

核心 · 较强 · 涉及 · 非核心(不代表能力缺失)

图 7:六个机器人操控基准的能力侧重点。RoboDojo 的差异化优势是覆盖面和评测闭环;CALVIN 集中于语言条件下的长程组合;LIBERO 集中于持续学习与知识迁移;SimplerEnv 直接研究仿真排名与真机表现的关系;RoboTwin 2.0 强调双臂任务、规模和场景泛化;RoboArena 强调跨机构的分布式真机双盲评测。本图是依据各项目论文和官方协议所做的编辑性归纳,不是这些项目发布的统一量化评分。

从图中可以更直观地看到,RoboDojo 并非在每个单项问题上都最深入:持续学习仍是 LIBERO 的核心,配对式 sim-to-real 校准仍是 SimplerEnv 更直接,跨机构真实环境多样性则是 RoboArena 的优势。RoboDojo 更像把多任务诊断、双臂泛化、标准化真机平台、远程执行和榜单治理连成一条完整评测链路。

基准 最擅长回答的问题 RoboDojo 的差异
CALVIN 策略能否根据语言连续组合多个技能? RoboDojo 的诊断轴更多,并加入双臂真机评测,但 CALVIN 对语言条件长程组合更聚焦
LIBERO 模型能否在持续学习中迁移声明性与程序性知识? RoboDojo 评测的是系统级综合操控能力,不以任务序列中的终身学习为核心
SimplerEnv 仿真表现能否预测真实机器人表现? SimplerEnv 使用配对 sim-real 设计;RoboDojo 的两部分互补但不配对
RoboTwin 2.0 双臂策略能否在强域随机化下泛化? RoboDojo 增加五维能力诊断、异构并行、统一真机平台和榜单治理
RoboArena 在多机构、多环境中做双盲真机 A/B 测试会怎样? RoboArena 用分布式多样性换覆盖面;RoboDojo 用集中式固定装置换可重复性
RoboChallenge 如何用机器人集群做大规模远程真机评测? 两者都有远程真机评测,RoboDojo 更强调仿真诊断、三种双臂本体和统一开源工件
RMBench 策略究竟能否利用历史观察完成记忆依赖任务? RMBench 的记忆诊断更专门;RoboDojo 把记忆放在五个互补维度中统一比较

从榜单看不同策略路线

RoboDojo 同时纳入单任务模仿学习、通用 VLA、世界—动作模型、记忆增强模型和 Agent 类系统。首版论文里,ACT、SmolVLA 等单任务或较轻量基线在综合榜上较低,而具有更强预训练、空间表征或时序建模能力的 Hy-Embodied-0.5-VLA、Spatial Forcing、π0.5 和 X-VLA 形成领先组。不同方法的强项也不相同:X-VLA 在首版 Precision 维度领先,Spatial Forcing 的泛化较强,Hy-Embodied-0.5-VLA 则在长程、记忆和综合成绩上领先。

当前在线榜单又出现了一批显著高于首版结果的新系统。这说明大规模预训练、更强动作先验、世界建模、推理式 Agent 或更有针对性的训练配方都可能推动成绩,但仅凭排行榜不能证明某种架构是因果上的最佳方案。不同条目可能使用不同规模的数据、算力、预训练模型和调参预算;Preview 模型的信息披露程度也可能有限。更可靠的结论仍需要统一数据预算、统一训练步数和多随机种子的控制实验。

RoboDojo 的主要优点

1. 把“会不会”拆成“哪里不会”

一个综合成功率无法区分模型究竟败在识别、记忆、精密控制还是多步规划。五维能力榜和任务级分数使失败更容易定位,也能防止某个模型靠少数熟悉任务掩盖短板。

2. 仿真效率与真机可信度兼顾

仿真用于快速迭代,真机用于暴露接触、噪声、动作不稳定和安全风险。两者共享策略接口和评测流程,减少了从离线实验到物理部署之间的工程断层。

3. 真机评测更接近“标准实验仪器”

固定硬件几何、灯光和场景重置流程,再加上远程接入,使真实世界结果更容易跨时间、跨团队比较。对于买不起三套双臂机器人的研究团队,这一点尤其重要。

4. 难度足够高,暂时没有饱和

首版最好模型只有 8.80% 的仿真成功率,数月后的在线榜首也只有 32.26%。低分本身不是基准优秀的充分条件,但结合专家遥操作的高成功率,至少说明任务并非不可完成,而是现有策略仍有大量能力缺口。

5. 把排行榜治理写进技术方案

隐藏布局、官方远程执行、三随机种子、完整工件开源和视频审查,明显提高了刷榜成本。相比只发布任务代码然后接受自报成绩,RoboDojo 更接近一个持续运营的公共评测服务。

仍有哪些局限?

1. “统一仿真与真机”不等于验证了 sim-to-real

由于仿真与真机没有配对任务,RoboDojo 目前更像两个共享接口的互补考场,而不是严格的迁移实验。下一步可以增加一组小规模的配对任务,报告不同模型在仿真与真机上的秩相关性、失败模式重合度和校准误差。

2. 本体和场景覆盖仍然有限

仿真只使用 ARX X5,真机覆盖三种协作式双臂平台,任务主要发生在结构化桌面环境。移动操作、灵巧手、全身人形控制、户外环境和人与机器人协作仍不在核心覆盖范围。未来若扩展本体,最好同时保持原有任务和指标稳定,避免榜单失去纵向可比性。

3. 真机统计量仍偏小

每个任务 10 次试验、每个本体一个训练随机种子,在机器人领域已经成本不低,但对失败率差距较小的模型仍可能不够。排行榜应进一步展示置信区间、评分者一致性和显著性检验,而不只是一个小数点后的排序。

4. 综合分数会压缩重要差异

五个维度等权平均比按任务数平均更合理,但仍隐含了“这五种能力同等重要”的价值判断。对于真实部署,安全停机、动作平滑度、接触力、恢复能力和完成时间可能比多获得几分更关键。论文也观察到某些策略会产生不稳定动作,需要人工安全干预;这些现象应该成为正式指标,而不只是定性分析。

5. 公开基准仍会产生适应性过拟合

隐藏布局可以防止最直接的布局记忆,却不能完全阻止团队围绕已知任务分布持续调参。长期运行时,RoboDojo 需要版本化任务集、保留真正未见的测试池,并明确何种差异算“显著偏离”公开布局成绩。

6. 接入门槛和资源成本仍然较高

高保真 Isaac Sim、多摄像头输入、大模型推理和多 GPU 评测对算力、驱动和工程环境都有要求。远程真机服务降低了硬件门槛,却会把稀缺资源转化为排队时间、运营成本和平台治理压力。提供轻量 smoke test、分层评测和透明的资源配额,会让更多团队真正用起来。

7. 榜单需要更清晰地区分“模型能力”和“系统能力”

VLA、WAM、Agent、单任务模型和 Preview 系统可能拥有完全不同的数据、工具调用和推理预算。官网已经把 Agent 单列,这是正确方向;后续还可以增加参数量、训练数据规模、推理时延、显存、是否开源和平均能耗等列,让排名从“谁分高”升级为性能—成本前沿。

RoboDojo 的真正意义

RoboDojo 最值得关注的地方,不是它又增加了多少个任务,而是它试图定义一种新的机器人评测公共设施:

目前的结果也传达了一个清晰信号:机器人模型已经能在很多任务上“开始做对”,但离稳定完成仍很远。Score 与 Success Rate 之间的落差、仿真与真机排序的不一致,以及精密接触和错误恢复上的失败,都说明下一阶段的竞争不会只是扩大模型和数据,还会集中在长期记忆、阶段规划、接触反馈、闭环纠错、安全控制和跨本体适配上。

如果 RoboDojo 能持续维护版本、扩大本体范围、补充安全与效率指标,并证明仿真诊断与真实部署之间的定量关系,它可能成为通用机器人操控领域的重要“公共考场”。而在那之前,最合理的使用方式不是把排行榜第一名简单等同于“最强机器人模型”,而是把它当成一张高分辨率的能力体检表:看模型在哪里进步、在哪里失败,以及下一轮研究应该把资源投向哪里。

图片来源说明:图 1—6 来自 RoboDojo 官方网站或论文,并在各图图注中标明来源;图 7 为本站依据各项目论文与官方协议制作的定性比较图。外部图片的版权归原权利人所有。

参考资料

  1. RoboDojo 论文:A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies
  2. RoboDojo 官方网站
  3. RoboDojo 在线排行榜
  4. RoboDojo 榜单评测与反作弊协议
  5. RoboDojo 官方代码仓库
  6. XPolicyLab 官方代码仓库
  7. RLBench
  8. CALVIN
  9. LIBERO
  10. SimplerEnv
  11. RoboTwin 2.0

数据说明:本文榜单数据核验于 2026 年 10 月 10 日,官网数据更新时间为 2026 年 10 月 9 日(UTC+8)。在线榜单持续更新,引用排名时建议保留日期,并以官网最新页面为准。

评论 (0)

登录 后参与讨论

加载评论中...