RoboDojo 54 个任务(纯 FLUX,官方 Docker)
54 个基准任务配置 × 布局 0 × seed 0,每格 1 回合;官方 RoboDojo Docker 客户端(EVAL_NUM=1)+ 宿主机 FLUX3 adapter,不接 GPT。成功按官方判定,分数是官方单回合分(0–100)。未训练基线 = 同一基座、随机初始化的动作头(seed 42),相当于第 0 步。未训练基线 54/54 格已全部出结果。
平均官方分 = 已出结果格子的单回合分均值;五维等权 = 先按官方五个维度(泛化 / 精细操作 / 长程 / 记忆 / 开放式)各自求平均再等权平均,和官方榜单 Score 的算法一样,但我们每任务只有 1 回合。「其他」= 不是正常结束的格子(50k 的 play_tic_tac_toe 没找到稳定布局,没有计入)。DO-WAM 一行来自 config_exp 65k 官方协议页(每任务 75–150 回合)。
逐任务 × checkpoint
实心 ✓ = 成功(点开看头部相机录像,共 28 段,首次播放会一次性下载 7.5 MB 的录像包);数字 = 失败回合的官方分(有部分进度);· = 0 分;… = 还没跑完。最右列是 DO-WAM 65k 官方协议在该任务上的成功回合 / 总回合,取自 65k 页面的逐回合数据(合计 906/6300;上面汇总行用的是 899/6277 口径)。
atomic13 单技能探针(官方模拟器,非官方协议)
13 个单技能测试 × 布局 0–4 × seed 0–2 = 195 格,每格 1 回合,只给一句技能指令、按单个技能是否完成判定(同 Junbo cos276k 40k 页 的 harness)。注意这些技能句子是 DO-WAM 的 skill 指令,FLUX 只在 35 个任务描述上训练过,对它是分布外指令。60k 和未训练基线拆成很多小块在空闲卡上跑,60k 有些块被重复跑过:每格只取最早完成的那一次。
逐测试 × checkpoint(每格 = 15 回合中的成功数)
45k 为什么掉下来
- 掉的几乎全在
close_full/close_short:40k 是 13、11/15,45k 两个都是 0,50k–60k 也只有 0–5/15。pour_balls也从 11 掉到 1,press_blue来回波动。 - metrics.json 里笔记本铰链合上比例:40k 为 0.87 / 0.78,45k 只有 0.28 / 0.17;同时耳机被抬起的格子从 7 升到 9–12/15。策略不理会「合上笔记本」这句分布外指令,转去做训练里熟悉的 store_laptop_and_headphones(先拿耳机),256 步内合不上。
- 导出的权重 sha 和步数都核对过,不是导错 checkpoint。RoboDojo 真任务在 45k 也是最差的(0/54),所以不能只归因于指令跟随。
RoboTwin 2.0(官方 harness)
RoboTwin 2.0 官方评测(XPolicyLab eval_policy_xpolicylab.py):50 个任务 × {clean(训练见过的指令), randomized(没见过的指令和场景随机化)} × 1 回合,seed 42,相机 large_d435(= 训练数据的相机)。每个 checkpoint 的 100 组分散在 6 台节点上。FLUX 这一轮的 100 个回合里,大部分 seed 和 DO-WAM 17.5k 那 2000 回合里的某一回合相同,所以下面另给了「同 seed 配对」的对照。
DO-WAM c2r_mem 17.5k EMA:1544/2000 = 77.2%(clean 907/1000,random 637/1000),是带记忆的模型,用原版 D435 相机,每任务每种设置 20 回合,见 RobotWin c2r_mem 页。FLUX 每格 1 回合,总数的统计误差约 ±5 个百分点。
逐任务 × checkpoint
每格两个小方块:左 = clean,右 = randomized;实心 = 成功。最右列是 DO-WAM 17.5k 在该任务上的成功回合(clean / random,各 20 回合)。