FLUX 3 Action · RoboDojo / RoboTwin · ← 返回评测总览 · 更新于 2026-10-08 18:48 UTC

每个配置只跑 1 回合 · 不是官方 6300 回合协议

FLUX-3 Action 微调评测

评测对象是两个 checkpoint 系列:FLUX 3 Action RoboDojo v2(基座 black-forest-labs/flux-3-action-base,谷底 5k…60k 的 EMA)和 FLUX 3 Action RoboTwin(谷底 5k…50k 的 EMA),另加同一基座、随机初始化动作头的未训练基线。三个评测都在 6 台 AWS 4×L40S 上跑:RoboDojo 54 个任务(官方 Docker,纯 FLUX,不接 GPT)、atomic13 单技能探针、RoboTwin 2.0 官方 harness。每个任务配置只有 1 回合,单个格子的成功/失败噪声很大;和 DO-WAM 的数字口径不同,只能看大致趋势。

RoboDojo 54 任务 · 最好 40k

7/54

平均官方分 17.6,五维等权 16.5。DO-WAM 65k 官方协议:899/6277 = 14.32%,五维 Score 20.7

atomic13 探针 · 最好 35k

93/195

47.7%;未训练 23/195(11.8%)。Junbo cos276k 40k 68、60k 72

RoboTwin 2.0 · 最好 15k

65/100

clean 36/50 · randomized 29/50。DO-WAM c2r_mem 17.5k:1544/2000 = 77.2%

RoboDojo 54 个任务(纯 FLUX,官方 Docker)

54 个基准任务配置 × 布局 0 × seed 0,每格 1 回合;官方 RoboDojo Docker 客户端(EVAL_NUM=1)+ 宿主机 FLUX3 adapter,不接 GPT。成功按官方判定,分数是官方单回合分(0–100)。未训练基线 = 同一基座、随机初始化的动作头(seed 42),相当于第 0 步。未训练基线 54/54 格已全部出结果。

成功回合 / 54DO-WAM 65k 官方协议成功率 14.32%

平均官方分 = 已出结果格子的单回合分均值;五维等权 = 先按官方五个维度(泛化 / 精细操作 / 长程 / 记忆 / 开放式)各自求平均再等权平均,和官方榜单 Score 的算法一样,但我们每任务只有 1 回合。「其他」= 不是正常结束的格子(50k 的 play_tic_tac_toe 没找到稳定布局,没有计入)。DO-WAM 一行来自 config_exp 65k 官方协议页(每任务 75–150 回合)。

逐任务 × checkpoint

实心 ✓ = 成功(点开看头部相机录像,共 28 段,首次播放会一次性下载 7.5 MB 的录像包);数字 = 失败回合的官方分(有部分进度);· = 0 分;… = 还没跑完。最右列是 DO-WAM 65k 官方协议在该任务上的成功回合 / 总回合,取自 65k 页面的逐回合数据(合计 906/6300;上面汇总行用的是 899/6277 口径)。

atomic13 单技能探针(官方模拟器,非官方协议)

13 个单技能测试 × 布局 0–4 × seed 0–2 = 195 格,每格 1 回合,只给一句技能指令、按单个技能是否完成判定(同 Junbo cos276k 40k 页 的 harness)。注意这些技能句子是 DO-WAM 的 skill 指令,FLUX 只在 35 个任务描述上训练过,对它是分布外指令。60k 和未训练基线拆成很多小块在空闲卡上跑,60k 有些块被重复跑过:每格只取最早完成的那一次。

FLUX 成功格 / 195同一 harness 上的其他模型(参考)

逐测试 × checkpoint(每格 = 15 回合中的成功数)

45k 为什么掉下来

  • 掉的几乎全在 close_full / close_short:40k 是 13、11/15,45k 两个都是 0,50k–60k 也只有 0–5/15。pour_balls 也从 11 掉到 1,press_blue 来回波动。
  • metrics.json 里笔记本铰链合上比例:40k 为 0.87 / 0.78,45k 只有 0.28 / 0.17;同时耳机被抬起的格子从 7 升到 9–12/15。策略不理会「合上笔记本」这句分布外指令,转去做训练里熟悉的 store_laptop_and_headphones(先拿耳机),256 步内合不上。
  • 导出的权重 sha 和步数都核对过,不是导错 checkpoint。RoboDojo 真任务在 45k 也是最差的(0/54),所以不能只归因于指令跟随。

RoboTwin 2.0(官方 harness)

RoboTwin 2.0 官方评测(XPolicyLab eval_policy_xpolicylab.py):50 个任务 × {clean(训练见过的指令), randomized(没见过的指令和场景随机化)} × 1 回合,seed 42,相机 large_d435(= 训练数据的相机)。每个 checkpoint 的 100 组分散在 6 台节点上。FLUX 这一轮的 100 个回合里,大部分 seed 和 DO-WAM 17.5k 那 2000 回合里的某一回合相同,所以下面另给了「同 seed 配对」的对照。

clean 成功 / 50randomized 成功 / 50DO-WAM c2r_mem 17.5k 总成功率 77.2%

DO-WAM c2r_mem 17.5k EMA:1544/2000 = 77.2%(clean 907/1000,random 637/1000),是带记忆的模型,用原版 D435 相机,每任务每种设置 20 回合,见 RobotWin c2r_mem 页。FLUX 每格 1 回合,总数的统计误差约 ±5 个百分点。

逐任务 × checkpoint

每格两个小方块:左 = clean,右 = randomized;实心 = 成功。最右列是 DO-WAM 17.5k 在该任务上的成功回合(clean / random,各 20 回合)。