cfgexp60k_wsds5k_c01_s065000_official_docker_20260925

RoboDojo DO-WAM 评测 · config_exp WSD-S 第 1 周期 65k(官方协议 · 6300 回合)

← 评测总览 · config_exp 60k(官方 Docker · 7/seed 筛查) · skill30 30k(官方 Docker · 7/seed 筛查)

主数字是 config_exp WSD-S 第 1 周期 65k EMA(从 config_exp 60k 完整训练状态续训 5000 步,WSD-S 末 1000 步线性衰减,memory 任务比例 0)按官方协议跑的纯 WAM全量结果:54 个配置 × seed 0–2 × 官方回合数(每个 seed 50 回合,其中 24 个配置 25 回合)= 6300 回合,在官方 RoboDojo Docker 镜像(upstream 726e9aa,Isaac Sim 5.1,官方默认 CPU 物理,单环境)里评测。这是第一份按官方协议跑完的 DO-WAM 结果,回合数是 7/seed 筛查的 5.6 倍。灰色参照一:config_exp 60k(本页的起点权重);灰色参照二:skill30 30k。两个参照都是同一 Docker 管线下的 7/seed 筛查(每个配置 21 回合),单个配置误差约 ±8 个百分点。每条 episode 都能看到任务要求、结果和头部相机录像。

结果(09-25):续训 5k 步没有带来整体提升。65k 官方协议 906/6300 = 14.4%,与 60k 的 7/seed 筛查 14.4% 持平;按官方排行榜算法(五个能力维度等权,全部 54 个配置,6300 回合无缺失):Score 20.73,在 48 个模型中排第 6,成功率 13.76% 排第 8。变化超过 10 个百分点的任务:变好 build_tower 6/21 → 67/150、insert_tubes 9/21 → 83/150、store_laptop_and_headphones 2/21 → 16/75;变差 hang_mugs 9/21 → 20/75、make_kong 6/21 → 19/150、plug_in_charger 5/21 → 12/150、pour_liquid_into_cup 11/21 → 29/75。参照只有 21 回合,这些差异里有相当一部分是筛查的抽样误差。更公平的比较:只取 60k 筛查跑过的同一批 1097 个(任务, seed, 布局),60k 为 154/1097 = 14.04%,65k 为 165/1097 = 15.04%;只有一方成功的回合 60k 59 个、65k 70 个,McNemar 精确检验 p = 0.38,差异不显著。
补跑说明:fold_clothes_random seed 0 第一次只跑了 2/25(Isaac Sim 渲染出现 CUDA 非法内存访问卡死,旧的完成判定把它当成了完成),判定修复后补跑剩下 23 回合(job 3073),这一组最终 7/25 成功。

五个能力维度

官方榜单口径:维度内任务等权,五维等权平均;generalization 的普通/随机版本各占一半。所以一个评测条件的杠杆(从 0 做到 100% 能给总分加几分)取决于它所在维度有几个条件——memory 每条 3.33 分,generalization 每条只有 0.83 分。两种统计:已完成子集(29 个基础任务全部测完,其他模型也按同一子集重算)和全量补零(未完成/异常/跳过项暂记 0 分)。参照线为官方榜首。"训练份额"是 robodojo_task_focus.yaml 草案里该维度可训任务的采样份额之和。

逐任务结果

点任意圆点看那条 episode 的头部相机录像(有录像的圆点带实心边)。每个任务最多带 3 条成功、2 条失败的录像。每张卡还标了:你的评审备注、该条件对总分的杠杆、训练语料覆盖情况和 robodojo_task_focus.yaml 草案里的采样权重。

成功 失败(圆点内为部分得分) 场景异常,隔离不计 未跑 / 跳过 重点可能可以提别管了 评审备注 训练任务随机布局变体未训练 语料覆盖

逐任务对照:官方榜单、补丁栈(GPU 物理)与 skill_fix 40k(同管线)

每行一个评测配置,数字都是成功率(%)。排名是本页 SR 在 40 个官方模型加我们共 41 个里的名次,按 SR 严格高于我们的模型数计,"并列"含我们自己。青色底表示本页 SR 不低于该任务官方榜首。点表头排序。我们每配置只有 21 条(1 次成功 ≈ 4.8 个点),官方是 75/150 条;差距在 ±10 点内基本看不出高低。

官方榜单(RoboDojo Sim Leaderboard,官网 2026.9.23 版)与本页模型的位置

已测完子集上的重算排名(前 12)

官网榜单更新记录

口径与局限

    未计入的部分