← GPT-only harness
DO-WAM · RoboDojo · GPT-only harness · --protocol harness · rgb_only + 深度查询
GPT 逐轮回放
每一轮调用都是一次独立的请求:GPT 自己不保存任何东西,它能"记住"的只有 harness 贴回来的最近 5 条记录。
下面按轮列出这一轮请求里实际发给 GPT 的图片和文字、GPT 的回复、执行器怎么执行的,以及 GPT 看不到的进度真值。
- ① system prompt每轮完全相同,约 7 千字符:任务规则、原语格式、相机常数。
- ② current当前机器人状态(rgb_only 白名单):末端位姿、关节、夹爪、步数、not_failed。没有物体位姿,也没有任务进度。
- ③ recent_execution = 记忆最近 5 轮各自的 reason 和执行结果。更早的轮次完全丢弃;compact 模式下连深度查询结果也不带。
- ④ 三张当前图片head、左腕、右腕,640×480(本页压缩成 400 宽)。image_history = 0,以前轮次的图片一张都不再发送。
- 看不到的部分GPT 的推理过程是加密的(reasoning.encrypted),只能看到它最后输出的 reason 和 segments。虚线框里的进度真值来自奖励镜像,从未发给 GPT。