Skip to content

test(graphcredit): add matched-budget gate1 harness - #395

Draft
diaochengxi wants to merge 4 commits into
modelscope:mainfrom
diaochengxi:codex/graphcredit-gate1
Draft

diaochengxi wants to merge 4 commits into
modelscope:mainfrom
diaochengxi:codex/graphcredit-gate1

Conversation

@diaochengxi

Copy link
Copy Markdown
Contributor

背景

Related to #391. Stacked on #394.

本 PR 实现 GraphCredit Gate 1:在相同模型、rollout、组大小、更新步数和评测集上比较
episode-level GRPO 与 StateGraphAdvantage 的训练方向。

任务设计

受控二维网格任务包含两步:

  • 正确动作会缩短到目标的 Manhattan distance;
  • 错误动作立即终止 episode;
  • episode reward 仅由最终成功决定,成功为 1,失败为 0。

因此 GRPO 会把最终结果广播到 episode 内全部动作,而 GraphCredit 可以对相同
pre_state_key 下的中间动作单独归一化。

实现

  • 直接调用 Twinkle 的 GRPOAdvantage 和 StateGraphAdvantage;
  • 构造 Twinkle-compatible turn_credits、action span、policy version 和 terminal success;
  • 两臂使用同一套 LoRA policy-gradient update;
  • 输出逐步 reward、success、loss、action token、rollout 耗时、峰值 HBM 和 GraphCredit diagnostics;
  • 支持 A2 Ascend NPU 的 BF16 + LoRA 独立运行。

本地验证

  • advantage、TurnCredit 和多轮相关回归:164 passed
  • Gate1 机制单测:
    • 正确中间动作获得正 graph credit;
    • 错误首步获得负 graph credit;
    • 错误动作立即终止 episode。
  • 变更文件 pre-commit:全部通过

A2 状态

已使用新授权连接 A2,确认:

  • Ascend 910B4,32768 MB HBM;
  • Python 3.10.12;
  • torch 2.10.0,torch_npu 2.10.0;
  • CANN 加载后 NPU 可用;
  • /workspace/shared_assets/models/Qwen/Qwen3-0.6B 已缓存。

Gate1 脚本已成功下载到 A2 工作区,但跳板授权是一次性的。随后传输文档时远端 curl
挂起,中断命令导致中继关闭;当前尚无 GRPO/GraphCredit 两臂训练结果。本 PR 不会在
结果完成前宣称训练收益。

待完成

  • 在 A2 运行 GRPO 与 GraphCredit 两臂;
  • 报告 initial/final held-out success;
  • 至少增加第二个随机 seed;
  • 根据结果调整训练步数或学习率,不修改 advantage 机制口径。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant