可复现的推理评测：一份复现包应该包含什么

为什么需要复现包

评测最容易失去信任的地方，不是结论反直觉，而是无法验证。读者只能选择相信或不信，这本质上不是技术讨论。

复现包的目标只有一个：让另一个工程师在同类环境里，用一条命令跑出和你一致的结果；如果不一致，也能快速定位差异来自环境、版本还是口径。

五件套

#	内容	作用
1	`manifest.json`	环境与口径的机器可读清单
2	`raw/`	脱敏后的原始输出（JSON/CSV/log）
3	`run.sh` / `run.ps1`	一键复跑，参数显式化
4	`CHECKSUMS`	文件校验，防止数据被静默替换
5	`LICENSE` + `README`	许可、引用方式、已知差异

目录结构示例

report-2026-10-16/
├── README.md
├── manifest.json
├── run.sh
├── CHECKSUMS
├── LICENSE
├── raw/
│   ├── run-01.json
│   ├── run-02.json
│   └── run-03.json
└── charts/
    └── throughput.svg

环境清单要写什么

manifest.json 至少包含：

加速卡型号与数量（可角色化脱敏，如“某国产 8×910B4 服务器”）
驱动 / CANN / CUDA / 框架版本
模型名称、参数量、精度、量化方式
启动参数（并行度、显存利用率、最大长度、批量配置）
负载定义（输入长度分布、输出长度、并发模型、预热轮次）
采集方式（流式/非流式、计时边界、采样频率）

数据脱敏的边界

可以公开：合成或自建负载、脱敏后的性能数据、脚本与配置、硬件类别与版本信息。

不能公开：任何客户数据、隐私数据、内部模型与业务参数、未公开的厂商缺陷与补丁细节、内网地址与凭据。

复现等级

A 级：脚本、数据、环境全部公开，可在同类环境复算。
B 级：脚本与口径公开，但依赖特定硬件。
C 级：只能复用方法与结论框架。

下一步：轻量 benchmark 工具

我准备开源一个最小可用的工具，只做三件事：固定口径、输出结构化结果、生成复现包骨架。不做花哨的榜单，也不绑定任何厂商。

如果你也想让自己的评测更容易被复现，欢迎从这五件套开始。