METHOD / 方法论
先统一口径，再谈性能
同样一台机器，换一种测法，结论可能完全相反。这个页面固定记录我使用的指标、陷阱与报告模板， 所有评测都按同一套口径执行，方便横向比较，也方便别人复算。
一、核心指标
| 指标 | 定义 | 用途 |
|---|---|---|
| TTFT | 从发出请求到收到第一个 token 的时间 | 交互体验，流式场景最关键 |
| TPOT | 首 token 之后，平均每个输出 token 的间隔 | 生成速度，受 batch 与显存带宽影响 |
| E2E | 整条请求从发出到结束的总耗时 | 业务 SLA、批处理任务 |
| 吞吐 | 单位时间完成的请求数或输出 token 数 | 容量规划，必须与并发一起看 |
| P50 / P95 / P99 | 延迟的分位数 | 平均值会掩盖长尾，SLA 看 P95/P99 |
二、六个常见陷阱
- 只报 tok/s，不报输入输出长度。 输出长度固定与否、输入是否共享前缀，都会显著改变结果。
- 不区分单流与并发。 单流快不等于高并发好；batching 会让 TPOT 变差但吞吐变高。
- 忽略预热与缓存。 第一次请求包含模型加载、编译、cache 冷启动，必须单独说明或剔除。
- 非流式接口的 TTFT 字段错位。 有些服务在非流式模式下把总耗时填进 TTFT，需要抓包确认。
- 用平均值代替长尾。 平均值好看、P99 难看，是生产环境最常见的翻车方式。
- 把软件瓶颈算到硬件头上。 编排层、连接池、日志、序列化都可能先于 GPU/NPU 成为瓶颈。
三、可复现等级
每篇评测都会标注等级，读到 C 级就不要指望能完全复现：
- A 级 · 完全可复现：公开环境清单、脚本、数据与校验，任何人可在同类环境复算。
- B 级 · 需同类硬件：脚本与口径公开，但依赖特定型号的加速卡或整机。
- C 级 · 仅方法可复现：只能复用方法与结论框架，数据或环境无法公开。
四、报告模板
# 标题（结论式，不要"关于……的研究"）
> 一句话结论 ｜ 日期 ｜ 作者 ｜ 可复现等级
## 1. 结论
- 3 个关键数字 / 推荐或不推荐 / 对谁有用、何时失效
## 2. 环境
硬件（可角色化脱敏）/ 驱动与框架版本 / 模型与参数 / 网络拓扑
## 3. 方法
负载、采样口径、指标定义、重复轮次、排除干扰的方式
## 4. 数据
表格与图表（每张图必须有结论句，不做"图挂"）
## 5. 复现
命令、脚本、原始数据、校验值
## 6. 局限与反例
什么情况下结论不成立；我可能错在哪里
## 7. 更新记录
旧结论 → 新结论 → 为什么改（撤回也要留痕）
## 8. 利益披露
设备来源、是否收费、是否送测五、固定承诺
- 只发有原始数据与复现步骤的结论；没有数据就写成"笔记"，不冒充评测。
- 每篇固定写利益披露：设备来源、是否收费、是否送测。
- 旧结论错了就撤回，在新版本里写清"为什么改"。
- 不使用任何公司数据、公司设备与工作时间；不发布可识别的客户信息与个人隐私。
六、引用与许可
本站内容采用 CC BY 4.0许可，署名即可转载；评测脚本采用 MIT 许可。引用时请保留原文链接与版本号。