原文：AI Model Co-Design: Hardware-Friendly LLM Design — NVIDIA Technical Blog, Jul 10, 2026
作者：Ritika Borkar, Nidhi Bhatia, Bhargava Gopireddy, Nick Comly, Brian Pharris, Julien Demouth, Bita Darvish Rouhani
NVIDIA 技术博客发了一篇模型-硬件协同设计的实战手册。作者阵容很硬——TensorRT-LLM、CUTLASS、Tensor Core 架构的核心贡献者都在列。这不是理论文章，是一份给模型设计者的工程 checklist。
核心框架：三个维度，一个帕累托前沿
AI 部署的性能由三个维度决定：
- Accuracy（精度）——模型推理和输出的质量
- Throughput（吞吐）——数据中心每秒生成多少 token
- Interactivity（交互性）——用户体验到的响应速度，由延迟主导
文章的核心命题是：固定精度不变，吞吐和交互性构成一个二维帕累托前沿——提升一方通常要牺牲另一方。目标不是优化单点，而是把整条曲线向外推，最大化曲线下面积。
图 1：系统吞吐与交互性的帕累托前沿。系统部署者关注 fleet throughput（tokens/sec），用户关注首 token 延迟和 token 间延迟（tokens/sec/user）。
先搞清楚你的瓶颈在哪
文章开篇就给了一张关键的象限图——不同工作负载和部署目标下，LLM 推理的时间花在哪里：
图 2：横轴是上下文长度（短→长），纵轴是服务目标（吞吐优先→延迟优先）。四个象限的瓶颈分布完全不同。
关键信息：
- 长上下文 × 吞吐优先：77% 时间在 Attention 上——优化 FFN 几乎没用
- 长上下文 × 延迟优先：模型并行引入通信开销和固定开销
- 短上下文 × 吞吐优先：Attention 和 FFN 时间相当，适合 Expert Parallelism
阿姆达尔定律直接适用：优化花时间最多的地方。 知道自己属于哪个象限，才知道力气该往哪儿使。
七条硬件友好设计准则
以下是文章给出的七条实操建议，每条都有硅验证数据支撑（测试平台：GB300 / Blackwell）。
准则 1：让权重矩阵尽量接近方形，避免任何维度太小
核心原理来自 Roofline 模型：
图 3：算术强度（FLOP/Byte）决定处于 memory-bound 还是 compute-bound。要让 GEMM 进入 compute-bound 区域，必须保证足够的算术强度。
对于固定的参数量，GEMM 的算术强度随着 H（hidden dim）和 H'（FFN intermediate dim）增大而提升。当 H 或 H' 太小时，GPU 大部分时间在搬运数据而非做计算。
文章给出了一个具体的反例：FFN-2（下投影）中 H'=512, H=8192，即使 token 维度（GEMM-M）拉到 16384，这层仍然是 memory-bound——因为 FP4→FP8 的写入开销主导，而 K=512 的缩减维度太小。
图 4：GB300 上 NVFP4 GEMM 实测。左：固定 M=8192, N=9728，K 维度从 128 到 14080 扫描——K≈6144 时饱和，要达到 80% 持续吞吐需要 K>3072。右：固定 M=8192, K=8448，N 维度扫描——N≈6144 时饱和，要达 80% 需 N>2560。
经验值：让 K 和 N 都 > 2560-3072。
准则 2：维度对齐到 128（至少），256 或 512 更优
GPU 执行 GEMM 时把输出矩阵切成 tile，每个 SM 算一块。Blackwell 引入 ClusterMMA（两个 SM 协同算一个 tile）和 CGA（Cooperative Grid Array，一组 SM 协同），有效 tile 更大。
如果 GEMM-N 不是有效 tile 的倍数，边缘 tile 只填充了一部分但依然启动完整计算——填不满的算力就是浪费。
图 5：GB300 上用 256×128 tile + ClusterMMA + 4×2 CGA，N 维度以细粒度步进扫描。N 为 256（ClusterMMA）或 512（CGA）的倍数时吞吐出现局部峰值。谷值 vs 峰值的差距显著。
- 安全下限：128 的倍数（对齐 cache-line）
- 推荐值：256（对齐 ClusterMMA）
- 最佳值：512（对齐 CGA）
准则 3：宽比深好
对于固定参数量，更宽的模型（更大的 H、更少的层数 L）比更深的模型有更高的算术强度和更低的延迟。原因：
- 更大的 GEMM：每次 GEMM 的 K 维度更大 → 算术强度更高 → GPU 利用率更高
- 更短的顺序关键路径：更少的层意味着更少的顺序依赖
- 更高的权重复用：更大的 weight matrix 在批次推理中被复用更多次
但有一条重要限定：深度贡献表示能力。所以不是”越宽越好”，而是在精度不下降的范围内选更宽的配置。
准则 4：为低精度（NVFP4）执行设计
量化是同时提升 compute-bound 和 memory-bound 性能的杠杆——降低了数学计算量，也减少了内存搬运。
图 6：GB300 各精度下的密集 Tensor Core 吞吐。FP16/BF16 ≈ 2.5 PFLOPS，FP8 ≈ 5 PFLOPS，FP4 ≈ 15 PFLOPS。
NVFP4 是 NVIDIA 专为平衡精度和速度设计的格式：每 16 个值的微块（micro-block）共享一个 FP8 (E4M3) 缩放因子，再加一个 per-tensor 的 FP32 二级缩放。这种分层缩放大幅降低了量化误差。
图 7：DeepSeek-R1 的 NVFP4 精度与 FP8 基线对比，多数 benchmark 差距在 1 个百分点以内，SciCode、Math-500、AIME 2024 上匹配甚至超过 FP8。
工具链：TensorRT Model Optimizer 支持 PTQ、QAT 和高级校准；LLM Compressor 支持量化感知训练。
准则 5：Large Expert Parallelism 提升 MoE 吞吐
大多数 SOTA LLM 已是 MoE（Mixture-of-Experts）架构。在吞吐优先部署中，最有效的策略是 Expert Parallelism（EP）：Attention 做 Data Parallelism（避免 TP 的 AllReduce 开销），FFN experts 分布到多 GPU 上。
以 DeepSeek-R1 为例（256 experts, top-k=8），有效 GEMM-M 公式：
GEMM-M = (global concurrency × top-k) / #experts
= (tokens_per_GPU/s × GPUs × 8) / 256
EP 扩展 GPUs 能同时带来三个收益：
- 提升并发度 → 更大 GEMM-M → 更好 GPU 利用率
- 聚合带宽 → 更多 GPU 分担 expert 权重加载
- 降低单 GPU 内存压力 → 释放 KV cache 空间 → 进一步提升并发
NVIDIA 的 Wide-EP（TensorRT-LLM）提供了高性能 all-to-all 通信内核 + 自适应负载均衡器。
准则 6：为 Pipeline Parallelism 设计规整的层模式
当 Prefill 和 Decode 分离部署时，Chunked Pipeline Parallelism（CPP）是降低首 token 延迟的关键技术——它把输入 token 切成 chunk，让不同 GPU 并行处理不同层和不同 chunk。
图 8：CPP 同时切分层（纵轴）和 token chunks（横轴），让 token chunk 以流水线方式在多 GPU 间流动。
图 9：DeepSeek-R1 prefill @ 256K 输入长度。Pipeline parallel size 从 1 扩展至 32，首 token 延迟持续下降，而 tokens/s/GPU 保持大致恒定。
前提：pipeline 阶段必须均衡。解决方案是设计规整、可重复的层模式，使得按层数切分流水线时各阶段计算量一致。
准则 7：解耦 Attention 和 FFN 的并行策略
低延迟服务场景（低并发）下，Attention 和 FFN 面临不同瓶颈：
- FFN：memory-bound（GEMM-M 小，但 weight 尺寸不变）→ 用 TP/EP 把 weight 分散
- Attention：TP 受 KV head 数量限制（MQA/GQA/MLA 只有少数 KV head）→ 需要 KV parallelism
Helix Parallelism（NVIDIA Research, 2025）在 Attention 中沿序列维度切 KV cache，在 FFN 中复用同一组 GPU 做 TP×EP。NVL72 的高带宽 NVLink 吸收了大部分通信开销。
设计 Checklist
回到出发点——如果你正在设计下一代 LLM，把下面四条作为模型设计 checklist：
| # | 准则 | 具体操作 |
|---|---|---|
| 1 | 维度接近方形 + 对齐 | H、H’ 尽量大且接近，均为 128/256/512 的倍数 |
| 2 | 宽优于深 | 在精度允许范围内选更宽而非更深的配置 |
| 3 | 为 NVFP4 设计 | 确保低精度量化后精度损失可控 |
| 4 | 规整、可重复的层模式 | 便于 pipeline parallelism 均衡切分 |
这些不是事后调优项——是建模阶段就应该考虑的结构性决策。事后改模型架构的成本远高于改推理配置。
一条重要的底层逻辑
这篇文章虽然通篇在讲 GPU 和 GEMM，但它传递了一个更深层的信号：模型架构的竞争力正在从”精度”单维度向”精度 × 部署效率”多维度转移。
当 NVFP4 能让 DeepSeek-R1 几乎无损地跑到 15 PFLOPS，当 Expert Parallelism 能让 256-expert MoE 高效扩展——这些不是硬件厂商在给自己的芯片做广告，而是在给模型开发者递工具箱。谁先用好这些工具，谁的模型在部署端就更具成本优势。
硬件友好的设计，就是更便宜的推理，更大的用户规模。
原文链接：AI Model Co-Design: Hardware-Friendly LLM Design — NVIDIA Technical Blog