Amazon 十年自研芯片历程：从 Nitro、Graviton 到 Trainium，按真实工作负载逐代设计

Amazon 高级副总裁、负责基础 AI 模型与自研芯片的 Peter DeSantis 在 9 月 16 日 AI Infra Summit 上，与 SemiAnalysis 创始人 Dylan Patel 做了一场对话，回顾 Amazon 自研芯片十年来的路径。他的核心说法是：每一代芯片都从一个具体的工作负载出发，而不是从跑分出发。

从虚拟化瓶颈到 Nitro

DeSantis 在 Amazon 已 28 年，从 EC2 上线起就参与 AWS。早期 EC2 上大多数工作负载运行良好，但部分客户持续要求裸金属性能。问题在于虚拟化工作负载共享芯片缓存、I/O 总线等资源，没有系统能做到完美共享。团队由此判断必须在硬件层面创新，于是把虚拟化栈搬到专用硬件上，这就是 Nitro System。这项工作也让 Amazon 与 Annapurna Labs 走到一起，双方共同相信云会改变专用硬件的触达方式——客户不需要自己造服务器、搭供应链，启动一个实例即可。

Graviton：用真实负载而非微基准优化

约 2016 年，摩尔定律的年度增益放缓，Amazon 转向通用处理器。团队手里的特殊资源是多年运行自家 Web 服务和数据库积累的数据，以及帮客户调优应用的经验。DeSantis 称，正是这些工作负载和性能画像才是优化芯片与系统的正确方式，微基准不是。这一思路产出 Graviton。他表示，如今 AWS 上绝大多数工作负载在 Graviton 上运行更快、成本更低；团队还针对数据库、芯片设计软件等客户关心的特定负载做了优化，规模带来的基础设施成本下降也以降价形式回馈给客户。

AI 芯片随大语言模型转向

同样的原则贯穿 AI 芯片。首款 Inferentia 适配 2018 至 2021 年的 AI 负载；大语言模型出现后需求发生变化，DeSantis 称与领先 AI 客户紧密合作、加上内部研究扩展，帮助团队理解这些负载需要什么、将走向哪里，这些认知塑造了 Trainium2、Trainium3 以及通往 Trainium4 的路线图。Amazon 也在给客户更多调优手段：Trainium 的硬件 profiler 可在不干扰生产负载的前提下采集细粒度遥测，Neuron 工具链让开发者访问芯片完整指令集。

内存带宽与推理占比

DeSantis 说 AI 负载会从各个方向压榨系统：一个负载受功耗限制，下一个受内存带宽限制，再下一个受内存容量限制。内存带宽往往决定模型生成响应的速度，Patel 称其为当前 AI 最大的瓶颈。DeSantis 表示 Amazon 在 Trainium 内存栈上投入很大，同时关注总内存带宽和每美元内存带宽，对应团队一贯的两个指标：绝对性能与性价比，对客户体现为 token 吞吐。他预计未来大部分 AI 算力将用于推理，无论是服务终端用户还是生成强化学习所需的 rollout，硬件会继续适配，同时仍支持大规模训练。他也不认为会为每种负载都造一颗芯片，但会出现更多更适合特定负载的芯片。

编辑部观察

这场对话是 Amazon 对自研芯片方法论的公开复盘，而非新品发布：Trainium4 只出现在路线图表述中，没有时间表或规格。可核验的信息集中在设计方法——以真实负载数据替代微基准、以云交付替代客户自建供应链、以绝对性能和性价比双指标衡量。DeSantis 关于“绝大多数工作负载在 Graviton 上更快更省钱”和“大部分 AI 算力将用于推理”属于厂商高管的判断，原文未给出具体比例或第三方验证数据。

实践建议

对考虑迁移的企业，可先梳理自身负载画像，再对照 Graviton 与 Trainium 的适用场景做小规模试点；利用 Trainium 的 profiler 和 Neuron 工具链评估实际 token 吞吐与成本，而不是只看公开跑分。涉及 Trainium4 的规划，应等待官方公布具体规格与可用时间后再做采购决策。