当 TOPS 不再重要：Hot Chips 2026 的端侧 AI 架构路线

本期简介

Hot Chips 2026 最值得端侧架构师关注的，不是更大的峰值算力，而是数据应该留在哪里、计算应该靠近哪一级存储。本期用统一坐标比较 HBF、LPDDR-PIM、HBM base die、3D-DRAM、端侧 chiplet 与低延迟 dataflow，并把结论落回 G100 和 X100 的九个架构问题。

Show Notes

• 把 capacity、bandwidth、latency 与 energy wall 分开，才能判断端侧推理真正受限于哪一种数据移动成本。
• HBF 不是廉价 HBM：它更适合冷 expert、稀疏长上下文与可预取数据，并要求独立的 placement、prefetch 与 endurance 管理。
• LPDDR-PIM、HBM base die 与 3D-DRAM 都在把计算推向存储，但三者的访问粒度、软件债务、热设计与供应链耦合完全不同。
• Pistil、Crescent Island、Waymo 与 Eagle-N 说明，端侧架构更应优化低 batch、持续带宽、确定性延迟与显式数据流，而不是只比较峰值 TOPS。
• 节目最终把材料收敛为 G100 与 X100 的九个架构问题，覆盖 memory object、搬运主体、解压位置、chiplet 系统管理与实时路径。