结论前置：拓扑选型本质是在通信开销与硬件成本之间找平衡点

单机内多卡推理靠高速互联把模型切分后的通信压到可接受范围，一旦跨机扩展，拓扑形态就直接影响端到端时延。天天看球技术解读栏目认为，拓扑没有绝对优劣，只有与负载形态是否匹配。张量并行吃带宽，专家并行吃路由灵活性，流水并行吃延迟稳定性，三者对拓扑的要求并不相同。

天天看球在梳理公开技术白皮书时发现，很多团队在扩容时直接沿用单机思路，结果通信开销吃掉了新增算力，吞吐提升远低于预期。问题往往不在芯片，而在拓扑与并行策略的错配。

常见拓扑形态的带宽与延迟特征

全互联结构在节点数较少时延迟最低，但端口数与线缆成本随节点数平方增长，扩展性受限。胖树结构用分层交换换扩展性，代价是多跳带来的延迟累积。环状与网格结构成本低、布线规整，适合通信模式规律的负载，但对不规则路由不够友好。

  • 全互联：小规模高带宽场景占优，扩展成本陡增。
  • 胖树：大规模集群主流选择，需关注收敛比与拥塞控制。
  • 环状网格：成本敏感型部署可选，依赖通信模式可预测。

天天看球提醒，评估拓扑时不能只看峰值带宽，还要看尾延迟。推理服务对尾延迟敏感，一次拥塞就可能拉高整体响应时间。

选型判断框架：先定并行策略，再定拓扑

第一步明确模型切分方式，张量并行要求节点间高带宽低延迟，专家并行要求路由灵活且支持多播。第二步估算通信量占比，若通信时间超过计算时间的三成，就应优先优化拓扑而非继续加卡。第三步做成本核算，把交换设备、线缆、功耗与运维一起计入总拥有成本。天天看球建议用公开基准做小规模验证，再决定扩容路径。

互联拓扑的演进方向是更近的存储与更短的搬运路径，这与先进封装的思路一脉相承。天天看球会持续在技术解读栏目跟踪这些设计取舍，帮助读者在算力扩张时少走弯路。