
抖音级业务(短视频推荐、直播、AIGC训练/推理、电商)在"2000+台8卡GPU服务器 + 2000+台多路CPU服务器"规模下的上云参考架构。需要说明:字节/火山引擎真实的集群规格属于内部信息,下表以公开资料中字节万卡集群采用三层类CLOS、每服务器8×400G NIC、多轨(Rail-optimized)、1:1收敛的设计为参照1. 云节点 + 云Region内详细设计Region内总体拓扑:单个Region部署2000台8卡GPU服务器(共16000张GPU)+ 2000台CPU服务器。GPU池按三层类CLOS(Fat-Tree)组网,每GPU服务器配8张400G网卡,每张网卡对应一块GPU,采用多轨(Rail-optimized)方式分别接入8个独立的ToR交换机群,同号GPU跨机通信仅需在同一Rail内转发,AllReduce效率显著提升。AZ划分:单Region内划分3个AZ(AZ-A/B/C),每个AZ承载约533台GPU服务器+667台CPU服务器。AZ间通过SR-6.25T fabric互联,跨AZ延迟≤0.5ms。每个AZ内部采用上述的Tomahawk 5(51.2T、64×800G)自研中心交换机,Spine-Block覆盖2048张GPU,Core-Pod聚合4096张GPU。数学建模——网络收敛比与阻塞分析:对于任意GPU节点i到节点j的可用带宽:Bavail(