2026 Open AI Infra Summit特辑｜高晓军：新一代智算超节点技术趋势与挑战
2026-04-27
以下文章来源于微信公众号——全球计算联盟GCC
欢迎阅览 GCC CompuWave 之「大咖观点」版块
2026 Open AI Infra Summit 上，
Open AI Infra 社区管理委员会联席主席
字节跳动技术专家高晓军
发表了《新一代智算超节点技术趋势与挑战》主题演讲
如下内容根据其演讲整理编辑而成，略有删减
在过去的一年中，AI产业发展迅猛，但是模型的创新已经有所放缓。此前，AI基础设施的需求主要来自模型创新的驱动，随着模型创新放缓，基础设施的创新变得更加重要。未来一段时间，企业需要通过基础设施自身的更多创新，来引领整个AI产业的发展。
在模型端的边际效益已经递减，企业已经进入工程化、规模化的部署阶段；在应用端发生的爆发式增长，正倒逼基础设施极限扩容。
从算力使用的角度来看，目前推理的需求已经超过了训练需求的比例。智能体（Agent）的迅猛发展，对基础设施的性价比、系统性优化也提出了新的要求。因此，未来AI基础设施的发展，决定了企业在AI应用的上限以及TCO优化的底线，对计算、存储、互联、能源、液冷各方面都提出了新的需求。
新一代智算超节点的关键需求
在算力应用上，系统设计需要创新突破功耗限制，支持大功率算力芯片和异构算力的应用，适配原生AI需求。
同时，存储变得更加重要，不再只有单一的数据存储需求，而是要求高带宽、低延迟、更好的内存共享能力、系统弹性扩展能力以及冷热数据分层管理等。应该说，面向 AI 的存储与计算，共同驱动了超节点的发展。
新一代智算超节点对于互联交换芯片、高可用系统的构建、带宽和速率的大幅提升也提出了要求。对于复杂硬件系统，也需要系统软件保障系统稳定可靠、弹性扩展，提升资源利用率。
为了提升软硬件系统效率，数据中心电力、制冷、算力的协同变得更加重要，单一技术的发展无法达成整个系统的全局最优，需要在全环节、多领域充分协同优化。
异构计算与KV Cache：突破AI算力、内存瓶颈
过去一段时间，异构算力得到了非常快的发展。最近备受关注的近存计算（Near-Memory Computing）、存内处理（Processing-In-Memory）等技术，已经逐步成熟，从实验室走向工程化、产品化。
英伟达在GTC 大会上展示的LPU（Language Processing Unit）成为热点，它通过片上集成大容量SRAM，提供高带宽、低时延访问性能，预期为低延迟推理带来更好的效果。
众多存储介质厂商和算力芯片厂商基于存内处理（Processing-In-Memory，PIM）和存内计算（In-Memory Computing，IMC）的研究，也推出了相关的新产品。JEDEC组织也正在推进存内计算标准规范的制定，未来异构计算的成熟，将大幅提升计算效率。
基于这些计算和存储技术，构建层级化的KV Cache系统，不仅可优化I/O性能，提升资源利用率，更是未来复杂AI应用的基础。在传统的 L1（HBM）、L2（Dram）、L3（Local SSD）、L4（Network Storage）的存储分层基础上，可能产生更多细分的分层，例如 L1.5（HBF），L2.5（Memory Pool）和 L3.5（ICMS）等这些当前热议的HBF 技术、资源池共享和长上下文存储，通过分层介质的应用、KV Cache全局调度与管理，支持系统突破新的内存墙。
这些分层存储系统，也需高速互联技术、互联协议的支持。KV Cache 正从推理优化手段升级为 AI 基础设施核心组件，需要硬件与系统架构的协同，在容量、成本、性能方面取得平衡，实现标准化应用。
这就需要Open AI Infra社区的各个伙伴共同推进生态的标准化，让异构算力、KV Cache系统的新技术尽快走向产品应用。
互连技术：从 “连接组件” 到 “计算核心”
算力固然重要，算力的互连正变得更加重要。
超节点技术的核心，正是互连技术。在解决超节点系统大规模互连需求时，通常有如下几条路线。
第一个路线是基于电互连。可以继续提升机柜密度支持更多GPU算力芯片，缩短互联距离，提升性能并减少互连成本。比较有代表性的产品是英伟达、AMD的高密度机柜，汇聚了高速互联、高密工程、供电、散热、可靠性等诸多技术突破，从而推动了超节点的发展。
这个方向会受到一个比较大的制约，即铜互连的距离。在200G时代，铜互连距离基本上被限制在两个标准机柜的范围内，如果要向更大互连范围拓展，则会遇到铜互连距离的挑战。
第二个路线是基于光互联，这也是行业目前积极发展的方向，可以支撑更大的互联域，可以达到500卡、1000卡甚至更大规模。华为光互连技术在昇腾 384 超节点新产品上已经得到了较好的商用。英伟达在GTC2026上展示了NVLink光互连技术，8个机柜支持 576卡甚至 1152卡超大规模的 HBD（High-Bandwidth Domain，高带宽域）互联。
电互连和光互连两个方向上的突破，将支撑新一代超节点系统的持续发展。
互联硬件日新月异，互联协议也百花齐放。在多元XPU算力、多种互连协议的情况下，超节点系统日趋复杂，对于服务器整机厂商而言尤其如此，他们面临着多种开发的投入，因此需要共同积极推进XPU语义和互连协议的标准化发展。
Scale up 光互连：突破铜互连物理极限
目前，光互连的工程化和产品化应用依然存在一些挑战。
首先，从XPU的需求而言，Scale up带宽需求与OE通道数存在着一定的不匹配性。行业主流算力芯片有36通道、72通道需求，而光技术是沿着以太网为代表的8通道、16通道、32通道的容量和通道数在推进。
这就需要在进行系统设计时，考虑Scale up的带宽需求和光引擎（OE）生态，进行适当的取舍。从互连技术本身来看，光互连有多种方式，如 CPO （ Co-Packaged Optics，共封装光学模块）、NPO（Near-Packaged Optics，近封装光学模块）、LPO（Linear-drive Pluggable Optics，线性驱动可插拔光学模块）等不同形态。
从目前可落地的角度，为减少与XPU芯片的耦合，业界一般认为NPO是比较务实的选择。
NPO的底层技术方向，也有多种路线可选。可以选择硅光加外置光源的方式，也可采用硅光和光源集成的方案。系统设计不同的方案选择，也面临着交换机和XPU的互操作性、兼容性等需要解决的问题。
业界正积极推进光接口MSA（Multi-Source Agreement）的发展。OIF CEI（光互联论坛定义的通用高速电接口标准），已经在底层电气、管理、框架规范上做了一些定义和积累；Open CPX（开放共封装交叉互连多源协议）和 OCI MSA（光计算互连多源协议）推进OE光引擎、Scale-up光互连标准化，前者包括物理封装 / 接口，socket、连接器、机械、热、光引擎接口等，后者包括光 PHY / 链路层，调制、波分、激光器、链路协议等。
Open AI Infra社区在发展光产业时，可以积极拥抱行业发展，在行业基础上推进MSA标准化工作。没有标准化，产业发展和产品落地就会变得比较困难，这是社区需要解决的重要问题。
除了XPU、光技术、MSA，光互连产品在落地工程化时仍然有一些问题需要解决。例如光引擎（OE）模块，在封装结构、板级布线设计以及插槽选型与定制上，还缺少特别成熟的产品，需要业界共同推进；在OE管理、OE散热等方面，也需要持续投入，才能够让Scale-up光互连技术快速发展，为新一代算力系统提供更好的选择。
提升散热能力，支持高密度 MW 级系统散热
未来算力芯片会如何发展？可以通过行业典型的芯片面积来进行预估。
以当芯片技术，单Reticle面积可达800平方毫米以上，通过Chiplet的方式，芯片package将做到更大的面积。预计未来两三年，芯片package发展到长宽100毫米到120毫米、面积约14400平方毫米。面积越大，则面临更多工程上的挑战，例如如何克服芯片的热变形、如何实现板级工艺加工等。
同时，一些厂商也在推进基于晶圆级（Wafer Scale）芯片的发展，单个 Wafer的面积和功耗会指数级提升，整个系统的设计将会与传统的 XPU应用变得不同。
在解决芯片散热方面，需要进行更多的突破。当前的常规做法，大功率芯片散热通过压缩冷板Fin Gap（鳍片间隙）的方式进行突破，从0.15毫米压缩到 0.10毫米甚至更小。冷板铲齿加密，冷板流阻增加，工质及环网脏污会造成堵塞风险提升，给系统稳定性带来很大挑战。
一些新的冷板技术，大幅提升了散热能力，但工艺已不再是传统的结构件，芯片级的精准散热、半导体级别的精密制造，对系统应用环境有更高的要求。
这就需要系统从机柜节点、CDU(冷却分配单元)、机房等多个维度进行协同优化、在线监测和热管理。
推进原生液冷提升液冷占比，以800V HVDC应对供电刚需
谈及系统的液冷发展，目前常规设计仅GPU、CPU支持冷板液冷，内存、SSD、网卡等部件仍以风冷为主。
在未来单机柜功率达到300千瓦以上量级时，在风液混合的情况下，风侧的负荷超过30kW，对数据中心非常不友好。建议加快推进网卡、SSD、光模块等部件原生液冷的设计，支撑AI超节点全液冷覆盖。
当然，最后还有供电需求。随着单芯片功率倍增、单机柜GPU数量增长，有限机柜空间下沿用常规交流供电架构，输入电源所需Cable过多，电源接入困难凸显。在单机柜功率达300kW以上时，800V高压直流供电成为刚需。而800V HVDC应用需要解决一些列工程问题，例如直流系统的可靠性设计、安全性、TCO、法规遵从性等方面都需要持续推进技术和产品的成熟。
高密智算系统设计面临供电、液冷和高速互联在机柜宽度和空间上的竞争。以常规典型机柜（600 毫米宽）为例，未来既需要提升液冷散热能力，也要提升互联带宽，这意味着液冷组件、背板高速互联组件所需空间更大，而高压供电的安全隔离也需要更大空间，系统设计将会变得非常困难，需要平衡算力密度、散热与供电规格。
同时，高性能算力的EDPp治理作为新一代智算系统的关键问题，需要围绕“硬件 + 软件 + 储能”，推进技术标准、跨系统协同设计、验证。
小结：依托Open AI Infra社区 共同推进超节点生态发展
整体而言，新一代智算超节点需要在有限空间内支持算力密度、互连带宽、供电、制冷规格的大幅提升，工程实现难度极大，复杂系统的可靠性/可用度挑战巨大。Open AI Infra社区将积极推进超节点生态伙伴在算力及部件、系统互连、散热、供电等各方面技术的协同与进步，通过社区共同努力，实现新一代超节点架构演进与生态发展。