电信运营商液冷技术白皮书-27页.pdf-solarbe文库

资源描述：

1 电信运营商液冷技术白皮书LiquidCoolingTechnologyWhitepaper（ 2023 年）中国移动通信集团有限公司中国电信集团有限公司中国联合网络通信集团有限公司2023年 6月 2 前言我国数字经济蓬勃发展，AI、智算需求高速增长，新型数智化应用日新月异，高密、高算力等多样性算力基础设施持续发展，推动液冷新需求。同时，在“双碳”宏观形势下，政府部门对数据中心PUE电能利用效率监管日益趋严。液冷技术的出现，改善了传统风冷的散热形式，更能满足高密机柜、芯片级精确制冷、更节能、更节地、噪声低。液冷技术在国内外发展已有十余年，但当前生态不完善，各家产品形态各异，产品规范化程度较低，机柜与服务器深度耦合，尚无统一接口标准，难以标准化、规模化推广应用。推广液冷技术，需要集思广益、凝聚共识，完善液冷产业标准化和生态建设、促进液冷技术有序发展，开辟数据中心液冷行业高质量发展道路。作为建设网络强国、数字中国、智慧社会的国家队与主力军，中国移动、中国电信、中国联通全面贯彻落实新发展理念，服务新发展格局，凝聚行业合力、发挥规模优势，共同联合产学研用上下游，强化技术攻关，共同推进液冷基础设施侧与主设备侧的解耦，探索机柜与服务器间接口的统一及标准化，旨在构筑技术领先、开放共享、自主可控、成本最优、合作共赢的“新生态”，推进冷板式液冷形成拥有原创技术、接口标准统一、产业生态完善、规模应用的发展态势，推进浸没式液冷形成标准统一化、产品国产化、实施工程化、推广规模化的发展格局，推动建立并完善数据中心液冷技术生态系统，持续降低数据中心能耗强度和碳排放强度，促进经济社会绿色转型，助力尽早实现碳达峰、碳中和目标。 1 目录 1 发展回顾. 1 1.1 面临形势 1 1.1.1 高密高算力基础设施推动液冷新需求 . 1 1.1.2 政府对数据中心能效监管日益趋严 . 1 1.2 发展现状 2 1.2.1 国内外发展历程 . 2 1.2.2 当前液冷技术 . 3 1.3 业内实践 3 1.3.1 中国移动 . 3 1.3.2 中国电信 . 5 1.3.3 中国联通 . 7 1.4 产业生态 8 1.4.1 产业链上游 . 8 1.4.2 产业链中游 . 8 1.4.3 产业链下游 . 8 1.5 发展挑战 9 2 目标蓝图. 9 2.1 三年愿景 9 2.2 技术路线 10 2.3 生态完善 11 3 技术方案. 11 3.1 冷板式液冷 11 3.1.1 服务器与机柜解耦 . 11 3.1.2 CDU形式 13 3.1.3 供电模块 . 14 3.1.4 冷却液选择 . 14 3.2 浸没式液冷 16 3.2.1 系统方案 . 16 2 3.2.2 冷却液 . 17 4 推进计划. 19 4.1 制定标准 19 4.1.1 冷板式液冷 . 19 4.1.2 单相浸没式液冷 . 19 4.2 测试验证 19 4.2.1 冷板式液冷 . 19 4.2.2 单相浸没式液冷 . 19 4.3 规模推广 19 5 展望倡议. 20 缩略语列表. 21 参考文献. 22 1 1 发展回顾 1.1 面临形势 1.1.1 高密高算力基础设施推动液冷新需求我国数字经济正在转向深化应用、规范发展、普惠共享的新阶段。当前，新型应用日新月异，AI、智算纷纷提前布局，高密、高算力等多样性算力基础设施持续发展，作为建设网络强国、数字中国、智慧社会的国家队与主力军，中国移动、中国电信、中国联通积极推动智算等高算力建设，推进人工智能、元宇宙、图形渲染等计算密集型业务发展。计算型节点、AI训练、超算等高算力业务需求持续推升芯片性能、功率与服务器功率不断提高，液冷技术利用液体较高的比热容和换热能力可以支撑更高功率散热，正在逐步成为新型制冷需求。为促进液冷技术发展推进，国家、地方及行业推出相关政策引导液冷技术落地应用。2021年5月发改委、工信部等部门联合发布的全国一体化大数据中心协同创新体系算力枢纽实施方案中要求“推动数据中心采用液冷、机柜模块化、余热回收利用等节能技术模式”。2021年7月工信部新型数据中心发展三年行动计划（2021- 2023年）要求“加强核心技术研发。鼓励企业加大技术研发投入，开展新型数据中心预制化、液冷等设施层，专用服务器、存储阵列等IT 层，总线级超融合网络等网络层的技术研发”。2021年11月发改委贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案明确“支持采用液冷等方式”。 1.1.2 政府对数据中心能效监管日益趋严数据中心是数据流接收、处理、存储与转发的“中枢大脑”。为激活数据要素潜能，不断做强做优做大数字经济发展，我国正加快构建新型数据中心基础设施体系。同时，在“双碳”宏观形势下，政府部门近年陆续出台多项文件，对数据中心PUE电能利用效率监管要求不断提高、达标时间不断提前。 2 2021年7月工信部印发新型数据中心发展三年行动计划（2021-2023年）（工信部通信〔2021〕76号），明确“到2023年底，新建大型及以上数据中心 PUE降低到1.3以下，严寒寒冷地区力争降低到1.25以内”。2021年11月发改委印发贯彻落实碳达峰碳中和目标要求推动数据中心和5G等新型基础设施绿色高质量发展实施方案（发改高技〔2021〕1742号），明确“到2025 年，新建大型、超大型数据中心PUE降到1.3以下，国家枢纽节点降至1.25以下。”2022 年1月发改委同意启动建设全国一体化算力网络国家枢纽节点的系列复函中明确要求国家算力东、西部枢纽节点数据中心PUE分别控制在1.25、1.2以下。液冷技术通过冷却液体替代传统空气散热，液体与服务器高效热交换，提高效率，挖潜自然冷源，降低PUE，逐步成为一种新型制冷解决方案。 1.2 发展现状 1.2.1 国内外发展历程我国液冷技术起步稍晚于国外，但起步后发展迅速，后期与国外发展进程基本同步，并且在液冷规模试点应用方面积累了丰富经验。 3 1.2.2 当前液冷技术液冷技术主要包括冷板式液冷、浸没式液冷和喷淋式液冷技术三种。冷板式液冷是服务器芯片等高发热元件的热量通过冷板间接传递给液体进行散热，低发热元件仍通过风冷散热的一种方式。浸没式液冷是服务器完全浸入冷却液中，全部发热元件热量直接传递给冷却液，通过冷却液循环流动或蒸发冷凝相变进行散热的一种方式。其中，冷却液循环流动的方式为单相浸没式液冷，冷却液蒸发冷凝相变的方式为相变浸没式液冷，相变浸没式液冷控制更复杂、要求更高。喷淋式液冷是用冷却液直接喷淋芯片等发热单元，通过对流换热进行散热的一种方式。当前，冷板式液冷、单相浸没式液冷为主要形式。 1.3 业内实践 1.3.1 中国移动多年来中国移动持续推动绿色转型，加强节能技术创新，主持或参与编制标准，探索研究液冷技术，开展先行试点应用，后续将进入规模试点新阶段。（1）标准编制 2018年至今，主持或作为主要单位编制了工业与信息化部、中国通信标准化协会、中国电子学会、开放数据中心标准推进委员会等数十项液冷相关标准，其中参与编制的“数据中心液冷服务器系统总体技术要求和测试方法等团体标准6项” 荣获2021年度中国通信标准化协会科学技术奖二等奖。2021年作为主要参与单位编制液冷行业首批共5项行业标准，填补了行业空白。（2）应用实践针对冷板式液冷与浸没式液冷，主动布局，按步骤、分阶段、积极在数据中心与5G基站等场所开展了液冷系统试点应用，对液冷技术的安全性、稳定性、节能性等进行测试验证。前期探索阶段，2012年在南方基地开展“数据中心双通道散热关键技术及应用”研究，申请专利94项（其中发明48项,实用新型46项）、设计标准与规范2 项、软件著作权1项、发表论文23篇。目前已稳定运行近10年，年均PUE保持在1.2以下。 4 图1 中国移动南方基地气液双通道冷板液冷研究和实践先行试点阶段，2017年在呼和浩特组织热管水冷、两级热管和水冷冷板等三种冷板式液冷测试。2019-2021年在河北、山东组织核心路由器液冷、江苏组织 5G BBU浸没式液冷、浙江组织汇聚机房浸没式液冷试点。图2 中国移动呼和浩特冷板式液冷测试图3 中国移动5G基站单相浸没式液冷试点 5 图4 中国移动汇聚机房单相浸没式液冷试点规模试点阶段，2023年中国移动在呼和浩特数据中心国家发改委绿色节能示范项目以及智算中心项目中启动液冷规模试点。 1.3.2 中国电信中国电信深入开展数据中心绿色低碳化建设，大力推进“要素升级、集成创新”，突出创新发展、低碳发展，积极开展液冷技术研究和试点试用。（1）技术研究准确把握技术演进方向，积极开展液冷应用研讨分析。2019年，在贵州进行大容量路由器冷板式液冷研究和测试，采用国产氟化液作为冷却液，室外干冷器为冷源。路由器总功率为18KW，70板卡器件由冷板式液冷散热，30器件由风冷散热，经2年跟踪测试，在二次侧液冷系统供液45℃、室外环境15-20℃ 条件下，液冷运行PUE运行约1.15，项目2021年获得“2021信息通信产业创新贡献奖”（ICT最佳案例）。 6 图5 中国电信贵州冷板式液冷路由器试点（2）试点应用在5G BBU站点及数据中心机房积极进行液冷试点应用。 5G BBU液冷系统应用方面，针对5G BBU发热量大、散热难的突出问题，率先开展5G BBU喷淋式液冷降温散热技术研究，并获取了国家发明专利2项。 2020年10月启用首个试验点，上线2个液冷机柜，经长期测试，轻负载率条件下 PUE值约1.246，满负载率条件下PUE值约1.15。5G BBU服务器试点应用浸没液冷技术，在安徽、浙江、福建、上海、江苏等分批实施，规模化应用部署。图6 中国电信5G BBU机柜液冷试点 7 数据中心液冷应用方面，在高密度机房开展试点应用。2018年3月，在广州安装冷板式液冷微模块（2列服务器机柜）和风冷微模块各1个，液冷微模块 PUE值约1.2，风冷微模块PUE值约1.4，冷板式液冷节能效果明显。2023年计划在京津冀数据中心实施30个液冷服务器机柜；计划在安徽建设3列，每列7 台36KW冷板式液冷机柜，预留8台40KW浸没式液冷机柜；在广州开展1个冷板式液冷服务器项目。图7 中国电信广州数据中心冷板式液冷微模块试点 1.3.3 中国联通中国联通根据发展需求和IT设备单机功耗变化特点，积极响应国家绿色、节能、低碳政策要求，主动开展液冷基础理论技术、产品设备、实际使用方面的研究交流，并结合实际进行液冷技术探索与应用。（1）理论研究数据中心间接冷板式液冷研究方面，研究不同冷板形式、一次冷却过程热阻分布，以及冷板结构参数、冷却液流量对散热效果影响，总结关键部件主要影响因素，提出设计与运行建议。数据中心直接浸没式、喷淋式液冷研究方面，研究强化传热方式，分析液冷强化散热的结构设计，如热沉参数对换热性能的影响，研究冷池及喷淋结构设计，总结不同冷却液的物化特性、不同形态的传热性能，提出强化换热设计方案。服务器芯片发展趋势及液冷技术适用性方面，研究芯片制造工艺与工作温度相互作用，研究不同液冷技术必要性及适应性，为建立“冷却-能耗”模型提供理论基础。 8 （2）试点应用数据中心试点应用方面，在德清云数据基地IDC机房高功率机房，安装机柜32架，采用冷板式液冷，进出水温度为15/32℃，2021年6月投产，已稳定运行近两年，制冷效果良好。 BBU集中机房液冷试点应用方面，2021年10月，在郑州开展9台5G BBU 设备液冷喷淋测试，配置一套10kW液冷机柜，并同步与风冷测试。风冷机柜 PUE为1.448，液冷机柜PUE为1.254。如考虑液冷模式下主设备BBU取消风扇因素，则BBU液冷系统PUE值约为1.16（扣除主设备风扇影响），芯片温度较风冷低10-20度，寿命更长。 1.4 产业生态液冷产业生态涉及产业链上中下游，包括上游的产品零部件提供商、中游的液冷服务器提供商及下游的算力使用者。 1.4.1 产业链上游上游主要为产品零部件及液冷设备，包括快速接头、CDU、电磁阀、浸没液冷TANK、manifold、冷却液等组件或产品供应商。部分代表厂商有英维克、3M、云酷、竞鼎、诺亚、广东合一、绿色云图等。 1.4.2 产业链中游中游主要为液冷服务器、芯片厂商以及液冷集成设施、模块与机柜等。部分代表厂商有华为、中兴、浪潮、曙光、新华三、联想、超聚变、英特尔等。 1.4.3 产业链下游下游主要包括三家电信运营商，百度、阿里巴巴、腾讯、京东等互联网企业以及信息化行业应用客户，主要在电信信息、互联网、政府、金融、交通和能源等信息化应用。目前，阿里巴巴以单相浸没式液冷为主要发展方向，其他用户以冷板式液冷试点应用居多。 9 1.5 发展挑战（1）液冷产业生态尚不成熟目前业内尚无服务器与机柜统一接口规范标准，机柜与服务器深度耦合，各家服务器设备、冷却液、制冷管路、供配电等产品形态各异，不同厂家产品接口不同、不能互相兼容，势必限制竞争，影响产业高质量发展。（2）液冷系统架构尚在演进当前业内液冷系统架构不同，制冷与供电存在分布式、集中式不同架构；部分厂家服务器已演进为高温服务器，可减配冷水机组，进一步简化冷源架构，促进降本增效。（3）液冷系统成本仍较高与传统风冷产品比较，液冷仍存在初期投资高、全生命周期成本高等问题，影响产品的规模应用与推广。 2 目标蓝图 2.1 三年愿景电信运营商共同联合产学研上下游，凝聚行业合力、强攻关、构生态、拓应用，强化原创性、引领型关键核心技术攻关，全力打造高水平液冷生态链；构筑开放生态，推进液冷机柜与服务器解耦，引领形成统一标准，既要降低PUE（数据中心电能利用效率），又要获取最低TCO（全生命周期成本）；发挥规模优势，大力拓展应用。冷板式液冷方面，推进形成拥有原创技术、接口标准统一、产业生态完善、应用规模最大的发展态势；浸没式液冷方面，推进形成标准统一化、产品国产化、实施工程化、推广规模化的发展格局。 2023年开展技术验证，充分验证液冷技术性能，降低PUE，储备规划、建设与维护等技术能力；2024年开展规模测试，推进液冷机柜与服务器解耦，促进竞争，推进产业生态成熟，降低全生命周期成本；至2025年，开展规模应用，共同推进形成标准统一、生态完善、成本最优、规模应用的高质量发展格局，电信行业力争成为液冷技术的引领者、产业链的领航者、推广应用的领先者。 10 2023 2024 2025及以后开展技术验证；引领形成解耦标准，主流厂家解耦液冷产品研发完成技术验证规模试验领先标杆 50以上项目规模应用，技术、生态、应用全面领先新建项目10规模试点液冷技术，推进生态成熟 2.2 技术路线在芯片演进趋势上，芯片TDP设计功耗不断增长，单个CPU功耗已达到 350W，单个GPU功耗已达到500W，未来还将持续增长。目前各液冷技术均可满足未来较长时间芯片散热需求，并有进一步提升空间，如冷板式液冷可减小接触热阻、微通道设计等加强换热，浸没及喷淋式液冷可改善流场等。在液冷方案演进上，现阶段冷板式液冷无法解决服务器全部散热等问题，后续有望向风液融合或全液冷方向演进，并对应应用高温服务器或服务器全部部件增加冷板。浸没式液冷目前主要存在冷却液物性要求高、服务器定制化程度高、与现有基础设施体系不兼容、生态不完善等问题，随着冷却液国产化替代性能的提升，流场优化不断完善、产业生态不断成熟，浸没式液冷应用场景将进一步拓展。另外，相变浸没式液冷控制复杂、要求高，喷淋式液冷应用仍较少。总体来看，冷板式液冷与单相浸没式液冷各有优劣，生态均需完善，两者演进均尚需时日，未来一定时间内将并存发展，为当前业内发展主流。综上，电信运营商现阶段主要推进冷板式液冷与单相浸没式液冷两种技术路线。 11 2.3 生态完善液冷技术现阶段需求驱动“核心是PUE”，未来规模应用“关键是TCO”。液冷技术的高质量发展关键在于完善生态，电信运营商将从传统意义的单纯用户，转变成为液冷生态的主导者、设计者、构筑者，吸纳产学研用各界伙伴开展合作，凝聚共识、深度协同、创新攻关、融通发展，携手构筑技术领先、开放共享、自主可控、成本最优、合作共赢的“新生态”。聚合力，拓宽“朋友圈”。借助行业协会组织等平台，融合互联网企业、大学及科研机构、液冷服务器、液冷配套设施、集成商、测试服务商等上下游等合作伙伴。立标准，开放“新生态”。通过行业协会、社会团体等标准化组织，争取将解耦液冷标准升级为团体标准或行业标准。探索接口标准化，引领机柜与服务器解耦，形成开放环境，促进厂家充分竞争，推进产业生态成熟，降低产品采购成本，利于业务灵活部署扩容，获取最低TCO。 3 技术方案 3.1 冷板式液冷联合产业链上游企业，制定标准化接口，形成统一标准；同时开展核心技术攻关，争取实质性突破，推进打造解耦液冷机柜统一接口服务器柔性基础设施的开放、先进、完善的生态。 3.1.1 服务器与机柜解耦（1）交付模式比较当前交付模式包括一体化交付与解耦交付两种。解耦交付是液冷机柜与液冷服务器之间遵循用户统一制定的接口设计规范，机柜与服务器解耦，可由不同厂商交付。一体化交付是液冷整机柜（包括机柜和服务器）由厂商自定标准进行集成设计开发，整机柜由同一厂商一体化交付。解耦交付模式更有利于促进竞争、实现多厂家适配，便于后续灵活部署，为推进产业生态成熟，形成统一标准及规 12 范，从易于推广、灵活部署、促进竞争、降低TCO等角度出发，液冷技术路线应采用解耦交付模式。（2）盲插解耦方案对于手插和盲插，由于液冷产品涉及液冷接头的维护工作，其中手插接头对运维人员的要求较高，插拔操作依赖机房运维人员。而盲插液冷接头插拔具备自动化保障，盲插快接头操作方便，连接精度高，符合未来自动巡检、机器人运维需求。因此，应选用盲插方案，并在此基础上，基于解耦理念，推进服务器与机柜盲插统一接口标准化，减少机柜与服务器间的限制，可灵活部署，降低成本、促进液冷技术规模化、产业化发展。盲插解耦方案采用标准机柜、盲插制冷管路、集中供电模块，可选配分布式 CDU及无源风液换热器，有效提升功率密度，降低PUE，节省布线空间，提高上架率。主要内容包括标准机柜产品整体为标准机柜形态，部署服务器、交换机等多类型设备。供冷盲插服务器与机柜仅通过盲插快速接头连接，无需软管。连接简单， 13 节省大量布线空间，线缆之间无交叉，漏点少。供电盲插利用电源框、电源模块、供电铜排向机柜内设备集中供电，支持盲插操作，无需电源线缆，节省布线空间。图8 盲插解耦方案 3.1.2 CDU形式冷板式液冷接头分为集中式CDU与分布式CDU两种布置形式。分布式CDU 免二次管路部署，适应不同机柜功率场景，易与机柜功耗匹配，根据业务上架情况随启随用，实际工程中根据情况选择，优先采用分布式CDU形式。表1 集中式CDU与分布式CDU对比集中式CDU 分布式CDU 布局 CDU布置在机柜外，每列机柜布置两个CDU，一主一备 CDU布置在机柜内部，每个机柜对应一个CDU 组成液冷二次侧冷却环路主要由 CDU（内循环通道部分）、液冷 IT设备、IT设备柜内配流管路组件、二次冷却管网系统等组成液冷二次侧冷却环路主要由CDU（内循环通道部分）、液冷IT设备、IT设备柜内配流管路组件系统等组成系统管路连接较多，需二次侧管路部署，需考虑二次侧流量分配较少，免二次管路部署；支持不同阻力特性/功率等级机柜混配，无流量浪费空间利用率较低，占用机房空间较高，集成于机柜内部可维护性相对简单，出现故障可集中诊断和维护，但影响范围大；二次侧冷却液循环路径长，需关注冷却液洁净度相对复杂，需多点诊断和维护，但故障影响范围局限在单个机柜内；冷却液尽在机柜侧循环，路径短，有利于保持洁净度。适用场景对于大型、超大型数据中心，机柜总数多，应用集中式CDU可减少设备维护量，增加管路维护量。适用于业务需求明确的场景，机柜间无明显制冷量差异。对中小型数据中心，机柜数量适中，应用分布式CDU也不会增加过多维护负担，同时具有高度集成、系统简洁等特点。可随业务需求分批上线，可适应不同机柜功率场景，易于机柜功耗匹配技术成熟度较高，起步较早，应用相对较多较高，起步较晚，正在创新应用 14 3.1.3 供电模块供电模块包括分布式供电与集中供电两种模式。集中供电模式将服务器电源集中起来部署在机柜内部池化管理，统一为服务器供电，由电源框、供电母排和节点供电模块组成。电能损耗小，48V电压低，安全性高，服务器内部仅设置一个供电模块，节省服务器内设备布置空间。服务器内器件供电电压逐步向48V演进，与集中供电适配性高，可进一步减少服务器内电源转换。业内有多个厂家可支持集中供电模式。分布供电模式电源分布在每个服务器节点上，主要由PDU和分布在每个服务器节点上的电源组成。建设中根据具体场景选择，优先集中供电模式。表2 分布供电模式与集中供电模式对比项目分布供电模式集中供电模式配置服务器采用2N配置的PSU AC转 DC电源模块机柜配置2N交流PDU 连接每个服务器采用2组交流电源线缆服务器采用1N DC转DC电源模块机柜配置1N电源框，9个电源模块，1个 busbar 连接每个服务器1组铜夹子连接线缆可靠性两路电源分别输入2N PDU，相互备份，一路故障时切换至另外一路。两路电源输入电源框，一路故障时自动切换另外一路，电源模块N1备份。装配性安装/维护服务器需要进行电源线缆的布放安装/维护服务器采用盲插操作，免插线缆，装配简单应用情况常规应用方案目前演进方向，业内均有应用业务安全两个PDU均受损时，会影响机柜供电机柜内设备通过铜排集中取电，极端情况下如铜排断裂，会影响机柜供电。通过云化、池化、分摊业务等方式，可避免对业务的影响。 3.1.4 冷却液选择业内选择有乙二醇溶液、丙二醇溶液、去离子水等。其中华为、曙光以25 乙二醇溶液为主，浪潮、新华三以25丙二醇溶液为主。浓度25并非定值， 2030均可，浓度不宜过高，影响工质流动、散热性能，也不宜过低，无法起到防冻作用及抑制微生物的作用，在浓度20以上时，乙二醇溶液和丙二醇溶液对微生物即可起到一定的抑制作用。去离子水具有良好的传热性能，超低电导率、制备工艺成熟，无毒安全，可 15 作为冷却液备选之一，但需注意对冷却液的维护。去离子水的冰点为0℃，需考虑运输、储存、短时停机、业务量较少、服务器已安装未运行等情况下防冻问题。综上，可根据工质液体热性能，部署所在地的地理位置和气候等条件综合考虑选用冷却液。表3 冷板式液冷主要冷却液性能对比冷却液 25乙二醇 25丙二醇去离子水冷却液行标要求沸点/℃ 198 187 100 - 凝固点/℃ -12.7 -10.2 0 - 导热系数 /W/m*K 0.51 0.49 0.63 - 比热容 /KJ/kg*K 2.347 2.481 4.2 - 密度/kg/m 3 1027 1014 992 - 运动黏度/mm 2 /s 1.1685 1.3708 0.6552 在最低使用温度下液体运动黏度100ppm；使用液体要求无皮肤接触，无眼接触刺激，无细胞变异影响，对水生毒害无影响腐蚀性弱腐蚀性，需加缓蚀剂弱腐蚀性，需加缓蚀剂弱腐蚀性，需加缓蚀剂 - 环保性需加水稀释后排放到污水管道需加水稀释后排放到污水管道环保,直接排放臭氧破坏潜能ODP0 材料兼容性通过添加剂（缓蚀和杀菌）有效抑制管路中材料腐蚀和细菌的滋长通过添加剂（缓蚀和杀菌）有效抑制管路中材料腐蚀和细菌的滋长通过维持工质运行环境超低的电导率来抑制管路材料中的腐蚀和微生物的滋长，同时也配有添加剂（缓蚀和杀菌） - 产业链及成本与汽车防冻液共用产业链，大量应用，产业链成熟、成本低多用于食品、饮料等有低毒性要求的产业链，应用范围小，成本高去离子水制备工艺及产业链较成熟 - 16 3.2 浸没式液冷 3.2.1 系统方案 IT设备定制化。浸没式液冷需要密封舱体存储冷却液，服务器设备应满足对冷却液的兼容性，因此采用定制化IT设备。流场及散热优化。浸没式液冷设备内部冷却液与IT设备直接接触进行热交换，由于不同的IT设备热功耗不同，因此需考虑机柜内温度场分布均匀，按需分配冷却液流量，避免出现局部热点，导致设备过热宕机。运行维护便利性。由于浸没式液冷中的服务器设备浸泡在浸没腔中，运行维护需需要额外吊装机械臂，便于将服务器从冷却液浸没腔中取出。图9 浸没液冷冷塔散热架构示意图 17 3.2.2 冷却液浸没式液冷的冷却液几乎与系统内所有材料接触。冷却液的粘度和沸点等热物理性能、闪点等易燃性或可燃性能、材料兼容性、对传输信号影响、绝缘性、环境影响、安全性、可维护程度、长期稳定和清洁度、成本等是浸没式液冷重要关注问题，应全面统筹考虑后进行选取。目前浸没式冷却液主要分为碳氢及有机硅化合物类和碳氟化合物类。（1）碳氢化合物（Hydrocarbon）及有机硅类冷却液业内一般统称为“油类冷却液”，一般分为天然矿物油、合成油、有机硅油3 大类。常温下呈黏稠状，比热容和导热率较高，具有沸点高不易挥发、不腐蚀金属、环境友好、毒性低等共性且成本较低；但有闪点，使用中有可燃助燃风险。（2）碳氟类（Fluorocarbon）冷却液将碳氢化合物中所含的一部分或全部氢换为氟而得到的有机化合物，整体传热能力更佳，同时无闪点不可燃、寿命长、不易变质、兼容性好、低粘度易维护、更安全可靠。面向愈发严格的环境保护要求，氟化学公司正致力于研究开发超低温室效应碳氟化合物（Ultra Low GWP），争取对环境友好的同时兼顾商用需求、适宜的生产成本和稳定工艺，3M、科慕、霍尼韦尔等企业均有所涉及。同时，当前造价高，随着技术发展与国产化替代，液体成本将逐步下降，经济性得到改善。对于单相浸没液冷，碳氢及有机硅类化合物和碳氟类化合物均有相关案例，后续需要进一步测试验证。应用中还需注意部分风冷下工作组件兼容问题，如机械硬盘HDD无法直接在冷却液下工作，需选用借助镭射封装等技术将HDD密封为氦气硬盘。 18 表4 浸没式液冷冷却液性能对比对比项碳氢及有机硅类冷却液碳氟类冷却液天然矿物油合成油有机硅油氢氟烃（HFC）全氟碳化合物（PFC ）氢氟醚（HFE）碳氟化合物（GWP） 3M FC40 全氟三丁胺，X Ｐ68电子冷却氟化液臭氧层破坏无无温室效应无会带来温室效应温室效应影响较小超低温室效应影响小液体粘度高低 2.2 2.2 沸点高，不易挥发较高 170 165 腐蚀性不腐蚀金属不腐蚀金属毒性低低成本低较高高高闪点及可燃性存在闪点，有可燃助燃风险可设计高闪点，但可能导致流动困难无闪点，不可燃老化变质性容易分解、老化，会变色氧化产生酸，需要定期检测不易分解变质可靠性及寿命低，3- 5年高，超过10年兼容性兼容性差兼容性好杂质对元器件损害大导热率高低惰性低高维护性黏性高，不便于维护，需要清洗剂黏性低，易挥发，便于维护密度（g/cm 3 ）低高比热容高低挥发性不易挥发易挥发综合传热性能（与密度、粘度、比热、导热有关）低高介电强度（绝缘性） 30kV 24kV 介电常数低低低对高速信号传输有一定影响低 1.9 1.9 19 4 推进计划 4.1 制定标准 4.1.1 冷板式液冷 2023年电信运营商协同产业链厂家联合技术攻关与研发，年底前形成冷板式液冷技术标准，2024年提交行业组织协会，争取升级为团体或行业标准，打造解耦液冷机柜统一接口服务器柔性基础设施的开放、先进、完善的生态。 4.1.2 单相浸没式液冷 2023年启动调研交流，争取年底前形成统一技术标准，适时部署后续工作。 4.2 测试验证 4.2.1 冷板式液冷对于盲插解耦式液冷，目前华为、超聚变等服务器厂家已满足盲插快接；中国移动已组织研发新型机柜，将在测试后及时开源。同时支持更多服务器与机柜厂家参与，计划2023年底前推动测试工作，2024年中完成规模验证。 4.2.2 单相浸没式液冷 2024年适时开展系统兼容性、服务器定制、冷却液（碳氢及有机硅化合物类和碳氟化合物类）国产替代等研发与试点验证。 4.3 规模推广经测试验证，2025年及以后在电信行业规模应用，技术、生态、应用全面领先。 20 5 展望倡议我国数字经济正在转向深化应用、规范发展、普惠共享的新阶段。作为建设网络强国、数字中国、智慧社会的国家队与主力军，中国移动、中国电信、中国联通将全面贯彻落实新发展理念，服务新发展格局，坚持绿色低碳发展理念，大力加强数据中心建设，推进算力网络资源布局，促进资源、要素的高效汇聚、流动、共享，支撑数字经济不断做强、做优、做大。为完善液冷产业标准化和生态建设、促进液冷技术有序发展，开辟数据中心液冷行业高质量发展道路。在此，倡议产业各方凝聚共识、加强协作，在技术、产业、生态等方面攻坚克难，解决当前液冷技术和产品在接口规范标准不够完善、原创技术不够成熟、产业生态不够健全等系列问题，建议产业各方围绕“三年愿景”，着力开展以下重点工作一是凝聚合力、加强合作。进一步加强需求使用单位、生产企业、高校和研究单位的合作交流，建立协同发展机制，通过对关键技术领域的联合攻关、联合试点、联合推广等，加速技术创新与技术成熟，形成从基础技术研究、产品开发、应用对接和商业落地的全生命周期闭环，确保液冷技术自主可控、产业可持续发展，为液冷技术高质量发展提供基础保障。二是完善标准、推进生态。探索液冷基础设施侧与主设备侧的解耦，推进机柜与服务器间接口的统一及标准化，形成电信运营商液冷技术标准，加速解耦产品研发和孵化，形成一系列具备自主知识产权的核心产品，全方位构建技术和产品能力。同时，通过测试验证，进一步细化生产工艺、建设实施等细节，升级迭代完善，旨在构筑技术领先、开放共享、自主可控、成本最优、合作共赢的“新生态”。三是示范验证、加快推广。打造若干个试点示范，加快测试验证，以点带面，探索液冷解决方案的新应用、新模式、新生态，形成可复制、可推广的经验和做法，推动液冷产业成熟与规模应用。 21 缩略语列表缩略语英文全名中文解释 AI Artificial Intelligence 人工智能 PUE Power Usage Effectiveness 电能利用效率 TCO Total Cost of Ownership 全生命周期成本 TDP Thermal design power 热设计功耗 CPU Central Processing Unit 中央处理器 GPU graphics processing unit 图形处理器 CDU coolant distribution unit 冷量分配单元 PSU Power Supply Unit 电源单元 PDU Power Distribution Unit 电源分配单元 22 参考文献 1.李洁著，液冷革命[M].人民邮电出版社.2019 2.郭亮等著，数据中心热点技术剖析[M].人民邮电出版社.2019 3.开放数据中心委员会.液冷技术与应用发展白皮书[ R] . 2018 4.赛迪顾问股份有限公司.中国液冷数据中心发展白皮书[R] . 2020 5.英特尔公司.绿色数据中心创新实践冷板液冷系统设计参考[R] . 2022 6.中国智能计算产业联盟.东数西算下新型算力基础设施发展白皮书[R] . 2022 7.开放数据中心委员会.冷板式液冷服务器可靠性白皮书[R] . 2022 8.开放数据中心委员会. ODCC-2020-05001.浸没液冷数据中心规范[S] . 2020 9.中华人民共和国工业和信息化部. YD/T 3979-2021.数据中心浸没式液冷服务器系统技术要求和测试方法[ S] . 2021 10.中华人民共和国工业和信息化部. YD/T 3980-2021.数据中心冷板式液冷服务器系统技术要求和测试方法[S]. 2021 11.中华人民共和国工业和信息化部. YD/T 3981-2021.数据中心喷淋式液冷服务器系统技术要求和测试方法[S]. 2021 12.中华人民共和国工业和信息化部. YD/T 3982-2021.数据中心液冷系统冷却液体技术要求和测试方法[ S]. 2021 13.中华人民共和国工业和信息化部. YD/T 3983-2021.数据中心液冷服务器系统能源使用效率技术要求和测试方法[S]. 2021 14.中华人民共和国工业和信息化部. YD/T 4024-2022.数据中心液冷服务器系统总体技术要求和测试方法[S]. 2022 15.中华人民共和国工业和信息化部. YD/T 4154-2022.通信局（站）喷淋式液冷系统维护技术要求[ S]. 2022