倪 吉 刘守亚 袁中原 张雯琦 高 波
（1.四川省建筑科学研究院有限公司 成都 610081；
2.西南交通大学机械工程学院 成都 610031）
随着互联网用户的规模不断增大，数据流量的快速增长对保障高性能计算和数据传输的数据中心基础设施提出了更高的要求，从而导致了能源消耗和碳排放量的快速增加[1]。“碳达峰碳中和”背景下，鉴于我国数据中心存在一定的供需失衡、失序发展问题，我国数据中心布局正在转变，各地区纷纷出台相应政策引导数据中心的绿色可持续发展，绿色数据中心试点工作有序进行[2]。数据中心的最大耗能项为IT 设备，其所消耗的电量会全额转化为热量。数据机房运行过程中产生的热量将引起室内空气温度的升高，导致机房IT 设备运行效率下降甚至损坏。因此，高效的数据中心冷却系统是保障数据中心合理且高效运行的关键。
近年来，政策主导新建数据中心强制执行节能设计的相关标准，大多数近期新建数据中心在设计阶段均考虑一定的节能措施和高效运行的能力。目前，数据中心冷却设备主要通过动态监控系统和人工巡检的方式来进行运维管理，但实际工程中存在运维人员对冷却系统相关专业知识掌握程度较浅的问题，因此，常导致数据中心冷却系统的故障或者不合理运行。据统计[3]，70%的数据中心故障是由于运维人员误操作导致的。随着数据中心动态监控系统的发展与完善，与运行性能相关的大量历史运行数据作为运行阶段性能提升的参考资料得以保存。这对于数据中心实际运行阶段的分析、研究等优化工作带来了极大的便利。本文以四川省某数据中心项目实际运行性能优化为出发点，通过定性分析和调适的方式探讨该数据中心冷却系统运行阶段的优化潜力及其路径。
该数据中心位于四川省雅安市，地处夏热冬冷地区，为GB 50174-2017《数据中心设计规范》所定义的A 级数据中心，节能设计依据GB 51245-2017《工业建筑节能设计统一标准》。根据规划，楼内空调系统以集中式系统为主。机房集中式冷冻水系统空调设计冷负荷8628.6kW，其中包括机房终期通信设备满载冷负荷6452.8kW，UPS等电力设备冷负荷797.8kW，以及其他包括建筑、新风、水泵附加、管道附加负荷在内的冷负荷1378kW。集中式系统为一级泵变流量系统，配置3 台（两用一备）4570kW 的水冷离心式冷水机组，冷冻水供回水设计温度为15/21℃，空调末端采用冷冻水型房间级专用空调机组。每台水冷离心式冷水机组并联一台板式换热器，利用过渡季节或冬季较低的室外气温，由冷却塔及板式换热器提供冷源，减少冷冻机组开启时间，保证系统节能运行。数据机房设置机房空调末端，气流组织形式为地板送风下送上回。
2.1 空调末端运行状况
为了控制室内空气温湿度以保障数据中心的稳定高效运行，通常数据机房会配置专用的机房末端空调用以营造适合服务器运行的稳定室内空气环境，冷热通道气流组织示意及实景如图1、2 所示。调查发现，该数据中心的机房专用空调末端启停由运维人员根据数据机房服务器分布及运行情况进行控制。该数据中心的智能实时监控平台（DCIM，Data Center Infrastructure Management）为保障各数据机房稳定工作、避免机房环境温度过高导致服务器设备运行效率下降、损坏等情况需要设定报警温度以提示运维人员需要进行相应操作。该数据机房室内热通道设计温度为31-35℃，运维人员为了保障充分的容错空间将报警温度设置在31℃。同时，由于机房室内开间与进深相对较大、冷热通道共处于同一大空间内等因素导致室内气流组织分布普遍存在不均匀的现象。由图3 可以看出，该数据机房七台机房专用末端空调回风温度存在显著差异，同一时刻不同末端之间的最大回风温差为4.7℃，由此推断室内气流组织存在不合理的局部过热或过冷现象。故在此基础上的温度报警现象可能仅是某区域周围室内温度传感器达到设定值，此时运维人员采取一系列增加制冷量的措施则会导致其他温度较低的区域出现过冷现象，引起冷量不必要的浪费。上述分析表明，机房专用空调末端运行存在的问题是气流组织不均匀导致了末端出力过大。
图1 冷热通道气流组织示意图Fig.1 Schematic diagram of the airflow distribution of hot and cold channels
图2 冷通道地板送风实景图Fig.2 Situation of hot and cold channel
图3 各末端回风温度变化情况Fig.3 Temperature changes in terminal return air
针对这一现象，在室内热通道设计温度合理的区间范围内可以适当调高报警温度。逐步调高报警温度的同时调整末端空调供冷参数，释放一定的制冷压力，同时关注机房内机柜能耗情况和能效情况，可以通过简单的控制变量法实验得到保障服务器高效运行的最佳报警温度设定值。
此外，工程经验中的“大风量小温差/焓差”末端调节原则存在一定合理性，较大的风量进入机房底部由风道构成的静压箱后可以得到更大的地面孔板出风速度。机房送风速度越大，越有利于排出机柜服务器产生的热量，得到相对更为合理的气流组织。但结合该项目施工的实际情况，风量并非越大越好，合理的送风参数同样可以通过简单的控制变量法实验得出。
2.2 冷源运行状况
在设计阶段，该数据中心冷却系统运行模式的切换以冷却水出水温度为依据，主要为以下三种模式。（1）自然冷却模式：当冷却水出水温度小于13.5℃时，采用冷却塔和板式换热器组成的自然冷源冷却系统制冷方式；
（2）联合制冷模式：当冷却水出水温度介于13.5 到19.5℃之间时，采用自然冷源冷却系统和冷水机组联合制冷的方式；
（3）完全制冷模式：当冷却水出水温度高于19.5℃，完全采用冷水机组制冷的方式。
调研结果表明，尽管冷却系统具备冷却塔和冷机同时制冷的能力，但在实际运行中并未合理利用这种联合制冷的方式。根据以往运行数据可以看出该数据中心冷却系统全年运行策略以冬季采用冷却塔制冷的自然冷却模式，其余时间段采用冷机制冷的完全制冷模式，而未实现过渡季节宜采用的联合制冷模式，即过渡季节室外空气中的“免费”冷量未得到充分利用，可以预见在冷却系统运行状况的切换策略上有一定的节能潜力。
对这一方面具体节能潜力的进一步探究，为切换策略的制定打下一定基础，可以考虑以近年历史气象参数对当下运行状况进行粗略预测。以2021年该地气象数据为例，2021 年当地逐时湿球温度分布情况如表1 所示（其中，湿球温度最大值25.11，最小值-5.31）。
表1 2021 年当地湿球温度分布情况Table 1 Wet-bulb temperature distribution in Ya"an in 2021
由于冷却塔冷却水的极限温度为当地当时的湿球温度，此处考虑工程上可以接受的换热温差，取3℃的逼近温度。结合设计阶段冷却系统的调节依据，得各模式理论运行小时数。结合对2022 年冷源运行情况的调研结果，将其作为各模式实际运行小时数与理论值进行对比，如表2 所示。
表2 各制冷模式运行小时数对比Table 2 Comparison of operating hours in different cooling mode
由于日逐时气象参数波动，系统可能在某些时段需要频繁切换运行模式，故基于湿球温度估计的理论运行小时数在实际工程中不可能完全实现。尽管如此，由过往历史气象参数预测的联合制冷模式下的小时数仍可以达到103这一数量级。因此，对于单位时间能耗极高的数据中心而言，在冷源运行策略上存在较大的节能空间。
2.3 冷水机组运行策略
实地调研发现，该数据中心冷却系统通常启动一台冷机制取冷量，当一台冷机无法将冷冻水出水温度降到设定值时再开启第二台；
运行维护人员不定期检查机组运行情况需要更换正在运行的机组，即冷却系统机组运行台数恒定一台，三台机组根据运维人员启停要求接力制取冷量。图4 中3 月14日、3 月15 日、3 月18 日、3 月24 日、3 月29 日、4 月14 日均为机组运行切换时间点，可以明确看到两个机组运行切换时间点之间的区间冷负荷值在一定范围内稳定波动，但区间与区间之间存在较为明显的负荷波动均值和波动幅度变化，说明每台冷水机组的实际接力运行过程中的性能表现存在差异。该数据中心基本恒定出水温度运行，未充分考虑离心式冷水机组部分负荷运行特性，造成冷水机组无法运行在高效区间。因此进一步保持每一台冷水机组的运行参数在高效运行区间十分必要。冷水机组冷冻水温度与负荷存在如图4 所示明显的负相关特性，即冷冻水出水温度的升高可以减少一定机组的制冷量，在同样满足数据中心机房冷却要求的情况下，达到一定的节能效果。
图4 负荷与水温变化情况Fig.4 Hourly load and chilled water outlet temperature variation
2.4 输配系统控制策略
输配系统可分为冷冻水侧输配系统和冷却水侧输配系统。由于室内冷负荷需求相对稳定，冷冻水侧输配系统全年能耗波动范围不大；
由于室外气象参数全年波动较大，冷却水侧输配系统全年能耗存在较大波动。全年冷却塔耗电量占比仅为7.09%，一定程度上说明在包含冷却塔提取室外自然冷量措施的冷却系统运行策略上仍存在较大的节能空间。冷却塔月用电量在冬季显著上升，冬季完全使用冷却塔提取自然冷量制冷的月份对应耗电量明显相对较大，但几乎全年冷却泵的耗电量都稳定，一定程度上说明冷却泵的变频运行没有达到理想的效果。该数据中心冷却泵的控制方式不明确。以冷却塔、冷却泵、主机的综合能耗为模型的控制策略并未在运行数据中得以体现。冷却塔、水泵的变频控制多由该数据中心运维人员手动控制，输配系统缺乏合理的变频控制策略。
由于项目调适周期短，客观条件等因素限制，此次调适工作更偏向于短期内的静态调适，长远的节能效益远不如长期对系统运行进行的动态调适，但仍具有一定参考价值。考虑到短期的静态调适的特性，针对2.1、2.3 的部分问题以及调适依据执行了如下工作。
3.1 末端空调风水阀调节
机房专用末端空调可以通过设定回风温度和风机频率区间自动改变送风温度实现调节冷、热通道环境的目的。回风温度传感器与风机转速和水阀开度联动，不同的回风温度设定值将导致风机转速以及水阀开度发生变化，导致能耗波动。对于机房专用末端空调的调适内容为风、水阀开启情况。调适对象为编号201、202 以及206 的数据机房，每个机房设有7 个末端设备，其中201 机房按需开启5 台，202 和206 机房按需开启4 台。
进行调适前后设备开启台数以及冷水机组供水温度保持不变，各机房风机转速比以及水阀开度情况对比如表3 所示。201 机房将风机转速比与水阀开度升高至100%，其余两个房间则做出不同程度的降低。此时空调制冷机组供回水温度为13.5/18.7℃，冷却水进出水温度为25.9/30.7℃，负载率为79.8%。
表3 设备调适前后参数对比Table 3 Parameters before and after commissioning
调适前后各机房冷热通道温湿度对比如图5、6 所示；
机房专用末端空调能耗变化趋势如图7 所示；
末端空调能耗变化值如表4 所示。其中，201机房内平均风机转速比升高了10.9%，机房内空调末端能耗呈现升高的趋势，从37.2kWh 增加至42.1kWh，增幅达13.2%。202 机房内平均风机转速比降低了7%，能耗从39.52kWh 降低至37.07kWh，降幅为6.2%。206 机房内平均风机转速比降低了40.9%，能耗从13.36kWh 降低至6.12kWh，降幅为54.2%。上述调适前后均满足室内环境参数的运行要求。
表4 空调末端能耗对比Table 4 Energy consumption of air conditioning in DC rooms before and after commissioning
图5 调适前后各机房冷通道温湿度对比Fig.5 Temperature and humidity of the DC room before and after commissioning in cold channel
图6 调适前后各机房热通道温湿度对比Fig.6 Temperature and humidity of the DC room before and after commissioning in hot channel
图7 调适前后各机房能耗对比Fig.7 Energy consumption of the DC room before and after commissioning
3.2 冷冻水出水温度调节
冷水机组与机房专用末端空调在冷却系统中的出力存在一定权衡。在机房专用末端空调能耗较大时间段，可考虑适当降低冷冻水出水温度达到降低冷却系统总能耗的目的；
而在机组能耗较大时间段，可考虑提高冷冻水出水温度达到降低冷却系统总能耗的目的。调适内容为冷冻水出水温度，调适对象选择编号为203、204、205 的数据机房。
进行调适前冷水机组供回水温度分别为13.5℃和18.9℃，冷却水进出水温度分别为26.8℃和31.9℃，此时冷水机组负载率为81.4%，进行调适时保持空调末端设置等其余参数不变，仅将冷水机组出水温度调整至14℃。待系统稳定后冷水机组负荷率从81.4%降至78.7%，调适前后上述机房内冷热通道热湿环境变化如图8，9 所示。可以看出将冷冻水出水温度提高0.5℃，各机房内冷热通道温度均有升高趋势，增幅均在5%以内，对室内服务器正常运行基本不存在影响；
同样相对湿度也没有较大的波动，且两种参数均在设计参数范围要求内变化。
图8 调适前后各机房冷通道温湿度对比Fig.8 Temperature and humidity of the DC room before and after commissioning in cold channel
图9 调适前后机房热通道温湿度对比Fig.9 Temperature and humidity of the DC room before and after commissioning in hot channel
改变冷冻水出水温度后，冷水机组内压缩机出力情况也会相应改变，水温调适时间在2022 年6月29 日21:00 时左右，而系统在2022 年6 月29日24:00 左右达到稳定状态，能耗变化如图10 所示。选用2022 年6 月29 日0:00 至5:00 时以及2022年6 月30 日0:00 至5:00 时的能耗数据进行对比。在供水温度为13.5℃时，冷水机组的小时平均能耗为477kWh，将供水温度升高至14℃时，待稳定后冷水机组平均小时能耗为471.6kWh，降低了5.4kWh 的节能量，实现了1.13%的节能率。适当升高冷冻水出水温度可以降低空调系统能耗，同时又能保证服务器机房内冷热通道环境维持在设计范围内。一定程度上，上述调适结果说明了调适前该数据中心冷却系统的运行能效低下，系统的收益出力比相对较低，存在一定优化空间。
图10 调适前后各机房能耗对比Fig.10 Energy consumption of the chiller before and after commissioning
本文从四川省某数据中心实际工程项目出发，通过对冷却系统各组成部分节能潜力的定性分析以及实地调研发现该数据中心冷却系统存在一定节能潜力。根据项目实际情况对冷却系统进行合理调适：通过调节机房末端空调风阀、水阀的开度百分比，在保证机房服务器安全高效运行的前提下实现4.79kWh 的节能量和5.32%的节能率；
将冷冻水出水温度提高0.5℃，同样前提下实现了5.4kWh的节能量和1.13%的节能率。综上，该数据中心设计阶段所考虑的节能运行能力在实际运行过程中并未充分展现，原因在于冷却系统的运行调节智能化程度不够，大多取决于运维人员的决策。随着技术发展，单个设备的节能性和智能化程度大幅提高，而由这些智能、高效设备简单串并联构成的冷却系统的运行性能却往往堪忧。因此对系统的调适需要专业人员因地制宜，在系统中最优化单个设备的运行性能表现。可以预见，该数据中心在不花费大量成本的情况下对本文提及的方面进行合理且专业的调适，可以带来较大的社会效益和经济效益。