徐成桂,徐广顺
(成都理工大学工程技术学院,四川 乐山 614000)
网络用户数量持续增多背景下,对网络的建设提出更严格的要求。用户的高并发访问会导致服务访问速率较慢[1]、服务可用性降低,任何系统故障均会对用户造成重大损失。集群为使用一组独立服务器构成的节点集合,为用户提供统一的服务器资源,完成资源共享的同时实现网络的负载均衡[2]。传统的集群部署形式多数采用磁盘共享挂载、共享储存的策略,现已无法满足当前网络服务需求。为满足用户大规模的访问量,完成数量庞大的任务请求[3],服务器要具备较高的储存空间与并发承受能力,并安置多个网络集群,通过多个服务节点分担网络负载,完成网络系统高可靠性的运行任务。
针对网络资源分配及部署问题,文献[4]通过开放Jackson排队网络建模业务流时延,融合遗传算法与模拟退火算法映射服务节点,使用个体约束性评估防止出现局部最优。文献[5]考虑时延、能耗、等元素对服务器选择的影响,基于参数的线性加权排序候选服务器,挑选最佳移动边缘计算服务器为用户提供服务。
以上方法的参数选择均具有一定主观性,导致其集群部署存在不同程度的偏差。为此,提出基于约束最大熵的网络集群部署数学模型。分析物理主机属性,计算并发用户个数、最高在线用户数等指标完成作业资源统计;使用约束最大熵法判断各类参数及指标的重要性,通过图分割理论实现网络集群部署模型构建目标。仿真验证了所提模型的实用性与应用优势。
网络集群部署前,首先要明确现阶段用户数据访问行为对网络资源的实际需求。把物理主机目前的属性状态记作
(1)
集群部署物理主机时,要掌握主机能够供应的资源上限[6],对比集群资源需求和物理主机能提供的资源。物理主机资源即为物理主机减去目前负载后的剩余资源,将式(1)内的属性参数拓展为
(2)
(3)
(4)
(5)
以并发用户个数为基础[7],将最高在线用户数表示为
U=AU×UP
(6)
其中,AU表示网络用户总数,UP为并发比率。
服务器文件储存容量计算过程为
SC=AU×DC×YD×F/(1-O)
(7)
其中,DC为各用户每日生成的信息增量,YD为有效工作时间,O为储存冗余量比率,F表示网络集群系统未来业务量发展的冗余空间。
将xe(k)的关联系数描述成
(8)
其中,ρ表示分辨指数,其数值越小,表明分辨能力越好,一般取值为0.6。
最终将关联度ri解析式设置成
(9)
其中,n表示服务器数据集总数,ξ为关联系数。
通过上述过程,即可按照不同的用户访问行为划分集群作业类别与数据规律,完成作业资源需求量评估任务,为服务器集群部署策略的实时性调整发挥关键作用。
3.1 约束最大熵下集群部署参数重要性估计
网络集群部署操作中包含诸多参数,例如磁盘、网络利用率、内存等。使用约束最大熵算法推导部署参数的重要性,挑选最关键的集群部署计算参数进行数据分析,降低计算量的同时,保证集群部署模型性能可靠性。
最大熵基础定理为在满足全部已知时间的前提下,客观判断未来事件[9]。采用约束最大熵进行集群部署参数估计主要考虑以下几点:约束最大熵方法中使用的分布参数对数据的先验分布没有严格要求,能够随意搭配,且不会降低参数重要性估计正确性与一致性。与此同时,该方法能有效处理参数评估中的平滑问题,适用于不同应用环境下的高精度参数重要性评估任务。
在符合复杂度约束条件的概率分布集合A中,挑选具备最大熵H(p)的模型p*,记作
(10)
式中,x、y均为随机变量相对的网络服务任务,p(y|x)为条件分布值。
信息论领域中,使用对数评价函数[10]来分析两个参数在相同空间内的概率分布差别,此种评价函数即为Kullback-Leibler(KL)距离[11]。假设a为问题域U内的一个概率密度函数,a′为概率密度函数a的近似函数,将二者之间的KL距离表示为
(11)
使用KL距离描述集群部署参数重要性估计的准确率,计算公式为
(12)
3.2 网络集群部署模型实现
数据通信网络通常为三层结构体系[12],从上至下分别为核心交换机、聚集交换机与接入交换机。使用约束最大熵算法完成集成参数计算后,以输出的参数结果为前提,形式化定义虚拟环境下服务器之间的通信代价。集群部署点通信代价为随机两个部署点路由经过的最小交换机数量,设置相同物理主机内的虚拟机通信代价为0。
针对架构各异的数据通信网络,其部署代价矩阵也各不相等。以树结构为例[13],将其网络通信代价矩阵定义成
(13)
式中,p0代表接入交换机端口数量,p1为聚集交换机端口数量,i、j均为部署点编码,suzhu(i)为部署点i所处的宿主物理服务器。
假设D(i,j)为服务器逻辑架构内的通信代价矩阵,通信代价为网络数据传输速度[14]。此种状态下,将服务器集群部署问题描述为
(14)
其中,C(i,j)代表部署点i、j之间的代价,m为部署点数量,Bi为服务器i最高服务带宽。
服务器集群可划分成三种计算方法:批处理计算、内存计算和图计算。其中,图论为数学领域的关键分支,图割论为一种在图论基础上,被广泛应用的图像处理方法。服务器集群的结构形态和图论中的图像有一定相似性,使用图割论的有关知识完成网络集群部署模型构建。将图论中的图表示成
G=(V(G),E(G))
(15)
式中,V(G)代表图G全部顶点的总和,即图的顶点均为V(G)内的元素;E(G)为图G全部边的总和,G内的元素为不同点之间的连线。
集群部署前要充分考虑其资源利用率,以免造成资源浪费。按照集群资源需求量推导出服务器集群部署后,各类资源的资源利用率为否超出当前物理主机的负载量,将资源利用率计算公式表示为
(16)
网络集群包含多个服务器,与单服务器相比,其资源需求较高,接下来,构建以图分割[15]为原则的网络集群部署数学模型。设定初始网络服务器集群相对应的图为C,其顶点集合为V(C)={AVM1,AVM2,…,AVMn},边集为e={AVMi,AVMj},将图C划分成o个子图,记作C1,C2,…,Co,o个子图相对的子图密度为D1,D2,…,Do,子图内的顶点数量为h,将网络集群部署模型定义成
(17)
其中,Φ表示一个空集,H为子图顶点数量的临界值。
为分析所建网络集群部署模型的可靠性,设计仿真。仿真软件为MATLAB 2020b,在计算机上搭建20个节点的物理集群,各物理节点上运行Docker 7.1容器引擎来创造虚拟节点,最多同时运行3个虚拟容器,虚拟容器的最高规模为42个节点。集群负载可以展现集群部署的信息处理能力,将其作为衡量网络集群部署优劣的指标,验证本文方法能否依照负载变化情况及时调节集群形态,明确方法的灵活性与有效性。构建两种负载数据集:第一种按照静态部署节点比例设置作业类型,记作N1;第二种不依照节点比例设定作业类型,记作N2。实验的仿真时间为55min。
图1为本文方法在两种不同负载运行状态下,服务器节点状态改变次数和相应的计算时长。第一种负载数据集下,服务器节点状态仅出现4次改变;第二种负载数据集下,服务器节点改变次数明显增多。这为因为N1负载数据集为凭借原始服务器节点比例设置的,网络集群模型无需调整计算形态就能很好地实现集群部署任务,因负载噪声引发了4次节点调整策略,处于模型计算误差可容纳范围;因为N2数据集改变了原有的节点比例,所以产生了大量节点调节现象。
图1 不同负载数据下本文方法服务器节点调节情况
由图1可以看出,本文方法能够按照实际网络应用情况计算负载变化,并通过节点的实时调节更改网络集群部署形态,为用户提供贴合自身需求的网络服务,具备较强的实用性。
为进一步展现本文方法可用性,将其与文献[4]遗传模拟退火法、文献[5]多重指标法进行仿真对比。定义每个部署任务对CPU的需求大小为2100×24×60×60MI,数据中心具备150台物理主机与300台虚拟机,依次使用三种方法把服务器部署于物理主机上,考察三种指标:集群部署时间、物理机应用个数和CPU利用率。图2为三种方法网络集群部署的响应时间均值对比结果。
图2 三种方法集群部署响应时间均值比较
由图2可知,与两种文献方法相比,本文方法部署响应时间最短,且不会伴随用户数量的激增产生较大波动,稳定性强。出现此种现象的原因在于,本文方法采用约束最大熵方法,在众多部署参数中挑选重要度靠前的参数,有效降低计算量,大幅缩短部署响应耗时。
随机抽取60台物理主机与60台服务器进行相同的资源任务,依次使用三种方法进行集群部署,研究不同方法使用的物理主机个数,结果如图3所示。
图3 三种方法物理主机应用个数对比
从图3看出,三种方法集群部署使用的物理主机个数均具备相同趋势,但本文方法物理主机应用数量最少。这为由于本文方法把资源需求相近的服务器进行集群再完成部署,降低了物理主机个数。遗传模拟退火法即便考虑了物理主机的负载均衡因素,但其部署效果依旧不如本文方法;多重指标法采用一台服务器部署在一台物理机的策略,耗费大量主机资源。
将15分钟划分为一个单元,计算75分钟,即5个时间单元下三种方法执行服务任务时,物理主机的CPU利用率情况,仿真结果参考图4。
图4 三种方法CPU利用率对比
观察图4可以看到,由于两种文献方法的物理主机资源充足但服务器需求较少,极易产生资源利用率低的现象,本文方法的CPU利用率要明显高于两种对比方法,证明本文方法在相同的集群部署时间内能执行更多的应用程序,给用户提供更丰富的资源服务。
为实现高质量网络集群部署,为用户提供优质的网络应用服务,提出一种基于约束最大熵的网络集群部署数学模型。所提方法具有理想的可应用性,适用于高并发的用户访问高峰期,与传统集群部署模型相比,运行成本较少,避免了资源浪费。但是,本文方法是建立在网络结构已知的情况下,面对结构未知网络时如何快速有效地实现精准部署,将在今后研究中加以深入探究。
猜你喜欢 集群部署服务器 一种基于Kubernetes的Web应用部署与配置系统成都信息工程大学学报(2021年5期)2021-12-30晋城：安排部署 统防统治今日农业(2021年7期)2021-07-28部署非公有制企业党建(2020年5期)2020-06-16通信控制服务器(CCS)维护终端的设计与实现铁道通信信号(2019年9期)2019-11-25海上小型无人机集群的反制装备需求与应对之策研究军事运筹与系统工程(2019年4期)2019-09-11一种无人机集群发射回收装置的控制系统设计电子制作(2018年11期)2018-08-04Python与Spark集群在收费数据分析中的应用中国交通信息化(2017年3期)2017-06-08中国服务器市场份额出炉网络安全和信息化(2017年10期)2017-03-08勤快又呆萌的集群机器人知识就是力量(2017年2期)2017-01-21得形忘意的服务器标准知识产权(2016年8期)2016-12-01