王 倩， 张雅文,2， 陈思光,2
(1. 南京邮电大学 江苏省宽带无线通信和物联网重点实验室， 江苏 南京 210003；
2. 南京邮电大学 物联网学院， 江苏 南京 210003)
随着5G技术与人工智能的蓬勃发展， 催生出一个新的智能化产业——物联网。
据中国互联网协会的统计， 截至2021年， 中国的物联网市场规模已达1.7万亿元， 人工智能的市场规模超过3 000亿元[1]。
目前， 对物联网技术的研究已拓展到工业、 农业、 环境和安保等领域。
物联网应用的多元化发展也使得数据规模急剧增长， 如何高效节能地处理任务密集或时延敏感型应用已成为该领域亟待解决的问题[2-4]。
物联网设备在处理大规模应用时， 由于其计算能力有限， 难以保证任务的有效处理， 无法满足用户服务质量。
为了改善计算能力不足造成的影响， 云计算技术被广泛应用。
依托于云服务器强大的计算能力， 密集型任务能够以较低的计算成本被处理， 同时云计算还具有高扩展性、 低成本及资源丰富等优势[5]。
然而， 终端设备与云服务器距离较远， 极有可能在任务传输过程中遇到网络拥塞等问题， 这不仅会产生额外的通信开销， 而且易引发高延迟服务响应时间， 难以满足时延敏感型应用的需求， 从而降低用户体验。
面对大规模数据传输、 集中式数据存储以及难以灵活应对实时交互的应用等问题， 传统的云计算处理模式将面临难解的瓶颈和压力， 边缘计算应运而生。
边缘计算也被称为“微数据中心”， 由部署在靠近数据源的边缘侧节点向用户提供集分布式计算、 存储、 网络、 应用为一体的多元化服务， 满足大数据量和实时业务的基本需求， 缩减网络服务的响应时间[6]。
此外， 边缘计算距离终端较近， 大部分的计算任务不需要上传至数据中心， 一定程度上提高了用户数据的安全性。
目前， 边缘计算在处理实时业务、 智能应用等方面卓有成效[7]。
为了进一步提升边缘计算在系统性能方面的优势， 边缘计算中的计算迁移问题也成为了研究焦点[8]。
文献[9-13]在解决能耗问题方面取得了显著成效。
传统数学方法被广泛用于解决能耗问题， 文献[9]基于物联网场景设计了一个云辅助的三层边缘网络框架， 同时提出了一种半定松弛与随机映射方法相结合的计算迁移算法， 该算法在满足任务依赖和服务完成时间的约束下， 通过联合优化计算迁移决策和任务准备时间达到最小化物联网传感器的总能耗的目的。
文献[10]提出了一种基于双层规划的方法， 得到资源分配策略， 基于该策略求解用户关联度， 从而实现最小化系统总能耗的目的。
文献[11]研究了一种基于动态规划的迁移算法， 在任务完成时延的约束下， 通过联合优化带宽和计算资源实现移动设备的总能耗最小化。
此外， 基于学习的优化方法也被应用于求解能耗问题， 例如， 在移动边缘计算网络中， 文献[12]构建了一个基于多用户多服务器的最小化系统总能耗的问题， 该问题被表述为具有约束的多维多重背包(Multidimensional multiple knapsack, MMKP)问题， 为了降低计算复杂度， 提出了基于强化学习的算法， 在时延容忍的情况下， 通过优化迁移决策最大程度地降低移动设备的总能耗。
文献[13]在解决非线性约束优化问题时， 提出了一种新型混合元启发式算法， 该算法将遗传模拟退火理论与粒子群算法相结合， 通过联合优化迁移决策、 CPU速度、 传输功率和带宽资源， 达到最小化移动设备总能耗的目标。
从降低任务完成时延的角度出发， 文献[14] 提出了基于迭代的计算迁移机制， 通过联合优化任务迁移与调度策略， 达到最小化任务平均时延的目的。
文献[15] 在多任务多服务器场景下， 提出了基于认知学习的优化方法， 在移动设备空闲时进行预计算迁移训练并提供预计算迁移策略， 一旦任务到达， 则使用强化学习方法进一步优化预训练网络， 从而作出最佳迁移决策， 该方案能有效减少任务完成的时延。
为了全面地评估系统性能， 文献[16-18]在联合优化时延和能耗方面取得了显著效果。
例如， 在支持移动边缘计算的蜂窝网络中， 文献[16]提出了一种智能任务迁移与协作方案， 将优化问题分为两个阶段依次求解：
第一阶段提出基于距离的合作者筛选方法， 在距离约束内选择最佳的合作者；
第二阶段采用李雅普诺夫随机优化理论， 得到最优计算策略， 实现了系统效用、 能耗和时延的联合优化。
文献[17]构建了一个高效的服务迁移模型， 并将其表述为一个非线性的0-1规划问题， 为了提高服务器效率， 降低任务处理成本， 提出了一种基于粒子群的服务迁移方案来优化计算资源分配与任务迁移决策， 并且采用排队延迟预测算法预测了任务到达服务器的排队延迟以缩小与实际应用场景的差距。
大量仿真验证了该方案在提升服务器处理能力和系统成本方面的显著成效。
文献[18]研究了区块链赋能物联网中的计算迁移问题， 提出了一种高效的分布式算法， 并引入了智能合约的理论执行计算资源交易过程， 通过联合优化计算时间、 能耗和数字货币之间的权重， 实现最小化任务完成总成本的目标。
为了将计算迁移应用到实际场景中， 文献[19]考虑了工业物联网场景， 提出了一种两阶段Stackelberg博弈的计算迁移机制。
首先， 边缘云为计算服务确定价格；
然后， 工业物联网设备根据价格决定边缘云的需求， 考虑到完全信息和不完全信息两种情况， 设计了两种动态迭代算法求解上述问题， 实现设备的合理化计算需求。
上述优化方案虽然在能耗或时延方面取得了成效， 但是并未考虑服务器难以有效地为多个同时到达边缘节点的任务合理分配计算资源， 特别是对于具有不同偏好的任务。
为了满足不同用户的业务需求， 任务优先级的理论已经被广泛应用其中[20]。
目前， 关于任务优先级的研究层出不穷。
例如， 在计算密集的情况下， 文献[21]构建了一个基于任务QoS的系统效用最大化问题， 具有不同优先级的任务可根据其奖励函数和惩罚函数获得迁移决策；
同时， 为了进一步降低系统成本， 提出了一种潜在博弈算法优化资源分配策略， 通过仿真验证了该方案能够降低计算复杂度， 提升系统性能。
针对任务处理中的资源请求冲突问题， 文献[22]研究了一种分布式资源分配算法， 雾节点可根据自身的资源可用性状态和任务发来的优先级信息来为其分配计算资源， 确定执行顺序， 并且通过仿真实验表明该算法在降低系统延迟方面具有一定的优势。
在移动边缘计算系统中， 文献[23]构建了一个单移动用户与多服务器的双层网络模型， 考虑到任务之间在传输和执行时间方面的公平性， 提出了一个最小化任务完成总时延的优化问题， 并设计了一种基于动态优先级的计算调度和迁移算法来求解该问题。
该算法通过联合优化迁移决策、 计算时间和传输时间， 最大限度地减小了系统总时延， 同时保证了高优先级任务的处理延迟， 进一步提高了用户服务质量。
此外， 为贴合实际应用场景， 文献[24]研究了医疗保健服务中基于优先级的任务迁移机制， 针对强截止时间和弱截止时间两种类型的任务， 提出了一种优先级感知任务迁移和调度策略， 即将计算资源分配给高优先级的任务， 然后将剩余资源用于处理弱截止时间任务。
该方案能以较低的响应时间处理强截止时间任务， 然而这会增加弱截止时间任务的服务延迟。
上述基于任务优先级的方案能够提升高优先级任务的处理效率， 但缺乏对迁移决策、 资源合理化分配的综合考量。
基于以上分析发现， 针对计算迁移的研究存在以下两个方面的挑战：
① 在求解复杂的优化问题时， 传统数学方法与基于学习的方法虽然可以取得较好效果， 但是传统方法对于非确定性信息的处理能力较差， 在解决动态的实际问题时易受到限制；
基于学习的优化方法能解决大数据量导致的维度爆炸问题， 但是面对新环境时， 上述基于学习的方法需要具备一定的先验知识才能做出最佳决策。
② 上述优化方案能够有效地处理任务计算迁移问题， 并且不同程度地降低了系统能耗或时延， 特别地， 针对时延容忍较低的任务， 能够避免因任务等待时间过长而导致执行失败的现象。
虽然上述研究都取得了显著成效， 但是缺乏对系统性能提升有极大帮助的任务优先级、 计算迁移决策和资源分配等的综合优化考虑。
针对上述问题， 本文提出了一种基于优先级的智能资源分配和计算迁移机制， 主要贡献如下：
1) 针对时延敏感型或者需要紧急处理的任务， 研究了一种基于优先级的边缘计算迁移模型， 基于计算迁移决策与资源分配的综合考虑， 构建了一个最小化系统总能耗的优化问题。
同时， 根据任务的请求信息预先为其设置优先级系数， 并通过联合优化计算迁移决策、 带宽资源分配与计算资源分配， 实现系统总能耗的最小化。
2) 对于上述的混合整数非线性规划问题， 提出了一种基于优先级的智能资源分配的计算迁移算法， 该算法设计了双“行动者-评论家”神经网络框架， 并将确定性策略梯度算法理论与之结合， 使其训练过程快速收敛， 提高了算法效率。
为了解决该类混合整数规划问题， 对该算法输出的连续动作做概率分割处理， 得到二进制迁移决策。
3) 通过一系列的仿真分析表明， 该算法能够以较快的速度收敛， 且与本地计算、 完全迁移两种方案相比， 该算法的系统总能耗分别平均降低约52%和13%， 并且本文所提算法能够以较低的计算开销得到近似贪婪算法的最优策略， 实现系统总能耗的最小化。
1.1 网络模型
本节构建了一种基于任务优先级的边缘计算网络， 如图1 所示， 该网络包含两层结构， 分别为用户层和边缘层。
图1 网络模型图
假设用户层由N个物联网设备组成。
每个设备都有一个待处理的计算任务， 不同的任务类型具有不同的最大服务容忍延迟。
由于自身计算资源有限， 本地设备的计算能力可能无法满足任务的基本需求， 为提高任务处理效率和用户服务质量， 将任务通过无线传输信道迁移至边缘节点处理。
边缘层部署了单个边缘节点为接收到的任务请求提供服务。
边缘节点根据物联网设备i发来的请求信息做出最佳迁移决策， 对于需要迁移的任务， 边缘节点会为其分配最优的带宽资源与计算资源， 以实现任务完成能耗的最小化。
任务迁移时， 可能存在多个任务同时到达边缘节点的情况， 为提高任务处理效率， 降低系统服务延迟， 本文考虑在边缘节点为具有优先级的任务分配与其优先级别匹配的计算资源， 待计算任务处理完毕后边缘节点将计算结果返回给物联网设备。
1.2 计算模型
假设用i∈{1,2,…,N}表示物联网设备i， 每个设备生成的任务都是相互独立的执行单元， 不具有相关性， 计算任务可以在本地进行处理或迁移至边缘节点处理。
用户设备将请求内容{τi,ρi}(其中τi表示设备i的任务大小，ρi表示设备i当前任务的优先级系数)发送给边缘节点， 边缘节点接收到请求内容后， 查看当前可用的计算资源和通信资源， 给出最优的迁移策略xi。
当xi=0时， 表示任务在本地设备执行；
当xi=1时， 表示任务迁移到边缘节点处理。
1.2.1 本地计算模型
(1)
式中：di表示计算1 kbit任务需要的CPU周期数。
因此， 任务τi的本地计算能耗为
(2)
1.2.2 迁移计算模型
当本地设备的计算资源无法满足任务需求时， 考虑将任务迁移到资源丰富的边缘节点， 用xi表示设备i的迁移决策， 迁移决策由物联网设备的计算资源、 任务大小和信道资源共同决定。
由于每个设备都会生成大量的数据任务， 在任务传输时会产生资源竞争， 为了防止资源竞争造成链路拥塞， 合理分配通信资源、 安排任务处理的顺序尤为重要。
任务传输过程中， 边缘层基站会为系统中所有物联网设备正交分配频谱资源， 将总频谱带宽表示为B。
本文假设信道处于理想状态下的信道增益gi是恒定的， 则任务τi的上行链路传输速率为
(3)
因此， 设备i的任务传输到边缘节点所需的时间和能耗可分别表示为
(4)
(5)
当多个任务同时到达边缘节点时， 如果不对这些任务进行有效的管理， 很有可能出现资源分配不均的问题。
针对上述现象， 本文考虑将传输至边缘节点的优先级任务暂存于调度队列中， 等待边缘节点为其分配计算资源。
为保证优先级用户的权益， 边缘节点会为优先级任务额外分配计算资源， 则该设备i的任务完成时延和能耗分别表示为
(6)
(7)
任务迁移至服务器处理后， 需要将结果回传给用户， 然而该过程产生的成本远小于其他阶段， 为突显本文的研究重点， 将忽略任务回传所消耗的时延与能耗， 即用户将设备i的任务迁移到边缘节点处理所需的总时间和总能耗可分别表示为
(8)
(9)
(10)
xi∈{0,1},i∈{1,2,…,N}。
(10d)
约束10(a)表示所有设备的任务完成时间之和不得超过最大容忍延迟Tmax；
约束10(b)表示边缘节点的计算资源约束， 即分配给所有迁移至边缘节点的任务的计算资源占比之和不能超过1；
约束10(c)表示分配给所有需要迁移的任务的带宽占比之和不能超过1；
约束10(d)表示迁移决策为0或1， 当xi=0表示设备i的任务在本地计算， 当xi=1表示设备i的任务迁移至边缘节点处理。
针对上述混合整数非线性规划问题， 由于其复杂的网络环境， 传统的方法难以捕捉动态变化的网络参数， 为了打破这一局限， 本文提出了基于优先级的智能资源分配与计算迁移算法。
该算法将确定性策略梯度与深度神经网络相结合， 设计了双重“行动者-评论家”神经网络架构。
同时， 为了应对这类混合离散-连续的动作空间， 该算法通过分割动作值的分布对连续动作进行离散化处理。
此外， 考虑到一般DRL算法的学习探索能力有限， 本文通过在原始动作的基础上添加Ornstein-Uhlenbeck (OU)噪声来提升算法的探索效率。
3.1 要素定义
基于优先级的智能资源分配与迁移算法将边缘节点作为智能体与环境相互作用， 通过不断的学习获得最大的累计奖励， 例如， 在t时隙智能体获取终端设备的状态信息st， 执行动作at， 环境接收到此动作后会反馈给其相应的即时奖励rt， 同时， 智能体将转换到下一个可能状态st+1。
智能体的长期目标是通过不断的学习进一步优化其动作决策， 最大化累积奖励以获得最优迁移策略。
算法的3个关键要素包括状态、 动作和奖励， 下面将给出具体定义。
状态空间：
St={e1(t),e2(t),…,eN(t)},
(11)
式中：St表示时隙t时用户设备任务完成的总能耗的集合。
奖励：
环境与生成动作at的智能体交互后会给出即时奖励rt， 本文的优化目标是最小化完成所有用户任务的总能耗， 可以将目标函数e作为即时奖励， 但是深度确定性策略梯度(Deep Deterministic Policy Gradient， DDPG)算法的目标是最大化奖励， 因此， 本文定义负的总能耗为即时奖励函数
(12)
式中：ξ(ξ<0)是一个常数， 远小于其它策略的回报， 表示当智能体不能满足(10a)～(10d)的约束条件时， 当前环境则会给出相应的惩罚。
3.2 基于优先级的智能资源分配与计算迁移算法
本文提出的基于优先级的智能资源分配与迁移算法的具体流程如图2 所示。
类似于深度双Q网络(Deep Double Q Networks， DDQN)的经验回放和双网络结构， DDPG主要有两个网络结构， 即行动者(Actor)网络和评论家(Critic)网络。
每一个网络结构都包含两种结构相同、 参数更新频率不同的神经网络， 即当前网络和目标网络。
Actor当前网络获得当前状态st后执行动作at， 会得到新的状态st+1和奖励rt， 即四元组(st,at,st+1,rt)， 并将四元组存入经验回放池。
Critic当前网络从经验回放池中随机采样L个样本， 计算当前的目标Q值， 同时根据各个神经网络的参数更新策略同步更新Actor当前网络参数μ、 Actor目标网络参数μ′、 Critic当前网络参数υ和Critic目标网络参数υ′。
图2 基于优先级的智能资源分配与迁移算法流程图
用户层设备将生成的状态信息st输入神经网络， Actor当前网络根据策略函数πμ(st)做出相应决策， 与随机策略相比， DDPG将确定的状态映射到特定动作， 即他的动作选择只有一个。
此外， 针对DDPG只能输出连续动作的特性， 在解决本文构建的混合整数非线性规划问题时， 该算法考虑对输出的动作值进行离散化处理。
定义概率κ表示Actor当前网络输出的连续动作， 并根据其概率计算得到离散动作
(13)
同时， 为了增加学习过程的随机性， 提升算法的探索能力， 本文在学习过程中引入了奥恩斯坦-乌伦贝克过程(OU process)， 将动作决策从确定性过程转变为随机过程， 即在动作选择时加入OU噪声o。
(14)
式中：
ϑ表示噪声的退火因子， 随着迭代步数逐渐减小， ϑ值也会越来越小。
这样做的目的是， 随着神经网络的训练效果越来越好， 利用ϑ值减小噪声对其动作的干扰， 能够保证其收敛性能， 使之更加稳定。
在t时隙， Actor当前网络根据获取的状态st选择动作at， 并给出即时奖励rt及下一状态st+1， 将(st,at,rt,st+1)存入经验回放池中等待采样， Actor目标网络则根据经验回放池中的t+1时隙状态st+1预测下一动作at+1。
Critic目标网络与Critic当前网络具有完全相同的结构， 然而两者的参数更新频率却不同， Critic目标网络的初始参数υ′=υ， 此后， Critic目标网络会定期复制Critic当前网络的参数υ。
Critic目标网络从经验回放池中随机取得L个样本并计算， 这种随机抽取的机制能够有效避免样本间的时间相关性， 同时防止神经网络出现过拟合现象。
其中， 第m(m∈{1,2,…,L})个样本的价值函数为Q′(sm,am,υ′)， 因此， 得到目标Q值。
ym=rm+λQ′(sm+1,am+1,υ′),
(15)
式中：λ是折扣系数。ym包括当前奖励值与未来可能的奖励值的加权， 用于评估当前状态的价值。
相应地， Critic当前网络根据状态st和动作at计算当前策略的价值函数Q(st,at)， 其均方差损失函数定义为
(16)
神经网络采用梯度下降方法最小化损失函数Loss(υ)， 并以学习率为η来更新网络参数υ， 即
υ←υ+ηυLoss(υ)。
(17)
此外， 根据Critic当前网络对动作at的反馈， Actor当前网络可更新网络参数μ， 其确定性策略梯度可表示为
(18)
(19)
式(19)可以作为Actor当前网络的评估标准。
可以看出， 当Q值越大时， 损失函数越小。
根据神经网络的梯度反向传播来更新参数μ， 即
μ←μ+σμG(μ),
(20)
式中：σ是μ的学习率。
Actor目标网络跟Critic目标网络类似， 会定期从Actor当前网络复制网络参数。
区别于DDQN双重网络的参数更新法则， 该算法的Actor目标网络和Critic目标网络采取“软更新”的方式分别对其网络参数更新， 即
μ′←ϖμ+(1-ϖ)μ′,
(21)
υ′←ϖυ+(1-ϖ)υ′,
(22)
式中：
ϖ为参数的更新速度， 通常会取1个比较小的值， 能够使神经网络的训练过程更加稳定。
为了方便理解本文所提算法的核心思想， 将算法执行过程总结为算法1。
算法 1基于优先级的智能资源分配和计算迁移算法：
1.输入：
任务大小τi,i∈{1,2,…,N}；
优先级系数ρi,i∈{1,2,…,N}；
3.begin
4.初始化网络参数μ′=μ，υ′=υ， 清空经验回放池；
5.for episode=1 toMdo
6. 初始化OU噪声o；
7. 观测初始环境状态st；
8. fort=0 toTdo
9. Actor当前网络根据获取的状态st执行动作at；
10. 与环境交互得到st+1和rt；
11. 将四元组(st,at,st+1,rt)存入经验回放池；
12. 更新状态st=st+1；
13. Critic目标网络从经验回放池中随机取L个样本， 基于式(15)计算目标Q值；
14. 根据式(16)～式(17)更新Critic当前网络参数υ；
15. 根据式(18)～式(20)更新Actor当前网络参数μ；
16. 根据式(21)和式(22)以“软更新”方式分别更新目标网络参数μ′和υ′；
17. end for
18.end for
20.end
通过仿真实验验证基于优先级的联合资源分配与智能迁移算法的可行性， 并通过对比几种现有的计算迁移方案， 验证本文所提方案。
Actor网络不同学习率对奖励函数收敛效果的影响见图3。
从图中曲线变化可以看出， 3种不同学习率的奖励值均在前200次迭代时急剧上升， 之后趋于平缓达到收敛。
当学习率为0.000 01和0.000 001时， 奖励值虽然是收敛的， 但是会有一些波动， 缺乏稳定性。
因此， 为了方便后续的实验将Actor网络的学习率设置为0.000 1。
图3 Actor网络不同学习率的奖励函数收敛情况
在Actor网络学习率设置为固定值的情况下， Critic网络不同学习率对奖励函数收敛性能的影响见图4。
图4 Critic网络不同学习率的奖励函数收敛情况
由图4 可知， 学习率越大， 奖励函数的收敛效果越稳定。
图中3种不同的学习率均在200次迭代内趋于收敛， 但是学习率过小， 会使得收敛过程存在波动， 难以在有限次数内取得最优值。
因此， 为使奖励函数的收敛速度和稳定性达到相对平衡的状态， 在接下来的仿真实验中， 将Critic网络的学习率设置为0.001。
本文方法的损失函数的收敛过程见图5。
从曲线可以看出， 随着迭代次数的增大， 损失函数逐渐收敛至稳定值。
前50次损失函数急剧下降， 这是因为DDPG网络在训练初期， 其结果与理想值相差较大。
经过400次迭代， 损失函数波动幅度减小， 逐渐逼近最优值， 从而得到最优的网络参数， 进一步使得损失函数减小并达到稳定状态。
图5 损失函数的收敛过程
接下来的仿真实验将本文提出的方案与其他4种相关方案进行对比， 从而进一步说明本文所提方案的性能优势。
其中， “Full offloading”表示将计算任务全部迁移至边缘节点处理；
“All local”表示全部任务均在本地设备计算；
“Proposed scheme”表示本文提出的求解方案；
“DQN”表示基于DQN的求解方案；
“Greedy algorithm”表示贪心算法求解方案， 该方案基于本文构建的数学模型， 根据贪心策略求得最佳迁移决策， 从而实现最小化系统总能耗的目标。
图6 展示了5种方案的系统总能耗与任务数量的关系。
从图中可以发现， 随着任务数量的增多， 4种方案的总能耗均呈现上升趋势。
当任务数量较小(N≤2)时， 除了“Full offloading”， 其他4种方案的能耗基本一致， 这是因为所需资源在本地计算能力范围内， 任务选择在本地设备处理。
然而随着任务数量的增加， 本地计算资源不足， 使得系统总能耗持续上升。
本文所提方案能够平衡本地与迁移过程产生的能耗， 使得系统总能耗缓慢上升。
通过计算， 本文提出的方案所消耗的能量与“Full offloading”， “All local”和“DQN”3种方案相比分别平均减少约52%， 13%和7%， 并且近似贪婪算法的总能耗。
贪婪算法获得最优迁移策略时， 通常需要远大于本文所提方案消耗的时间和能耗成本， 难以适用于大规模的任务处理。
通过上述分析可知， 本文提出的算法具有较为明显的性能优势。
图6 不同方案的总能耗随任务数量变化的对比
图7 描述了随着边缘节点计算能力的不断增大， 不同方案的总能耗变化情况。
图7 边缘节点计算能力对总能耗的影响
由图7 可知， 在任务数量不变的情况下， 当边缘节点的计算能力增大时， 除了“All local”之外， 其他3种方案的总能耗均逐渐减小， 这是因为边缘节点能够分配给任务更多的计算资源， 降低了处理任务所需的时间成本。
但“All local”的总能耗只与本地设备的计算能力有关， 所以并不会受到边缘节点计算能力变化的影响。
此外， “Full offloading”的总能耗依赖于边缘节点的计算能力， 因此， 该方案随着计算能力的不断增加， 变化程度较为明显。
同时， 本文提出的方案总能耗的下降程度缓慢， 这是因为更多的任务选择迁移到边缘节点处理， 边缘节点的资源利用率较高， 计算能力接近饱和状态。
此外， “DQN”由于对连续动作的离散化处理且受维度限制， 使其优化精度降低， 相比本文所设计的求解方案， 其优化效果较弱。
总之， 对比其他方案， 本文所提方案在优化能耗方面优于另外3种方案， 其中， 与“Full offloading”和“DQN”相比， 总能耗分别平均降低了约30.7%和9.4%。
针对紧急的计算任务， 往往需要对其添加优先级， 从而满足实时业务需求。
图8 显示了任务有无优先级对系统总能耗的影响。
由曲线变化情况可知， 随着任务数量的增多， 两种方案的总能耗均呈现上升趋势。
当任务数量很少时， 无优先级任务与有优先级任务的总能耗较为接近；
随着任务数的增多， 两者之间总能耗的差距逐渐变大， 大致平均相差12.9%。
由此可推断， 在处理更多的任务时， 考虑任务的优先级能有效降低系统的能耗， 提高用户服务质量。
该方案验证了本文所提方案在提升系统性能方面的优势。
图8 任务优先级设置对总能耗的影响
为了营造高效的物联网环境， 本文提出了一种物联网场景下基于优先级的边缘计算迁移机制。
首先， 构建了一个最小化系统总能耗的优化问题， 联合优化了计算迁移决策、 带宽资源分配占比以及边缘节点计算资源占比。
为进一步提高资源利用率， 权衡了不同业务需求的紧急程度， 提出了一种基于优先级的智能资源分配与计算迁移算法， 通过求解上述优化问题得到最优决策和资源分配策略。
大量仿真分析表明， 本文所提机制能够以较低的计算成本获得远远优于本地计算、 完全迁移和DQN 3种基准机制的最小总能耗。
猜你喜欢计算资源资源分配边缘基于模糊规划理论的云计算资源调度研究科学技术创新(2021年18期)2021-06-23新研究揭示新冠疫情对资源分配的影响 精读英语文摘(2020年10期)2020-11-26改进快速稀疏算法的云计算资源负载均衡微型电脑应用(2019年10期)2019-10-23一种基于价格竞争的D2D通信资源分配算法测控技术(2018年7期)2018-12-09基于动态规划理论的特种设备检验资源分配研究智富时代(2018年3期)2018-06-11基于动态规划理论的特种设备检验资源分配研究智富时代(2018年3期)2018-06-11基于Wi-Fi与Web的云计算资源调度算法研究计算机测量与控制(2017年12期)2018-01-05耦合分布式系统多任务动态调度算法计算机技术与发展(2017年12期)2017-12-20云环境下公平性优化的资源分配方法计算机应用(2016年10期)2017-05-12一张图看懂边缘计算通信产业报(2016年44期)2017-03-13