陈胜 刘鹏飞 王平 马建伟
摘要：针对电力市场环境下短期电力系统负荷预测准确性较低的问题，提出了一种基于LSTM人工神经网络的组合预测模型。分析了LSTM神经网络和其变体GRU神经网络在进行负荷预测时学习时序特征的独特优势，并以卷积神经网络作为负荷数据的特征提取层，结合GRU网络构建了组合模型，通过建立残差预测模型对结果进行修正。仿真结果表明，具有记忆功能的神经网络预测效果要优于ANN和SVM模型，且所提出残差预测模型的负荷预测平均相对误差约为1.79%，其准确性高于单一算法的负荷预测模型。
关键词：负荷预测；
人工神经网络；
长短期记忆；
卷积神经网络；
平均相对误差；
残差修正；
特征提取；
组合模型
中图分类号：TM744 文献标志码：A 文章编号：1000-1646（2024）01-0066-06
在我国能源转型政策的支持和推动下，以清洁能源为基础的分布式能源得以迅速发展。一方面分布式能源由于其灵活性和广泛的适用性，在能源转型中获得了独特优势；
另一方面由于分布式能源负荷的随机性，也给电力系统的稳定运行带来了巨大的挑战。尤其是在当前电力体制改革以及电力市场蓬勃发展的背景下，短期电力负荷的预测对于推动实时电力市场的贸易结算具有重要意义。电力负荷由于其不确定性造成的负荷预测误差不仅会导致电网运行成本的增加，还将损害到电力市场用户的利益。因而，电力负荷的预测理论与方法已成为国内外研究学者关注的焦点。
围绕一段时间内电力负荷的时序性和非线性的特点，国内外学者提出了包括回归分析法、指数平滑模型等负荷预测的经典算法。随着人工智能算法的发展，各种机器学习算法也逐渐开始应用于电力系统的负荷预测。例如，孟安波等通过采用混合小波变换和纵横交叉算法优化了应用于复杂工况环境下负荷预测的神经网络。蔡舒平等针对多个气象变量条件下的费歇信息计算问题，提出了基于费歇信息的气象因素建模方法，并解决了短期负荷预测中气象因素处理的主观问题。程志友等根据温湿度变化的周期特征因素，构造了基于LASSO回归的负荷预测模型，提高了负荷预测模型的精度和鲁棒性。祖向荣等基于模式相似方法，提出了一种模糊聚类与函数型小波核非参数回归相结合的组合预测方法。马天男等根据分布式能源系统负荷特点，建立了基于Spark平台与多变量L2-Boosting回归模型的分布式能源系统短期负荷预测方法，并验证了其有效性。
上述研究多采用某一种特定的模型算法以提高负荷预测的准确度。事实上，负荷的历史信息对于负荷预测具有重要的参考价值，长短期记忆（LSTM）人工神经网络具备有学习时序数据特征的独特优势。除此之外，外界因素的影响是负荷预测产生残差的重要原因，因此可以通过建立残差数据的预测模型对负荷预测结果进行修正。
本文针对电力系统短期负荷预测的时序性问题，比较了LSTM网络及其变体GRU网络在电力系统短期负荷预测中的效果。在此基础上，为了进一步提高负荷预测精度，本文提出了一种采用卷积神经网络和GRU网络作为负荷预测的理论基础，并通过残差预测和修正方法得到最终预测结果的残差修正网络模型，为LSTM人工神经网络在电力系统负荷预测中的应用提供了新思路。
1 预测模型
1.1 LSTM网络
LSTM网络通过在循环单元中增加控制门的形式，实现了神经元状态信息的传递和保留。每个神经元中均包含了输入门、遗忘门和输出门3种用于循环更新的控制门，其基本单元结构如图1所示。
长短期记忆人工神经网络（LSTM）属于循环神经网络的一种，由于其可以较优地避免循环神经网络（RNN）中梯度消失问题而被广泛关注。和循环神经网络相比，LSTM网络神经元的状态值在进行循环更新的过程中需经过输入门、遗忘门、输出门3种控制门，以此实现神经元状态信息的传递和保留。
图1中，xt为当前单元的状态变量，ht-1为上一时刻基本单元的输出量，ct-1为上一时刻的单元状态，则遗忘门输出ft，输入门输出it，输出门输出ot分别为
式中：σ为sigmoid函数；
W为与3种控制门相对应的权值矩阵；
b为与之对应的偏置向量。
LSTM网络中，当前单元狀态ct由遗忘门决定上一单元状态在其中所占的比例。由输入门决定中间状态在其中所占的比例，其表达式为
式中，gt为当前单元的中间状态，由上一单元的输出和本单元的输入共同构成，其表达式为
其中，φ为tanh函数。由式（4）、（5）可知，当前单元状态由上一单元状态与本单元的输入共同决定，这一特性体现了LSTM网络的遗忘以及保留功能。
LSTM网络的输出由输出门和单元状态共同确定，即
ht=otφ（ct） （6）
1.2 GRU网络
LSTM网络基本单元的3种控制门构成了其在信息传递过程中的遗忘和保留功能。功能的增加意味着网络结构复杂性的增加，同时也会导致网络计算与训练成本的增加。针对上述问题，GRU网络作为LSTM网络的变体，将LSTM网络基本单元中的3个控制门简化为2个。在降低计算成本的同时，保持了与LSTM网络类似的预测效果，其基本单元结构如图2所示。
由图2可知，简化后的LSTM网络即GRU网络结构的基本单元中控制门由更新门和重置门构成，且均通过激活函数σ来控制信息流动。更新门输出为zt，重置门输出为rt，中间状态gt和单元输出ht的表达式分别为
GRU网络单元的中间状态除了和当前输入xt有关外，上一时刻的输出需要经过重置门然后再乘以权值矩阵。当前单元的输出则是由更新门的输出来控制的。
LSTM及其变体GRU网络的特殊结构使其具有时序信息的保留和遗忘功能。就电力系统负荷预测而言，LSTM网络可充分利用电力系统负荷连续性与周期性特征，来实现关键信息的保留和传递，从而进一步提升电力系统负荷预测的准确性。
2 LSTM网络仿真
2.1 实验设置
本文仿真采用CPU型号为Intel Xeon E5 -2610.32GB DDR4-2400内存，NVIDIA QuadroM2000显卡，并采用了Python语言在Keras平台上搭建了模型框架。由于节假日负荷数据和工作日及周末负荷数据存在较大差异，在训练过程中剔除了节假日数据，且采用经过预处理的38400个数据作为测试样本。训练集、验证集、测试集分别为样本总数的70%、20%、10%，以均方根误差作为损失函数进行训练，其计算公式为
2.2 预测结果比较
为比较不同模型的预测效果，本文分别采用LSTM、GRU、人工神经网络（ANN）、支持向量机（SVM）模型对同一组测试样本数据进行预测。
LSTM网络和GRU采用3层网络，其中隐含层的神经元個数设置为50、50、100。ANN采用反向传播的3层前馈神经网络，隐含层节点个数为200，采用sigmoid作为传递函数。SVM选择径向基函数作为核函数，利用10倍交叉验证法对宽度系数和惩罚系数进行选择。实验过程中，取待预测数据点之前的96点作为该数据点的输入向量，输出数据为待预测时刻的数据。图3为不同模型的典型日负荷预测结果。
由图3可知，4种模型都能完成负荷预测，并体现出相应的负荷变化情况，其中LSTM网络日负荷预测平均相对误差为1.72%，GRU网络日负荷预测平均相对误差为1.80％，ANN负荷预测平均相对误差为2.26%，SVM负荷预测平均相对误差为1.96%。
表1、2为LSTM网络与GRU网络连续7d的日负荷预测结果平均相对误差和均方根误差。由计算结果可知，LSTM和GRU模型负荷预测的平均相对误差和均方根误差的平均值都要低于ANN模型，这是因为LSTM和GRU网络属于时序模型，能够对数据的历史信息进行学习，而人工神经网络则无法做到这一点，因此其平均误差和均方根误差较大。虽然SVM模型的预测结果较好，但其算法性能和预测效果受参数的影响较大，而其参数的选择又多是依据经验确定，缺少一定的理论依据。
在同一条件下，就单一模型而言，GRU网络与LSTM网络的日负荷预测结果精度基本相当，然而由于GRU网络简化了基本单元结构，少了一组矩阵参数的运算，因此训练时间上更具有优势。综合计算成本和预测精度，本文在负荷预测的组合模型中采用GRU网络作为基本网络。3组合预测模型
3.1 卷积神经网络（CNN）
本文对LSTM网络和GRU网络训练过程采用了连续的负荷数据作为网络输入，保持了数据的时序性与连贯性，但缺少数据特征的提取过程，而特征提取是数据处理的关键步骤，因此，本文在GRU神经网络作为负荷预测层的基础上，前置了卷积神经网络层作为特征提取层。
卷积神经网络作为前馈神经网络的一种，通过稀疏连接和权值共享的方式在缩减训练参数规模的基础上得到了更深的训练网络，能够直接从卷积层和池化层的交替使用中得到数据的有效特征。
本文构建了由3层卷积神经网络和1层GRU网络所组成的组合预测模型，其中卷积神经网络的卷积核大小为3x3，3层的数目依次为32、64和256。
3.2 残差预测
由于负荷影响因素的复杂性和不确定性，任何方法均不可能实现百分之百的准确预测，而负荷预测的残差大小直接反映了当前时间点预测值的准确性。就负荷预测而言，残差本身是一种基于负荷数据产生的时间序列数据。基于上述考虑，本文将负荷预测模型和残差预测模型进行了组合，利用残差预测结果对负荷预测值进行了修正，并以修正值作为最终预测结果。图4为组合模型的基本结构示意图。
组合预测模型由负荷预测和残差预测共同构成。因此在训练与预测中，负荷预测模型首先采用样本数据进行训练，然后由训练的预测模型得到样本数据集的预测值与残差值，再通过残差数据集训练残差预测网络，最终分别利用两个网络得到负荷和残差预测值，并将其之和作为当前时刻的负荷预测结果。
3.3 仿真分析
基于上述分析，本文分别采用CNN+GRU组合预测模型，以及含有残差修正的组合预测模型对测试集数据进行了预测分析。图5、6为两种预测模型的典型日负荷预测结果。其中，CNN+GRU组合预测模型得到的日负荷预测平均相对误差约为1.54%，含有残差修正的组合预测模型得到的日负荷预测平均相对误差约为1.21%。
表3为在相同仿真实验条件下，不同模型连续7d负荷预测的平均相对误差（MAPE）、均方根误差（RMSE）以及模型训练时间和负荷预测的计算时间。
由实验结果可知，加入了CNN特征提取层的网络模型相比于LSTM网络和GRU网络，能够有效提高负荷预测的精度。但由于其增加了一个卷积计算的过程，因此训练时间要大于单一模型。除此之外，残差修正模型需要对残差数据进行训练，因此在有限的硬件资源条件下其网络训练时间最长。从表3中可以看到，组合模型的计算时间要略长于单一模型，但其计算时间不到1s，可以满足实际负荷预测的需求。
4 结论
本文研究了基于LSTM人工神经网络的负荷预测方法，主要结论如下：
1）LSTM模型能够对负荷历史数据进行记忆和保留，其变体GRU模型在简化控制门的基础上，能够保持与LSTM模型类似的预测效果。仿真结果表明，GRU模型负荷预测的平均误差约为3.20％。
2）采用卷积神经网络作为特征提取层，结合GRU构建的组合模型，能够有效发挥神经网络的优势。在本文实验条件下，组合模型负荷预测的平均相对误差约为2.06%。
3）利用历史残差数据构建的LSTM残差预测模型，可对负荷预测结果进一步修正，并能够在组合模型负荷预测的基础上，进一步提高电力系统负荷预测的精度。
（责任编辑：钟媛 英文审校：尹淑英）
猜你喜欢 残差卷积神经网络 基于双向GRU与残差拟合的车辆跟驰建模网络安全与数据管理(2022年3期)2022-05-23基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02基于残差学习的自适应无人机目标跟踪算法北京航空航天大学学报(2020年10期)2020-11-14神经网络抑制无线通信干扰探究电子制作(2019年19期)2019-11-23基于递归残差网络的图像超分辨率重建自动化学报(2019年6期)2019-07-23从滤波器理解卷积电子制作(2019年11期)2019-07-04基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20基于神经网络的拉矫机控制模型建立重型机械(2016年1期)2016-03-01复数神经网络在基于WiFi的室内LBS应用大连工业大学学报(2015年4期)2015-12-11平稳自相关过程的残差累积和控制图河南科技(2015年8期)2015-03-11