柳雨豪, 罗浩原, 黄晓明
(1.江苏交控人才发展集团有限公司,江苏 南京 210019;
2.东南大学交通学院, 江苏 南京 211189)
20世纪90年代以来,我国公路建设发展迅猛。交通运输部2021年交通运输行业发展统计公报指出,当前全国公路总里程528.07万公里,高速公路里程16.91万公里。国家发改委最新规划纲要指出[1],到2030年国家高速公路剩余未建里程0.10万公里。高等级公路新建任务已基本完成,对现有道路的管理与养护需求日益凸显。为提升公路养护管理的标准化和规范化,我国在《公路技术状况评定标准》(JTG 5210—2018)中明确规定路面技术状况指数PQI(Pavement Maintenance Quality Index)。其中,路面损坏状况指数PCI(Pavement Maintenance Quality Index)对PQI的权重为0.35或0.5或0.6,在所有七项指标中占比最高,充分体现了路面病害检测的关键性。
路面病害检测主要利用图像技术进行判定,目前已经历3个阶段:人工检测阶段、半自动化检测阶段、无损自动检测阶段[2]。
阶段1为人工检测法。公路检测人员在日间对病害路面进行现场测量、统计记录,并内业评估路面损坏程度。该方法的主要缺陷是易导致交通拥堵、工作量大,已不符合我国当前大规模、大范围路面病害检测的需求。
阶段2的半自动化检测阶段源于20世纪末,是自动化检测的铺垫时期。典型技术有法国GERPHO道路检测系统[3],通过搭载35 mm胶片的GPS定位车采集道路表面图像数据,工作人员用室内设备判定道路病害,并依此建立数据库。该方法具有划时代意义,改变了现场人工检测的传统手段,极大减轻了道路检测对交通的影响。20世纪80年代日本开发Komatsu道路检测系统[4],摄像车辆两侧灯光照射路面,采用高密度录像带存储道路病害信息。但其无法自动识别病害类型,后期处理主要由人工完成。20世纪90年代CCD数字成像技术发展后,搭载图像处理系统的瑞典PAVUE检测车[5]实现一定时速下采集图像的能力,并可实现半自动化图像处理功能,但此系统将破损图像以模拟格式存储在S-VHS磁带中,造成数据存储困难和调用局限。这一阶段的道路检测装置实现了代替人工野外作业的功能,主要局限是检测车一般在夜间使用,行驶车速低,且后期人工处理图像耗时较长,道路检测效率十分有限。
阶段3采用多传感器道路检测车对路面病害进行检测。该阶段主要采集两类数据:由CCD或CMOS数码相机采集的2D数字图像、由激光采集的3D数字图像。典型的数据采集装置有加拿大FUGRO公司的ARAN系列道路检测车、阿肯色大学DHDV检测车[6]、美国Waylink道路检测车、加拿大LRIS系统、长安大学CT-501A高速道路激光车[2]、武大ZOYON-RTM智能道路检测车、南京理工大学N-1型道路状况智能检测车[7]、中公高科多功能快速检测车CiCS Ⅱ等。该阶段的采集装置应用数码相机和红外激光实现道路地理信息、道路病害信息等数据的采集,采集效率跨越式提升。
除数据采集装置的长足进步外,阶段3产生多种数字图像处理算法,以实现路面病害的快速检测与提取。路面病害图像检测算法主要分为两大方向:道路图像自动筛分算法、道路病害特征提取算法。道路图像自动筛分算法即在大量的道路图像中,快速筛选出少量包含病害的图片,在该过程中尽量减少人工干预。道路病害特征提取算法即针对筛选出的少量包含病害的图片,提取出病害的尺度信息(如长、宽、面积等)。路面病害检测的三个发展阶段如图1所示。
图1 路面病害检测发展历程
2D道路图像因采集便利、数据易存储、处理算法成熟,目前仍是路面病害检测的研究重点。近几十年来,研究人员基于多种图像处理算法,一定程度上实现了2D道路图像病害的特征提取。
2.1 阈值分割法
阈值分割(Threshold Segmentation)是图像分割的一种经典方法。基本思想是通过设定灰度阈值,将图像中的所有像素分配到不同的像素组中,从而实现目标与背景的分离。对于道路图像,一般设定一个灰度阈值,将灰度图像转化为二值图像,如图2所示。设原始图像灰度f(x,y),选定阈值τ,根据下式规则定义阈值分割后的二值图像灰度g(x,y):
图2 全局阈值分割原理
决定阈值分割效果的关键因素是阈值τ的选取。阈值τ选定准确,则可较好分离出裂缝、坑槽等目标;
阈值τ选定偏移,则可能发生病害缺损或冗余信息的问题。选定τ的方法主要包括迭代法、最小均方误差法、最大类间方差法、最大熵法及分水岭法[8]。
大津法(OTSU)是以最大类间方差法为原理的经典全局阈值分割算法[9],该算法原理简单、处理效率高,针对目标与背景反差大的图像提取效果优良,是早期道路裂缝图像分割的主要方法。Talab等[10]应用OTSU对水泥混凝土局部图片进行裂缝提取,取得了良好的图像分割效果。褚燕利[11]使用OTSU对增强去噪沥青路面裂缝图像进行阈值分割,并通过像素点统计法计算裂缝面积、长度、宽度。一般来说,水泥路面纹理性弱,表面裂缝灰度与路面面灰度差异明显,全局阈值分割效果较好;
而沥青路面颜色深,有复杂的不规则纹理,细小裂缝与完好路面灰度差异不大,使用全局阈值分割往往难以取得良好效果。为解决这一问题,国内外学者采用以下办法:1)优化阈值选取方式,采用局部阈值法或动态阈值法来适应不同道路图像的差异;
2)应用图像增强技术对道路图像进行预处理,并结合形态学等算法联合提取病害信息。
Wang等[12]应用多尺度局部阈值分割对道路图块进行裂缝提取,一是通过金字塔比例变换削弱图像噪声;
二是采用网格单元分析(GCA,Grid Cell Analysis)对不同裂纹密度的区域选取局部最优阈值,结果表明比全局阈值分割效果更佳。Sun等[13]应用加权邻域算法对裂缝图像进行处理,然后采用局部阈值精细化分割裂纹,最后应用形态学膨胀法处理裂缝连接性问题,取得良好结果。Tang等[14]使用直方图阈值分割进行裂缝位置的粗略确定,并应用 B样条算法精确定位裂缝的位置。
研究表明,多级阈值分割比单次全局阈值分割效果更佳。Peng等[15]采用两级阈值分割优化裂缝提取,对道路标线进行预分割以减小其对裂缝提取效果的影响,充分考虑到工程实际因素对病害识别的影响。Oliveira等[16]同样应用两级动态阈值法处理道路图像。第一级动态阈值用以提取图像中的可能裂缝区域,并将可能裂缝区域划分为图块并进行熵(Entropy)计算;
第二级动态阈值分析所得熵矩阵,从而判断图像中是否含有裂缝。
2.2 边缘检测法
道路的两种病害形式——裂缝和坑槽具有显著的边缘特性,因此边缘检测算子(Edge detection operator)是一种有效的检测手段。常用边缘检测算子包括Sobel算子、Prewitt算子、Canny算子、Roberts算子Laplace算子等。以Sobel算子为例,用图3所示的两个卷积核与待检测图片做卷积,两个卷积核分别对垂直边缘和水平边缘的响应剧烈(体现为卷积值的大小),故可检测出两个方向的边缘。
图3 Sobel边缘检测算子
由于道路裂缝病害走向的无规律性,李晋惠[17]采用8方向的sobel算子对裂缝病害图像进行边缘检测,从而识别各个方向的梯度变化。由于道路图像噪声复杂性,直接使用边缘检测算子难以获得理想的边缘提取结果。许多学者根据道路图像的纹理性、同质性、弱特征性对现有边缘检测算子进行改进,以获取更高的提取准确率。Zhao等[18]考虑到Canny算子对弱边缘的检测能力不佳和裂缝不连续性,应用小波变换和遗传算法优化算子,检测耗时更低且优化了对模糊边缘的保护。马丽莎[19]综合分析边缘检测法和阈值分割法的优缺点,将自适应Canny算子裂缝检测结果与局部阈值分割结果叠加,实现对裂缝不连续处的准确连接。Ayenu等[20]将经验模态分解(EMD,Empirical mode decomposition)与Sobel算子联合使用,有效削弱了图像噪声对分类结果的影响。
针对路面裂缝图像,不同的边缘检测算子对相同图像处理将获得不同结果;
由于沥青路面图像复杂的纹理性,有时采用边缘检测算子提取裂缝的效果会不太理想,如图4所示[21]。
图4 边缘检测算子提取结果
2.3 区域生长算法
区域生长算法(Region growing method)的基本原理是将具有相似性质的像素点合并为一个区域集合。首先指定一个种子点(Seed)作为区域生长起点,在预先确定的生长规则下,将邻域像素点与种子点进行对比,从而将具有相似特征的点合并起来继续向外生长,直到整个图像遍历结束。
王维等[22]采用区域生长分割得到病害连通区域,并采用形态学腐蚀膨胀方法对裂缝进行去毛刺和连通处理,取得良好结果。王德方等[23]在使用区域生长法前先使用K-means聚类法进行预处理,获得优化结果。Zhang等[24]首先在综合考虑图像空间分布、密度、裂缝几何特征的情况下,使用自适应阈值分割进行初处理;
并提出了一种可靠度因子ROB(Region of Belief)以量化一个像素块包含裂缝的可能性;
最后基于ROB种子点(ROB Seeds)使用新的区域生长算法实现裂缝分割,可以实现不均匀光照下的有效裂缝提取。Li等[25]充分考虑道路表面纹理特性和裂缝阴影,改进了FoSA-F*区域生长算法:一方面规避了设置开始和结束点的工作;
另一方面将全局搜索改变为兴趣区域搜索,从而提升效率。
路面病害检测阶段3——无损自动检测阶段的主要特点是,图像数据量跨越式提升,图像数量可达数万张甚至数十万张。从海量道路图像中快速自动筛分出含病害图像显得尤为重要。近年来,机器学习算法的兴起使无人工干预或较少人工干预的大规模图像筛分成为可能,其原理如图5所示。机器学习(Machine learning)是从已有数据中自动分析获得规律,并利用规律对未知数据进行预测的算法[26]。机器学习可以分为监督学习、无监督学习、半监督学习和增强学习。
图5 基于机器学习的道路图像自动筛分
3.1 监督学习病害图像分类
监督学习(Supervised Learning)通过训练标签数据集得到一个广义函数,当处理新的未知数据时,可根据该广义函数预测结果。标签数据集需人工标注。常用算法包括逻辑回归,朴素贝叶斯、支持向量机、人工神经网络和随机森林。
①支持向量机(Support vector machine)。支持向量机是一种二元分类模型,通过计算特征空间上的最大间隔得到超平面(hyper plane)以实现分类,支持向量机被广泛应用于简单的道路图像分类问题。Hadjidemetriod等[27]应用支持向量机对道路补丁图像进行分类,识别准确率为81.97%,召回率91.21%。其自动分类的道路补丁图像面积较大,基本为1 m2以上的大型道路补丁,肉眼易辨识。但该方法可快速对大量图像分类,极大减少了人工筛选的工作量。Sari等[28]应用支持向量机对含有裂缝的道路图像进行分类,并使用灰度共生矩阵(GLCM)及OTSU算法进行裂缝图像特征提取。通过数据对比可以得出,应用Anova核函数的SVM模型针对道路图像分类有最高的准确率。Hoang等[29]应用人工蜂群算法优化的支持向量机对道路裂缝进行分类,分类准确率高达96%。Lin等[30]应用非线性支持向量机对坑洞图像和非坑洞图像进行分类,取得了较高识别率。
②人工神经网络(Artificial Neural Network)。人工神经网络是一种模仿生物神经元的计算模型,由输入层、隐藏层、输出层组成。自1986年Hinton等提出基于反向传播算法的三层神经网络后,一些学者应用3层BP神经网络对道路病害图像进行分类。Xu等[31]较早应用人工神经网络对道路裂缝图像进行自动分类,将均衡化和二元处理后的裂缝图像分为尺度更小的子块,使用子块样本训练神经网络。周林[32]应用3级BP网络对200个裂缝图像样本进行训练,并使用100个未分类图像进行分类测试,成功将图像分成横向裂缝、纵向裂缝、网状裂缝、无裂缝4个类别。胡璠[33]设计6输入节点、5输出节点的三层BP神经网络用于道路裂缝分类。输入节点包括:横向裂缝种子个数、纵向裂缝种子个数、2个对角方向裂缝种子个数、裂缝长度参数、平均连接分量长度。输出节点为横向裂缝、纵向裂缝、龟裂、块状裂缝、完好路面。其原理如图6所示。其中,每一个神经元由权重参数ω和偏置值b控制,通过输入样本图像进行训练,利用反向传播算法调节每一个神经元的权重参数ω和偏置值b,网络训练完成后,输入新的裂缝图像即可实现裂缝类别的自动识别。
图6 人工神经网络识别裂缝类型原理图
③随机森林(Random forest)。Shi等[34]基于随机森林理论建立了开源道路裂缝分类与分割算法CrackForest。该算法重新自定义裂缝组成单元(tokens),可以更好表示不均匀裂缝;
经过优化的随机森林算法作为裂缝检测器,可以识别复杂状态下的裂缝。Hoang等[35]对支持向量机、随机森林、人工神经网络对裂缝图像进行分类的效果进行对比,分类准确率分别为87.50%,70%和84.25%。
可以看出,上述三类监督学习算法的最大特点是利用特征提取算法对道路图像进行特征提取,随后应用机器学习算法实现图像自动筛分。但仍存在自动化不足的缺陷。以胡璠[33]算法为例,其神经网络输入节点的裂缝种子个数、裂缝长度等参数,需用算法提取后以数据列表形式导入神经网络的输入节点,该过程仍需要一定的人工干预和操作。
3.2 半监督、无监督学习病害图像分类
半监督学习(SSL,Semi-Supervised Learning)指在训练过程中将少量有标签数据和大量无标签数据混合使用,可以显著提升学习效率和算法准确性。章颖[36]尝试使用半监督学习路面病害自动多分类,可达到95%以上的准确率,并将结果与SVM支持向量机对比,指出半监督学习的分类效果优于支持向量机。Li等[37]使用半监督学习算法实现了对无标签数据的自动标识,并采用对抗算法和卷积网络实现分割与预测,在AigleRN数据集上有效。该算法不再重度依赖标签数据的数量和质量,其训练数据中标签数据为118张,仅占50%,检测准确率达到95.51%。道路病害识别领域应用半监督学习的文章较少,且研究结果不够充分。
无监督学习[38]指不对训练集标签化,完全依靠算法本身识别训练集的特征差别并分类,对数据量要求较大,目前对道路图像的应用研究还未起步。
深度学习(DL,Deep Learning)是机器学习技术的发展,通过训练含有更多隐含层的深度神经网络(DNN,Deep Neural Network)来实现更复杂的特征学习和特征表达能力[39]。卷积神经网络(CNN,Convolutional Neural Network)是一种典型的DNN,尤其适用于图像处理任务,典型结构如图7所示[40]。由于卷积神经网络的局部感受野(Local receptive fields)和共享权重(Shared weights),使参数数量大幅减少。
图7 深度卷积神经网络CNN网络结构图
传统的机器学习算法需要人工设计提取的图像特征参数,并需反复调试。CNN的优势是输入端仅需输入图像,特征提取及图像分类完全依赖网络自训练,对大规模图像处理具有极大优势。表1对比了深度卷积神经网络与本文第2章介绍的人工神经网络算法的主要区别。
表1 深度神经网络与早期人工神经网络对比
4.1 深度神经网络道路病害图像筛分
较早应用深度卷积神经网络进行道路病害检测的文章发表于2016年,Zhang等[41]采集500张智能手机拍摄的 3264×2448 像素的道路图像,将之分割成100万张 99×99×3 像素(RGB彩色图像)的道路图片块,采用含有4层卷积层的神经网络对64万张图片进行训练,16万张做训练验证样本(validation),20万张做测试样本。首次实现应用深度学习对病害图像分类,可将图片块快速分为含裂缝与无病害两种类型,识别准确率86.96%,召回率92.51%。分类效果显著优于试验对照组93维SVM与Boosting法。Nhat等[42]将CNN与传统边缘检测算子裂缝提取法进行对比,识别准确率分别为79.99%和92.08%,基于深度学习的方法表现出显著优势。沙爱民等[43]利用自设计拍摄设备采集图像数据,将200张原始图像分割成12800张尺寸为512×512像素的图像,训练3个CNN,分别为病害识别模型、裂缝特征提取模型、坑槽特征提取模型,结果表明其CNN的裂缝病害等级判断准确率98.99%、坑槽病害等级判定准确率为95.32%。Wang等[44]将道路图像分割成32×32或64×64的网格,然后用CNN来对网格图像进行分类,判断其是否含有裂缝。判断结束后将含裂缝图块拼接。结果表明64×64网格可以获得更好的分类结果,其中纵向裂缝分类成功率可达97.6%。但是该方法一是对网格边缘的裂缝不能有效识别,二是对网状裂缝的识别效果比较有限。Crack-pot法[45]融合了传统图像处理技术和深度学习方法,可以有效检测坑洞、裂缝的边界框。
研究表明,在一定程度上,神经网络深度越深,对图片的分类能力和泛化能力越强[46],如深度网络VGG Net为19层,GoogleNet为22层,ResNet为152层。针对上述Zhang[41]的论文,Pauly等[47]认为其使用的神经网络深度不足,因此应用优化后的11层神经网络,采用与Zhang相同的道路图片集进行试验。结果表明,加大网络深度可以提高分类准确率和召回率。但无限制增加隐藏层深度,则更易陷入局部最优解,性能甚至不如浅层网络。
4.2 深度神经网络道路病害目标检测
目标检测(Object detection)是利用深度神经网络检索图像,自动生成边界框(Bounding box)来划定目标位置并区分目标类型。广泛应用于道路病害区域快速提取,如图8所示。可以看出,目标检测的最大特点是,可以自动生成边界框标定病害位置,而不仅仅是作出图像分类,具有重大意义。
图8 基于深度学习的目标检测效果图
典型模型如Faster R-CNN[48],SSD[49],YOLO[50]等。Faster R-CNN是一种常用的目标检测算法,主要分为三个步骤:1)使用CNN提取一系列候选特征图;
2)使用RNP(Region Proposal Networks)生成检测框;
3)目标分类与边界框坐标回归。Li等[51]使用faster R-CNN来探测六种道路病害,该模型可在不同光照条件下精准地自动确认和定位病害区域。李海东[52]使用退火算法优化无人机飞行路径,基于采集图像设计了30个faster R-CNN模型进行路面病害定位提取,并对比选取最优结构。并在原有卷积神经网络基础上增加膨胀卷积层、高斯随机层、基于支持向量机的像素点分类层以进行优化设计。经优化后的算法可实现93.56%的平均准确率。
Faster R-CNN的思路是先产生候选框,再对候选框进行分类与回归,一般被称为two-stage方法;
SSD,Yolo的思路则是均匀地在图片上的不同位置进行密集抽样,然后利用CNN提取特征后直接进行分类,该过程由单步实现,一般被称为one-stage方法。Du等[53]应用YOLO网络预测可能的道路病害位置和种类,平均准确率73.64%,图片处理速度0.0347秒/张,约为Faster R-CNN处理速度的1/9,SSD处理速度的70%。处理过程无需手动特征提取及计算。Zhu等[54]采用较新的Yolov4,Yolov3与faster R-CNN算法进行对比,均可实现对道路裂缝、坑槽、修补的目标检测,其中,Yolov3算法效果最佳。Maeda等[55]对比了基于MobileNet和基于Inception v2的两种SSD算法,发现前者是后者识别速度的两倍。Yang等[56]在SSD中引入RFB(Receptive Field Block) 进行道路裂缝识别,RFB通过模拟人类视觉的感受野加强网络的特征提取能力。结构上体现为在Inception的基础上加入了空洞卷积层(Dilated convolution),从而有效增大了感受野(Receptive field)。
近年来,应用深度神经网络进行道路病害目标检测的实际应用十分广泛,表2为多项应用GRDDC2020数据集进行训练和测试的目标检测结果对比[57]。可以看出,Yolo为目标主流的网络选择,并具有高鲁棒性。
表2 工业级道路病害目标检测
训练全新的深度神经网络往往需要大量训练集、大量训练时间、高配置硬件设备。迁移学习(Transfer learning)使用预训练模型[58],迁移解决当前问题,大大减少训练时间和训练成本,并可以取得良好的效果。Gopalakrishnan等[59]应用基于ImageNet[60]预训练的VGG-16 DCNN进行沥青道路裂缝分类的迁移学习,并使用FHWA/LTPP的1056张道路图像进行结果分析,取得良好结果。结果表明,该方法的训练速度远快于训练同等量级数据集的速度。Zhang等[61]基于迁移学习提出了区分涂封沥青的裂缝和未处理裂缝两种裂缝的算法。试验选用800张道路图像,分为15万张图片块,选用ImageNet预训练的DCNN为迁移学习目标。结果表明,该方法优于CrackForest、CrackIT及Canny边缘检测算子。值得注意的是,ImageNet是一个超过1400万标记图像的数据库,图像内容与道路病害检测并无关系,主要为动物、日常生活用品等。用毫无关联的数据集训练出的网络结构经过效率更高的网络自调整后可以应用于道路病害检测领域,体现出神经网络迁移学习的普适性,也为深度学习解决诸多复杂问题提供了有力支撑。
深度神经网络需要大量标签数据集用于网络训练和网络效果测试,目前已有多个开源道路图像数据库,可用于网络训练和数据扩充,供读者参考使用。如表3所示。
表3 道路病害识别开源数据库
综上所述,基于深度神经网络的道路图像自动筛分与目标检测算法具有如下特点:1)训练后的网络可实现对原始图像的自动筛分和目标检测,检测结果鲁棒性高,对原始数据要求低,泛化能力强。2)应用深度神经网络处理道路图像时,完成网络训练后无需人工干预,自动化程度极高,以Faster RCNN、Yolo为代表的一系列目标检测网络可实现实时检测,实用性强。3)深度神经网络深度深、网络复杂度高,需要较大的训练样本量和训练资源,但可通过迁移学习的方式提升效率。4)较早应用深度神经网络进行道路病害检测的文章发表于2016年,该领域研究较新,正处于高速发展期。
上述基于2D数字图像的道路病害识别技术因数据采集便利、算法丰富而得到广泛研究。但2D图像难以获取道路病害深度信息,且易受拍摄环境影响。而3D图像采集结果受拍摄亮度等环境因素影响很小[62],因此近年对3D路面病害检测的研究逐渐深入。获取路面三维数据的技术主要有两种:多视角近景摄影、激光三维点云重构。
多视角近景摄影的原理是利用工业相机于多角度拍摄道路2D图像并进行表面三维重构。Vilaca等[63]采用基于双相机近景摄影的沥青表面纹理重构,但存在不可控的纹理损失现象。陈嘉颖等[64]基于环形三相机近景摄影测量技术设计了路面纹理信息采集和重构算法,其纹理识别精度接近0.02 mm,满足道路表面破损病害的识别精度要求。
激光三维点云是用激光扫描仪(3D scanner)采集的、用空间三维数据(x,y,z)表征物体表面的技术手段,点密度越大,形成的三维数据精度越高,如图9所示[64]。
图9 道路三维点云模型重构
Zhang等[65]应用Kinect工具实现对路面三维点云的获取,并成功提取道路裂缝的长度、宽度、深度等几何特征。Kamal等[66]使用Kinect工具对坑洞的深度和体积进行预测,其误差分别低至2.58%和5.47%。并探讨了坑洞中的水、灰尘、油质物质对检测误差的影响。研究指出,随着内容物的增多,检测误差越高。Tsai等[62]对比2D,3D图像在路面裂缝识别上的差异,并提出一种动态优化裂缝提取技术,对1~5 mm宽、不同深度、不同光照条件下的裂缝进行综合研究。结果表明3D激光采集可有效提取2 mm宽以上的裂缝信息,并且可以在低强度差的情况下有效检测裂缝存在,这是基于2D图像的方法难以实现的。Huang等[67]基于Dempster-Shafer理论,将2D灰度图像和3D雷达扫描数据结合处理,结果表明处理精度相较2D图像有显著提升。Li等[68]应用3D雷达数据和稀疏点阵来进行研究,并应用傅里叶变换来粗略提取裂缝。
Zhang等[69]基于3D道路图像,提出了一系列深度神经网络检测算法,首先提出了一种像素级3D裂缝探测卷积神经网络CrackNet。该网络共由5层组成,分别为2个卷积层、2个全连接层和1个输出层。并用1800张由DHDV系统[6]采集的道路3D图像进行裂缝测试。结果表明由于网络池化层造成的信息损失,最后识别结果无法达到像素级的精确程度,因此尝试去除中间层的最大池化层以最大限度保留细节信息。为了提升网络的检测质量和检测速度,文献[70]在原CrackNet网络基础上改进设计了Crack-NetⅡ,添加更多隐藏层并减少参数个数。二代网络比一代网络速度快5倍。CrackNet Ⅴ进一步提升了上一代网络,由8个卷积层组成,且添加了预处理层[71]。进一步减少网络参数并优化对浅层裂缝的提取能力。最后,CrackNet-R在上代网络基础上应用RNN网络结构[72]。GRMLP作为递归单元用于更新内部存储器。该方法有效提升召回率,可达到95%。Kelvin团队经多年研究,最终形成一套较为完备的基于3D道路图像的检测算法。
综上所述,基于3D数据的路面检测技术对病害识别精度更高,且不受环境因素影响,激光点云密度是决定三维重构精度的主要因素,适合复杂条件下的高精度数据采集与病害检测。
国内外的路面病害技术已经历3个主要阶段,多种道路检测技术已取得长足进步和发展。结合上文综述,当前的路面病害图像检测技术具有三大痛点:1)道路数据库割裂、分散,无法实现图像数据的集成,造成数据浪费;
2)现阶段道路检测主要使用专用道路检测车,但检测车的覆盖能力和检测效率都十分有限。且大多数里程的道路并无病害,空跑路程占比很大,检测车的综合效益有限;
3)没有实现对不同损坏状况的道路区别化检测,盲目使用3D数据采集与分析,综合效率低下。
为解决上述痛点,整合2D,3D检测方式的特点,充分利用智能公路系统下的信息系统优势[73],本文尝试展望第4阶段道路检测系统——多源分级检测阶段。如图10所示,针对民用车辆图像采集的发展趋势,可在民用车辆表面安装二维图像采集装置专用于道路面面图像采集,应用轻量化深度神经网络实时筛选、检测表面病害状况,将识别出的病害点位上传至云端道路病害图像数据库,以实现病害数据的集成和病害位置的有效监测。该过程相较于专用道路检测车有两点优势:1)依靠民用车辆自然行驶采集数据,而非专门调用检测车,节省人力物力,同时不对交通造成影响;
2)对于从海量图像中筛选出的病害区域,根据实际检测需求,有针对性地派出激光扫描设备,进一步掌握路面病害检测数据。最大限度节约资源。
图10 多级网络化道路检测体系
除了可以有针对性的采集路面数据,云数据平台还可以指导行驶车辆减少对病害区域的破坏。在智能公路(Intelligent Road,IR)系统背景下,P2X(Pavement to Everything)[74]是以道路铺面为信息源的“铺面对多目标网联服务体系”,其中“X”包括车辆、驾驶人、行人、道路管养部门、道路基础设施、移动终端等。以P2X体系为支撑,当民用车辆、云数据平台检测到道路上的相关点位为敏感点时(可能或已经产生路面病害的位置),应用物联网技术与车路协同技术,云数据平台向该路段通行车辆发出车道行驶的优化选择指令,从而智能调节敏感点的车辆通行次数(即荷载作用次数),并及时反馈道路管养部门对敏感点位置进行预养护与预处理,从而最大限度提升道路使用寿命。通过上述多源分级道路检测系统,在全时段智能监控道路病害的同时,实现了资源合理利用,具有较大的推进价值和实用意义。随着深度学习、云计算、车联网、智能公路的快速发展,该系统的各项技术正趋于成熟。
猜你喜欢阈值病害路面早春养羊需防六大病害今日农业(2022年3期)2022-06-05小麦常见三种病害咋防治今日农业(2021年8期)2021-11-28葡萄病害周年防治历烟台果树(2021年2期)2021-07-21果树休眠期咋防病害今日农业(2020年19期)2020-11-06用艺术修补路面疯狂英语·新悦读(2019年11期)2019-12-18小波阈值去噪在深小孔钻削声发射信号处理中的应用制造技术与机床(2019年9期)2019-09-10基于自适应阈值和连通域的隧道裂缝提取西南交通大学学报(2018年6期)2018-12-18比值遥感蚀变信息提取及阈值确定(插图)河北遥感(2017年2期)2017-08-07室内表面平均氡析出率阈值探讨衡阳师范学院学报(2016年3期)2016-07-10一款透水路面养护车专用汽车(2015年4期)2015-03-01