面向数字孪生的工业设备数字化编码与识别

导语:为使现实中的工业设备与其作业中的虚拟信息相结合需要对工业设备进行数字化编码并制定设备标识图像分割识别的统一方法 为工作人员提供相关信息从而控制和维护设备 采

传统工业机械设备的组装、操作、控制和维护需要大量人力物力来支持,相关人员可能需要大量时间来学习如何使用及维护设备,并且操作繁琐、耗时耗力。随着计算机技术的日益进步,数字孪生工厂和数字孪生两个新兴概念被提出,数字孪生工厂的建设已经被提上了日程。数字孪生是指通过数字模型对现实世界进行模拟,从而优化和预测物理系统的性能和行为。而数字孪生工厂则是指利用物联网、大数据及云计算等先进技术,实现工厂运营的智能化、高效化和可持续化的生产方式。将数字孪生技术应用于工厂作业的前提是可以准确地分割识别工业设备标识,为工作人员提供设备相关信息从而控制和维护设备。


为了实现数字孪生技术的应用,首先需要制定一套数字化编码规则,对工业设备进行统一编码。随后,在工业设备上设置标识并在数据库中一一对应,将设备的动态和静态信息存入数据库中,方便工作人员查询。当工作人员需要维护和操作工业设备时,先通过电子设备扫描标识,经过训练好的图像分割网络将标识图像分割出来,再通过解码器解码出设备编号,工作人员就可以快速获取数据库中对应的设备信息,进而控制和维护设备,省时省力地配合工厂运营。笔者主要介绍工业设备标识的数字化编码体系与标识图像的分割识别。


首先确定选用标准QR二维码,版本为3,纠错等级为L,为每一个需要操控和维护的工业设备进行编号并将相关信息存入数据库。工作人员操控设备时,可以使用电子设备通过二维码解码器获取二维码储存的信息。然而,电子设备获取到的设备标识图像包含背景噪声,与二维码图像相似的像素分布会导致识别准确率下降,因此笔者设计了新型的图像分割网络MAU-Net,先将二维码图像从背景中分割出来再进行解码,有效提升了识别准确率。


1 相关工作


工厂设备种类繁多,数量庞大,若要建设数字孪生工厂就必须对工业设备进行系统性的统一编码,为使人机交互更加便捷,笔者采用二维码的形式对设备进行编码。在近年来的工业实践中,已经有许多工作将二维码应用在工业体系中。2015年,BORISOVA提出了一种使用二维码和基于时间的一次性密码对工业部件进行安全用户身份验证的新方法。2021年,XIONGLZ等设计了一个带有身份验证的二维码秘密共享方案,以保护私人数据并防止作弊。根据二维码中里德-所罗门码的纠错冗余和同态,将阴影和认证位嵌入到覆盖二维码中。


由于电子设备获取到的设备标识图像包含背景噪声,相似的强度分布会严重影响二维码图像识别的准确率。所以在数字化编码体系设定完成后,需要对设备标识图像进行分割操作。近年来,随着深度学习的发展,已有一些工作将图像分割技术应用于工业领域。2017年,YIL等提出了一种基于CNN的钢铁表面缺陷端到端识别模型。2018年,SUNXH等报道了机器视觉在钢铁产品中的应用评价,指出基于图像处理的视觉识别技术具有绝对的优势。然而上述工作所使用的图像分割算法较最新的深度学习模型而言,效果还可以进一步提升。


2015年,RONNEBERGERO等在MICCAI会议上发表了U-Net,成为深度学习在医学影像分割中的突破性进展。此后,对于U-Net的应用与改进引起了广泛的研究和关注。2018年,OKTAYO等提出了一种新的医学成像注意门模型AttUNet,该模型能够自动学习聚焦于不同形状和大小的目标结构。然而AttU-Net仅在跳跃连接中加入了注意力机制,并不能极大程度地提升模型分割能力。


2019年,WANGW等提出在U-Net的瓶颈处加入重复单元结构:双门控递归单元(DRU)或单门控递归单元(SRU),可以在数据集和计算能力有限的情况下进行训练。2020年,BYRAM等构建了带有选择核卷积的U-Net(SKU-Net)来分割乳腺病变。然而,原始的选择核卷积忽略了空间维度上不同接受域下的特征选择。2023年,CHENGP等提出了AAU-Net,引入了混合注意力模块HAAM,提高了图像分割精度。然而HAAM并没有同时将多尺度提取到的特征进行通道和空间维度的注意力加权,并且只使用了平均池化而未考虑最大池化操作,这在一定程度上会丢失一些特征信息。笔者在AttU-Net和AAU-Net的基础上进行了改进,设计了全新的混合注意力模块HAM和注意力门,通过引入卷积注意力模块(CBAM),将多尺度特征提取和融合后的特征输入到CBAM中,充分提取图像特征,并且在跳跃连接中加入带有CBAM的注意力门,减少了特征损失。


2 数字化编码


QR(QuickResponse)二维码样例如图1所示,QR二维码是一种矩阵二维码,可以存储数据信息。QR二维码的代码内容应该以非常快的速度进行解码。代码由白色背景上以正方形图案排列的黑色模块组成。编码的信息可以是文本、URL或其他数据。二维码的设计允许其内容被高速解码。

图1 二维码样例图案


图2 展示了QR二维码的结构,总体上二维码分为两个部分,分别为定位信息和数据信息。

图2 QR二维码结构


二维码生成流程如图3所示。首先分析数据,根据数据决定要使用的QR二维码版本、纠错等级和编码模式。然后根据选择的编码模式将输入的字符串换成比特流进行数字编码。再计算纠错编码,附在比特流之后。然后将数据信息和定位数据填充至矩阵中,并选择合适的掩膜图案来变换编码区域的数据。二维码矩阵中的某些图案会使二维码扫描仪难以正确读取,为了避免这一点,二维码规范定义了8种掩膜图案,每种掩膜图案根据特定图案改变二维码。最终填充格式和版本信息至矩阵,生成完整的二维码图像。

图3 二维码生成流程


QR二维码支持数字编码、字符编码、字节编码和日文编码。笔者选择QR二维码版本为3,纠错等级为L。这个版本的QR二维码最大支持编码32个汉字,用于数字化编码工业设备的基本信息,如设备编号、设备名称及设备状态等。设备的详细信息与设备编号一一对应存入数据库,方便工作人员操控和维护设备。


3 图像分割


笔者设计了一种新型的图像分割网络MAUNet对标识图像进行分割识别。MAU-Net与U-Net具有相同的核心架构,包括4个下采样、4个上采样和4个跳跃连接,其整体结构如图4所示。在下采样过程中逐渐提升通道维度,缩小特征图尺寸,上采样过程相反,每层通道数如图4所示。


图4 MA U-Net整体结构


与U-Net不同的是,MAU-Net将原始U-Net中的卷积层替换为一种新颖的混合注意力模块(HAM),通过多尺度特征提取与融合,将不同感受野下提取到的特征进行融合,并将融合后的特征输入卷积注意力模块(CBAM),通过通道和空间注意力机制对特征进行加权,使得网络学习特征时更有侧重点,忽略噪声影响。HAM示意图如图5所示。


图5 HAM示意图


与AttU-Net类似,MAU-Net在跳跃连接中加入带有CBAM的注意力门,将上层特征与下层特征进行融合后再进行注意力加权,然后与上采样后得到的特征图进行拼接,减少了跳跃连接存在的特征损失问题的影响,进一步提升网络的特征提取能力。


3.1 卷积注意力模块


如图6所示,卷积注意力模块分为两部分,分别是通道注意力模块和空间注意力模块。

图6 卷积注意力模块


输入特征图首先分别输入最大池化层和平均池化层,将得到的通道维度权重各自再输入一个共享的多层感知机中,得到两个不同的通道注意力权重,将两个权重相加后利用sigmoid激活函数整合注意力权重并与最开始的输入特征图相乘,得到通道注意力模块的输出特征图。公式表达如下:

其中,σs表示sigmoid激活函数;⊕表示元素相加;⊗表示元素相乘;Fin∈Rc×h×w表示输入特征图,c表示通道数,w和h分别代表宽度和高度;Fca∈Rc×1×1表示通道注意力特征图;Fcout∈Rc×h×w表示通道注意力模块的输出特征图;MLP()表示多层感知机;MaxPool()表示最大池化操作;AvgPool()表示平均池化操作。


随后,将通道注意力模块的输出特征图输入最大池化层和平均池化层,得到空间维度的权重,将这两个权重图进行拼接操作并输入7×7卷积层,得到空间维度的注意力图,将其与通道注意力模块的输出特征图相乘,得到最终的输出特征图。经过上述操作,神经网络在通道和空间维度都学到了相关权重,使其在提取特征时有所选择,可以降低背景噪声对于特征提取的影响。空间注意力模块的计算公式可表述为:

其中,W7×7表示7×7卷积操作,Fsa∈R1×h×w表示空间注意力特征图,Fsout∈Rc×h×w表示空间注意力模块的输出特征图,即整个卷积注意力模块的输出特征图。


3.2 混合注意力模块


笔者提出了一种新型的混合注意力模块,用其替换掉原始U-Net中的普通卷积层,加强分割网络的特征提取能力。如图5所示,首先将输入特征图输入到3条不同分支,分别为3×3卷积层,5×5卷积层,核大小为3×3,膨胀率r为3的膨胀卷积层,保持输出特征图通道和尺寸不变。计算公式如下:

其中,Fin∈Rc×h×w表示输入特征图,F3∈Rc×h×w表示3×3卷积层的输出特征图,F5∈Rc×h×w表示5×5卷积层的输出特征图,Fd∈Rc×h×w表示膨胀卷积层的输出特征图,W3×3、W5×5、W3×3r=3分别表示3条分支的卷积操作,BN表示批量归一化操作,σr表示ReLU激活函数。


随后将提取到的不同尺度特征用拼接操作进行特征融合,再经过一个1×1卷积层将特征图通道压缩为原本的通道数。计算公式如下:

其中,Fmout∈Rc×h×w表示多尺度特征提取融合后得到的特征图,W1×1表示1×1卷积操作。

随后将多尺度特征提取融合得到的输出特征图输入卷积注意力模块中,进一步筛选特征。


计算公式如下:



3.3 注意力门


与AttU-Net类似,笔者提出的MAU-Net在跳跃连接中也加入了注意力门。如图7所示,注意力门将上层特征与下层特征进行特征融合和注意力筛选,减少了下采样过程中的信息损失,提升了网络的分割能力。

图7 注意力门


首先将上层特征图与下层特征图分别输入一个点卷积层,将得到的特征图进行元素相加并输入至卷积注意力模块中。计算公式如下:



其中,Fuin∈Rc×h×w表示上层特征图,Flin∈Rc×h×w表示下层经过上采样得到的特征图,Fuout∈Rc×h×w、Flout∈Rc×h×w分别表示上下层特征图经过点卷积得到的输出特征图,表示注意力门的输出特征图。



3.4 损失函数


在两类图像分割任务中,使用最广泛的损失函数之一就是二元交叉熵损失函数(BCE)。笔者通过BCE将预测图像与MAU-Net输出的图像进行差异对比并反向传播优化网络参数。BCE的公式如下:

其中,Y(i,j)∈[0,1]表示像素点(i,j)的真实标签,Y^(i,j)表示预测掩码。


3.5 图像增强


二维码的识别过程经常面临各种挑战,尤其在光照并不充足的工厂车间,背景波动不规律、光照不足、图像采集技术不当导致的失真等问题都会影响二维码图像的分割与识别。为了克服上述问题,需要在训练分割网络时加入特殊的图像增强方法,减少噪声影响。笔者在训练图像分割网络时使用了基于pytorch的Albumentations函数库进行图像增强,除了常规的裁剪、翻转等方法,还增加了随机色彩变换(包括随机对比度、饱和度、色相变换)、高斯模糊和运动模糊,使得网络具有更强的鲁棒性和分割能力。


4 图像识别


在获取分割网络得到的二维码图像后,需要对图片进行平滑滤波、二值化及寻找轮廓等操作,筛选轮廓中有两个子轮廓的特征,从筛选后的轮廓中找到面积最接近的3个即二维码的定位符。之后进入解码阶段,解码阶段流程如图8所示。

图8 二维码解码流程


5 对比实验


5.1 数据集


数据集共包含352张图片,每张图片含有原始图像和标签图像。这些图片平均大小为500×500。图9为训练数据集中部分原始图像与标签图像。


图9 训练集图像


5.2 实验环境


实验设备是4个NVIDIA Geforce RTX 3090 GPU的服务器,开发环境为Ubuntu 18.04.6、python 3.7.16和pytorch 1.12.1。


5.3 评估指标


采用常用的3个指标即像素精度(PA)、交并比(IoU)和Dice系数(Dice)来衡量网络分割效果。


5.4 实验设置及结果


首先将数据集按8∶1∶1的比例随机划分为训练集、验证集和测试集,每个文件夹的训练数据和测试数据不存在任何重叠。本次实验选择ADAM优化器来训练网络,网络的初始学习率设置为0.01,每个模型训练3次并取指标的平均值和标准差。多次实验验证表明,当训练轮数和批次大小分别设置为100和8时,分割性能最好。


本次实验首先进行了消融实验,分别对原始U-Net、U-Net+HAM、U-Net+注意力门(AG)、MAU-Net进行对比实验。结果表明,笔者所提的MAU-Net有效提高了网络的分割精度。


表1 加入不同模块的分割结果(平均值±标准差)


表1显示了U-Net加入不同模块后的分割效果,红色数据为最好的评估指标,以百分制形式表示。从最终实验结果可以看出,笔者所提出的MAU-Net可以提升网络的分割能力,将多尺度特征提取融合过后的特征图输入卷积注意力模块可以进一步优化特征提取,筛除冗余特征,减少背景噪声对网络分割的影响。同时,改进的注意力门可以减少U-Net在下采样过程中的特征丢失,通过将上下层特征图进行融合和注意力加权,可以一定程度上加强网络特征提取能力。


随后,笔者将MAU-Net与多个网络(包括U-Net、U-Net++、U-Net3+、SKU-Net、AttU-Net、AAU-Net)进行了对比实验,实验结果见表2,红色数据为最好的评估指标,以百分制形式表示。实验结果表明,MAU-Net在各个评估指标中都要强于U-Net以及其他基于U-Net改进的网络。笔者方法在3个评价指标上取得了最好的结果,在数据集上训练后得到的3个评价指数值分别为97.01、71.28和80.31。实验数据表明MAU-Net相较于其他网络具有更好的健壮性,对特征的提取更加充分,并且可以很好地应用于工业数据集上。


表2 不同网络分割结果(平均值±标准差)


图10给出了不同分割方法在数据集上的P-R曲线和ROC曲线。P-R曲线代表了正确预测真阳性和假阳性类别的置信度。ROC曲线展示了模型在不同阈值下区分正负样本的能力,AUC得分显示在ROC曲线中。与其他方法相比,MAU-Net方法获得了最高的AUC值。根据P-R曲线和ROC曲线可知,笔者所提MAU-Net方法达到了最高的置信度。


图10 不同分割方法在数据集上的P-R和ROC曲线



此外,在训练过程中加入随机色彩变换、高斯模糊和运动模糊的图像增强方法后,MAU-Net的3个指标都得到了进一步提升,分别达到了97.22、71.66和80.95,这表明加入的特殊图像增强方法有助于提升网络分割能力。


最后,将训练结果最好的MAU-Net模型应用在二维码识别实验中,损失变化图和PA、IoU、Dice评估指标变化如图11所示。


图11 各个指标变化图


最终实验结果显示,使用原图像直接进行二维码识别,二维码的识别准确率只能达到91.52%,而使用分割后得到的图像进行识别,二维码的识别准确率达到了96.32%,误差小于5%。


6 结束语


在本次研究工作中,制定了一套严谨的数字化编码规则,采用版本号为3、纠错等级为L的QR二维码作为数字编码标准,为工业设备设置不重复的标识来区分不同设备并储存设备相关信息。设计并使用MAU-Net图像分割网络对设备标识图像进行分割,通过多尺度特征提取和融合增强了网络对于不同输入的适应性,在块间和块内加入多重注意力机制,减小了背景噪声对分割效果的影响,增强了网络的健壮性。之后加入了独特的图像增强方法,并与原始U-Net及几种基于UNet改进的图像分割网络进行了对比,通过3种常见的图像分割评估指标来评估网络分割效果。实验结果表明,MAU-Net的分割效果强于其他网络。最终在二维码识别阶段,笔者提出的方法在识别准确率上达到了96.32%,误差小于5%,高于直接使用设备标识图像进行识别的情况,证明笔者方法可以很好地应用在工业领域,可以辅助数字孪生工厂的建设。


原文刊载于《化工自动化及仪表》2025年第2期 作者:薛正博 王建国 冯勇 李英娜

暂无评论,等你抢沙发

  • 短信登录
  • 密码登录
还没有账号,
登录即代表您同意本网站的 《用户注册协议》
还没有账号,
登录即代表您同意本网站的 《用户注册协议》
注册
已有账号, 立即登录
登录即代表您同意本网站的 《用户注册协议》
找回密码