工业机器人智能化应用关键共性技术综述

导语:分析在人工智能技术与工业机器人应用融合过程中所取得的创新性技术成果为我国不同行业的智能制造升级提供案例参考和技术指引

近年来,人工智能、云计算、物联网等技术快速发展[1],推动主要工业国家提出了面向智能制造的战略规划,包括德国的“工业 4.0”、美国的“工业互联网”、中国的“中国制造 2025”等[2⁃3],助推制造业从数字制造向智能制造转型升级,在以数据和信息处理为核心的数字制造系统的基础上,自动化装备融合智能感知、智能规划、智能控制等技术,构成以知识和推理为核心的智能制造系统[4⁃5]。


在具体的转型升级方式上,工业机器人作为一种自动化装备,通过与智能技术、工艺数字化技术等先进技术融合,实现了面向不同作业场景、作业任务、作业工艺的智能化应用,加快了制造业的转型升级进程。因此,从单台柔性工作站到大型柔性流水生产线,工业机器人已发展成为智能制造系统的核心和主体装备[6],在工业生产和社会发展中正发挥越来越重要的作用。


在制造业中作业方式单一、重复等简单工序上,传统的工业机器人已得到广泛应用。从技术角度划分,这类工业机器人仍然属于第 1 代(Robotics 1.0)示教再现型机器人[7],其不足之处是缺乏智能性,主要应用于周围环境状态已知、变化小的结构化工作场景中,如标准化的流水线生产、组装和机械式重复作业等场景。而在汽车零部件、3C 电子、陶瓷卫浴及五金压铸等行业,还存在大量目标工件与环境都是高度非结构化的作业场景,如喷涂、抛磨、装配等自动化程度低、作业环境恶劣的工序,仍以人工结合专用设备作业为主,生产效率的提升受到限制。现有的人工结合专用设备的生产模式,不仅严重影响作业人员的身体健康,而且其生产效率和产品质量无法满足巨大的市场需求。因此,为了解决巨大的市场需求与生产效率低下的矛盾、作业人员身体健康问题以及其作业技能无法适应高端装备的矛盾,基于智能化、数字化技术对现有的工业机器人系统进行升级改造,使其具备第 2 代(Robotics 2.0)、第 3 代(Robotics 3.0)工业机器人的特性[8]。


随着我国制造业向智能制造转型升级的需求不断增长,以及机器人和相关智能技术的成熟,使工业机器人智能化技术从研究领域拓展至产业化应用领域,将促进机器人从第 1 代快速发展至第 3 代[8⁃9],即具备智能属性的智能机器人。基于智能化、数字化技术的工业机器人应用系统,不仅可以解决工业机器人在传统制造业中的智能化应用问题,而且还可以解决因产品定制化需求增长而导致的传统工业机器人作业方式无法满足工艺多样性要求的问题,使工业机器人的应用范围拓展至更多的制造业领域。


1 工业机器人智能化应用的典型技术路线


制造业升级改造的目的之一是解放生产力,提高产品质量和生产效率。在真实的工业现场,工业机器人及其配套设备正逐渐取代工人以及传统的自动化装备,而在数字世界中,机器人技术与人工智能、大数据、云计算及工业互联网等技术融合,为传统的控制策略赋予智能属性[10]。

图 1 工业机器人与工业互联网融合的技术路线


如图 1 所示,通过“云⁃边⁃端”系统的协同,实现真实的现场与数字世界的融合。因此,工业机器人的智能化应用的核心是硬件智能化和软件智能化的融合。硬件智能化的实现方式是通过改变工业机器人本体形态或在机器人系统中集成视觉、力觉等智能传感器,为机器人本体增加感知多模态信息的硬件设备;软件智能化的实现方式是将经验化的产品加工工艺与机器人、人工智能、大数据等技术的融合,转化为可以驱动机器人硬件执行作业任务的数字化工艺。


从生产工艺角度分析,作业人员通常利用工具或手工,按照生产工艺的要求,对各种原料、材料、半成品进行加工或处理,使之成为合格的成品。无论是数字制造还是传统手工作业,在向智能制造升级的过程中,对原有生产工艺的吸收、借鉴以及改进,是基础实施过程中关键的一环。因此,根据作业工艺、作业人员所处的环境以及与作业对象之间的接触关系,将工业现场常见的作业类型划分为非接触式作业(如喷涂、焊接等)、接触式作业(如打磨、抛 光、装配等),二者的区别在于作业人员与作业对象之间是否产生直接的相互作用力。在改造升级的过程中,以工业机器人替代人工作为执行装备,与配套的智能传感器、自动化装备共同组成机器人智能化应用系统[10]。


非接触式和接触式作业主要描述的是工业机器人与作业对象之间的力接触关系。单个制造工序经过智能化升级后,可以与其他已升级工序组成标准化生产线,其特点是生产效率高。由于设备是固定不变的,不需要经常换产,相应地提高了设备利用率,降低了生产成本。随着定制化产品需求的不断提升,相应的产品种类随之增多,而同一种类的产品数量需求则以小批量为主[11],导致生产设备需要根据产品类型快速地切换生产工艺,而传统的标准化、大批量生产模式无法满足定制化作业对生产线频繁换产的要求。


作为定制化作业的解决方案,人机协作系统能够满足多样化、小规模、周期可控等特点,是未来制造业的趋势。人机协作系统的核心是人与机器人,人天然具备智能性,可以根据外部环境变化做出相应的反馈,而机器人需要借助智能传感器为其赋予智能属性,感知非结构化场景的变化,结合运动规划算法,配合人类完成作业任务。

图 2 工业机器人智能化应用的典型技术路线


因此,基于硬件智能化和软件智能化升级改造的思路,工业机器人在不同制造业场景的智能化应用可以归纳为图 2 所示的技术路线。首先,根据现有手工或专机作业流程,对原有的生产工艺进行数字化转化;其次,基于工业机器人和智能传感器的功能特点,研究环境建模、位姿估计、力/位混合控制等智能化技术,对数字化工艺进行适配和改造,在保证产品质量的前提下提升生产效率。


2 工业机器人智能化应用的关键技术


2.1 面向工业机器人智能化应用的智能感知系统


与人类相比,传统工业机器人的应用范围局限于简单、重复的一致性、标准化作业,而人类可以基于眼睛感知视觉信息、皮肤感知力觉信息,从而利用大脑融合并处理视觉和力觉信息以引导手臂完成工艺复杂的高难度任务。因此,工业机器人向智能化发展的重要硬件基础是智能传感器。智能传感器的感知属性为工业机器人赋予了与外部真实世界进行交互的能力[12],一方面,为工业机器人提供了丰富的工艺数据,引导其执行自主作业;另一方面,工业机器人以感知数据作为反馈信息,在作业过程中实现全局闭环控制,提升作业质量。


视觉感知系统是机器人集成应用系统的重要组成部分,以非接触的方式为机器人提供丰富的二维和三维信息。在复杂的三维工业场景中,引入二维和三维视觉系统,基于视觉重建和理解技术[13],完成机器人智能化应用环节中的环境建模、位姿估计等任务。


相较于视觉系统的非接触属性,力传感器则应用于打磨、抛光、装配及人机协作等接触式作业场景。在机器人系统中部署力传感器,用于感知受力情况,形成力/位置闭环系统,保护机器人和作业对象免受机械损伤的同时,提高产品质量。同时,在面向多品种、小批量需求的人机协作场景,安全性是第一位的,基于力传感器的精确力感知技术是柔顺控制与人机安全保障的基础。


2.2 基于视觉感知系统的三维环境重建技术


三维环境重建技术是以数学的方式描述真实的三维作业空间内机器人、工件及障碍物的立体信息,是后续位姿估计、运动规划的数据基础。在工业场景中,根据建模对象不同,三维重建主要分为两类: ①面向目标工件的局部高精度三维重建技术;②面向全局空间的实时三维重建技术。


为了提升产品质量,获取高精度的工件模型是前提条件。工业现场工件的成像质量受光照影响较大,可以利用偏振视觉系统采集工件表面反射光强度 信 息 ,进 行 三 维 重 建 ,以 减 小 不 稳 定 光 源 的 影响[14]。针对偏振光三维重建方法无法确定模型相对于传感器的绝对坐标信息的问题,通过融合偏振视觉与立体视觉,以坐标变换的方式求解重建模型的坐标信息,实现对无纹理高反光工件的高精度三维重建[15]。


从工业机器人三维作业空间的全局角度分析,需要对非结构化的全局环境进行建模,以确定机器人与障碍物的相对位置关系。相较于局部的高精度建模 ,全局建模更注重实时性。随着 Kinect,IntelRealSense 等消费级设备的出现,实质性地推动了实时三维重建的研究[16],三维重建的模型通常是以点云的形式进行描述和存储,研究者通常将基于点云数据的建模方法与三维栅格[17]结合,离散化的栅格可以加快密集点云数据的处理[18]。


2.3 基于视觉感知系统的位姿估计技术


位姿估计是对局部高精度三维重建模型的进一步处理,目的是获取目标工件相对于工业机器人基坐标系的立体位姿信息。现阶段,在工业领域应用的位姿估计算法,根据技术原理不同,主要分为基于点特征类算法、基于模板匹配类算法及基于深度学习类算法。基于点特征的物体位姿估计算法包含诸多经过实验验证的算法[19],其算法流程通常是先根据待识别的物体外形提取显著特征点,并构建基于点云的特征描述子,然后基于特征描述子在物体原始点云模型中搜索与其特征匹配的点位,利用点云配准算法(iterative closest point,简称 ICP[20])求解二者相对空间变换矩阵[21⁃22]。


基于模板匹配的物体位姿估计算法以离线与在线融合的方式从全局匹配最优解,有效地解决了少纹理或无纹理物体的位姿估计问题。基于模板匹配的物体位姿估计算法借鉴图像识别领域的思想,在离线阶段,建立待识别物体在不同位姿状态下的模板库,在线阶段将视觉传感器获取的数据与模板库中的模板快速匹配,获得相似度最高的模板[23],从而确定待识别物体的最终位姿[24]。


基于深度学习的位姿估计算法包括:①利用端到端的深度学习方式对视觉采集的数据进行训练,输出工件的位姿[25];②根据 RGB⁃D 数据的特点,利用基于卷积神经网络的实例分割算法提取目标物体的轮廓及像素占据信息,获得目标物体的点云,再基于点云配准算法求解目标物体的位姿[26]。


2.4 基于力感知系统的柔顺控制技术


机器人的柔顺控制主要有被动柔顺控制方法和主动柔顺控制算法,其中主动控制主要是通过安装在机器人上的力传感器或者检测的关节电机输出的力矩,对机器人与目标工件之间的接触力进行实时的监测,并通过理想接触力与实际接触力之间的误差 修 正 工 业 机 器 人 末 端 运 动 轨 迹 的 方 式 进 行 调节[27]。被动柔顺控制方法主要是在末端执行结构中加入具有柔性的机构,比如弹簧或者柔性法兰,相比主动柔顺控制,其具有更直接的储能效果,降低了力响应的带宽与位置的精准度。但被动柔顺具有局限性,受到安装环境的限制,柔性机构的反馈速度较慢。


2.5 面向小样本目标的迁移学习技术


迁移学习技术是一种深度学习模型训练方法,采用已训练的知识模型对不同但相关领域问题的期望值进行预测,可以提高深度学习模型的泛化性能[28]。当在工业现场中部署深度学习模型时,构建大规模的、完善的、标注良好的数据集非常困难,而且如果对每一种工件从原材料至成品的各个阶段进行数据采集和标注,需要投入大量的时间成本,所以构建大规模数据集不符合工业生产对快速部署、高效换产的要求。迁移学习技术不要求当前任务的训练数据必须与测试数据独立且同分布,通过利用迁移学习技术,可以解决工业现场中普遍存在的训练数据不足的问题。因此,迁移学习技术积极推动了深度学习算法在工业现场的应用进程和范围,在机器人智能化应用中发挥着越来越大的作用。


2.6 面向非结构化环境的运动规划技术


在建立完成的环境模型中,基于约束条件在机器人的自由构型或工作空间中搜索出一系列中间位姿,使机器人从初始位姿安全地运动到目标位姿,这个过程即是机器人运动规划,是机器人技术中的基本问题之一。


目前,面向静态非结构化环境,应用于工业机器人运动规划领域的算法主要有随机采样算法和基于深度学习的运动规划算法等。基于随机采样的运动规划算法[29]可以分为多次查询算法和单次查询算法。随机路图法(probabilistic roadmaps,简称 PRM)是典型的多次查询算法[30],在工作环境不变的情况下,在预处理阶段构建高维空间的路图,在查询阶段利用图搜索算法确定最优路径。与 PRM 算法不同,快速扩展随机树(rapidly ⁃exploring random trees,简 称 RRT)是一种单次查询算法,具有更高的规划效率,因此在高维空间的运动规划中应用的更加广泛[31]。基于深度强化学习的运动规划算法是将深度学习与自监督学习的强化学习相结合,通过机器人自主地与场景互动,观测并记录场景反馈,并以行动试错和奖励的方式进行训练,根据结果优化行动策略,获得贴近人类决策方式的结果[32]。


在动态非结构化环境中,尤其是在人机交互的环境中,预先规划的路径可能会被障碍物阻挡,如果机器人不能及时在线生成新的运动路径,则会与障碍物发生碰撞,导致机器人与障碍物损坏。针对非结构化环境中的机器人在线运动规划问题,通常有两类方法:反应式控制和全局运动规划。反应式控制通常基于人工势场法(artificial potential field,简 称 APF)构建控制策略[33],属于被动式的避障方法,用于局部动态避障[34],许多学者对其进行了研究及应用[35⁃36]。全局动态运动规划方法则是在整个机器人构型空间内搜索可行的路径,典型的算法是一种基于 PRM 的动态路图法[37],该方法将大量路图计算在预处理阶段完成,以缩减在线阶段的动态规划时间,达到实时性要求[38⁃39]。


3 工业机器人智能化应用典型案例


基于智能化、数字化、网络化等思想,采用以深度学习为代表的人工智能技术,融合工艺数字化模型,构建多种行业解决方案,对现有的工业机器人作业系统进行升级改造,图 3 所示为总体技术框架。工业机器人智能化应用为减少工人在现场的高污染、高劳动强度提供了保障,同时提高了生产效率,改变了行业生产模式,为制造业转型升级提供坚实的技术支撑。

图 3 典型应用案例技术架构


3.1 基于智能交互与深度学习的喷涂建模技术与系统应用


陶瓷卫浴的生产从粉料混合开始,经过成型、打 磨、喷涂、烧成、分拣及包装入库等 60 余道工序,在智能化升级的过程中,主要面临如下问题:①产品型号多,且不同产品混合生产;②多台工业机器人程序复用的效率问题;③喷釉等工匠型工人的技术经验难以传承。针对上述问题,通过分析工业机器人作业工艺存在的不足,利用深度学习等人工智能技术对工业机器人进行升级,改善了工艺流程。在解决以上问题的过程中,主要采用如下智能化技术。

图 4 无动力示教臂工作原理

1)针对喷涂过程中涂层厚度分布不规律的问题,基于自平衡无动力关节臂快速示教技术,提出了融合喷涂工艺参数进行自主学习优化并快速自动生成机器人程序的方法,如图 4 所示。通过对喷涂现场的调研完成喷涂工艺分析,基于人工智能的大数据分析技术,建立涂料沉积速率模型,选取期望涂层厚度和最大允许涂层厚度偏差为约束条件、涂层分布均匀性作为优化目标,对喷涂参数进行优化,优化求解得到的结果将会以喷涂工艺的形式融合在喷涂路径规划的算法中。


2)针对卫浴陶瓷产品喷涂工艺标准不统一以及快速换产的问题,基于自学习机器人喷涂工艺及多机器人快速示教技术,构建了工匠技术数字化平台。基于机械式标定装置及机器人标定技术,实现了喷涂技术的数字化以及群机器人系统快速示教和程序复用,降低对群机器人系统的设备制造和安装要求,提高系统部署柔性,实现群机器人高效喷涂和大规模快速换产。


3)针对卫浴陶瓷行业劳动强度大、生产环境恶劣、效率低、工序多而复杂、能耗大及管理困难等问题,基于机器人智能生产线集成及智能管控技术,将机器人喷涂、在线检测、分级分拣及储坯输送等系统有机集成。通过多机器人、多工艺融合智能生产线的混线生产和集成技术,开发具有设备动态监控、智能管控及故障诊断等功能的制造执行系统(manufacturing execution system,简称 MES)系统,使得生产线总体生产效率比传统人工线提高 50% 以上,相同产量可以减少一半人员,同时产品优等率提高至98.5%。


3.2 基于去材料模型优化的机器人打磨自编程技术应用


基于 3D 点云的机器人自编程是机器人智能化应用的关键技术,尤其在机器人表面修整工艺中应用居多。该技术的应用大幅提升了工业机器人在工业现场的柔性和智能化水平,如基于 3D 点云的陶瓷卫浴修坯、金属铸件的打磨、抛光等,如图 5 所示。针对金属打磨作业领域的工业机器人应用,主要采用如下智能化技术。

图5 机器人三维感知曲面并柔性打磨过程

1)基于高精度 3D 视觉系统,开发了面向工件表面的三维点云数据采集系统,提出基于数据高速采集系统、三维模型重建与局部特征识别、模型工艺分解的在线打磨轨迹生成技术。针对不同批次工件不一致及修整过程磨料磨损的问题,采用主动恒力装置的力反馈技术实时对打磨轨迹进行全局修整,降低对现场工人的机器人示教及离线编程等的技术要求,并基于结构光高速扫描技术与精确配准算法,重建工件三维模型,融合在线三维局部特征目标识别技术,实现局部轨迹修整要求。


2)针对复杂曲面自动路径规划困难的问题,提出了基于曲面分片算法和点云切片技术进行智能路径规划的方法。对于简单曲面融合相关的打磨工艺要求直接采用点云切片技术进行打磨路径规划,如果曲面比较复杂,则采用曲面分片算法得到一系列分片,然后在每个分片上使用点云切片算法完成打磨路径规划。


3)针对金属铸件打磨的工艺问题,选取材料去除量作为衡量打磨质量的关键指标,基于 Preston 方程和赫兹接触理论对材料去除量进行建模和仿真,基于人工智能技术统计分析打磨工艺参数对材料去除量的影响,选取期望打磨深度和材料去除的均匀性作为约束条件,求取打磨过程中最优参数。通过三维点云数据与点云模型进行比对处理,建立物理模型与虚拟模型的差异化模型,构建工具、工艺、材料及 3D 差异模型之间的映射关系,实现打磨工艺数字化,从而为机器人轨迹自动生成提供工艺依据,结合机器人动力学模型,实现机器人自动表面修整。


3.3 基于力位混合控制的智能装配技术应用


针对精密装配中感知信息不全及机器人力控柔性的问题,提升工业机器人智能化水平,提出基于视触觉融合感知机理及机器人变刚度控制的精密装配理论及方法。该研究针对视触觉融合感知、机器人变刚度控制及智能操作环境构建等 3 个核心问题的研究,提升了机器人感知智能、控制智能及应用智能等 3 个方面的智能化水平,对提升工业机器人在相关领域的应用提供理论依据和方法支撑,对促进我国工业机器人智能化水平具有重要作用。智能化升级改造过程中,主要采用如下智能化技术。


1)基于主/被动柔顺结合的设计思想,设计了一种具有被动柔顺性且可以结合工业机器人实现主动柔顺控制功能的轴孔柔顺装配装置。首先,结合自研的柔顺装置,提出一种基于融合目标多模态特征的视触觉融合感知方法,解决视触觉融合中的模态信息弱配对问题;其次,搭建一种融合感知与控制的智能装配操作环境,从而实现机器人装配任务的智能操作。

图 6 轴孔柔顺装配的算法流程图

2)通过对轴孔装配过程的分析,提出了一种基于可变柔顺中心的轴孔装配策略。该策略基于力/ 位/视觉混合控制算法,规划工业机器人的装配流程,机器人仅根据反馈信号进行主动位置控制,即可在一个轴径的偏差内完成装配任务。同时,基于该策略开发了一个柔顺装配控制系统,该系统具有控制简单、响应速度快的特点。如图 6 和图 7 所示,通过在工业机器人智能装配平台和工业现场的测试,验证了所设计的柔顺装置和装配策略的有效性。

图 7 轴孔装配作业流程

3.4 基于多模态信息的机器人复杂操作技能学习技术应用


传统的示教编程、离线编程、遥操作等使得机器人具备一定的作业操作技能,能够满足结构化场景,实现位置和力控制任务。而面向非结构化工作环境或频繁换产场合,甚至复杂任务的批量化复现,机器人操作技能开发周期较长、效率低、工作量大且不能满足需求的多样化。该研究针对上述问题,搭建具有技能在线感知与标注的技能学习平台,将多模态数据作为自注意模型输入,构建多模态信息融合与跨模态关系建模,实现复杂技能分割与学习,基于迁移学习技术,开展了跨领域的应用研究,验证了操作技能学习方法的鲁棒性和泛化性。在机器人实现对复杂操作技能学习的过程中,主要采用如下智能化技术。


1)基于七轴机器人、双臂机器人、六轴协作机器人、仿生手爪以及时空连续动作捕捉系统、立体视觉和触觉传感器,搭建技能在线采集及标注平台。通过层次化任务分解,将复杂任务分解为元任务,再基于构建技能的过程自回归隐马尔可夫模型,将感知的环境信息、机器人轨迹、力感知、触觉感知以及接近觉感知等多类型数据作为自注意模型的输入,联合多模态数据特征更新交互层数据,最终形成具有标注的技能数据,并对技能数据实现在连续、高维空间的自动、鲁棒分割及知识化表达。


2)基于技能层次化分割和基元技能知识化表达方法,研究机器人智能感知系统获取的不同模态信息之间的关联,建立跨模态关系模型以融合多模态信息。图 8 所示为基于视触觉融合的抓取作业流程,面向由视觉感知、触觉感知和机器人等关键部件组成的作业系统,首先,根据技能采集和标注的结果得到成功抓取所需的抓取姿态以及抓取力;其次,搭建抓取点检测神经网络,将视觉图像输入训练后的神经网络,输出抓取点信息以及物体所有可能的类别,并根据触觉标签获得预抓取力。

图 8 基于视触觉融合的抓取作业流程

3)针对机器人作业类型的多样化挑战,基于迁移学习技术,将已训练的机器人操作技能应用到新的不同机器人平台、不同任务以及不同环境中。技能学习领域的迁移学习技术,目的是在寻找不同平台、不同任务以及不同环境之间的映射关系。图 9所示为机器人技能迁移流程和新目标物体的抓取验证,首先,根据任务目标选择合适的共享源技能,建立目标环境与源技能所在环境之间的物体映射关系;其次,使用该映射机制实现从源技能到任务目标的适应和改变,成功执行改编之后的技能序列,实现了机器人高效、自主、鲁棒的技能迁移,提高了机器人智能化水平。

图 9 机器人技能迁移流程及验证


4 结束语


工业机器人因其具备的兼容性、适应性、可扩展性等特点,成为智能制造的核心设备,通过与智能技术、工艺数字化技术等先进技术融合,实现了面向不同作业场景、作业任务、作业工艺的智能化应用,加快了制造业的转型升级进程。


经过分析,制造业升级改造的流程通常是自下向上、由点及面的逐步推进,在单个工作站的生产工艺和作业方式实现数字化的基础上,通过引入工业机器人、智能传感器和智能化技术,实现单个工作站的智能化改造,逐步实现整个流水线或系统的智能化升级,带动相关制造行业的智能化改造。


因此,笔者在对相关智能技术的研究现状进行综述分析之后,重点介绍机器人技术和智能技术在喷涂、打磨、装配等典型领域的应用情况,对相关行业有重要的示范意义。通过推进机器人智能化应用系统,可以解决普通工人无法操作复杂工业机器人的难题,达到快速推广机器人系统的目的,大大提高我国传统产业的机器人应用数量,提升行业的自动化水平。随着应用系统的推广规模增加,必将吸引其他减速器、控制器、电机及机械加工等配套企业发展,进而提高我国相关科技的综合竞争力。


本文刊发于《振动、测试与诊断》2021年4月 原标题为:工业机器人智能化应用关键共性技术综述 作者:孙立宁, 许辉, 王振华, 陈国栋

本文来源于网络,本着学习交流的目的进行转载,已标注原始作者和出处,如存在异议,请联系editor@xingongye.cn。如您对内容有疑问,请告之,以便我们及时处理。

暂无评论,等你抢沙发

  • 短信登录
  • 密码登录
还没有账号,
登录即代表您同意本网站的 《用户注册协议》
还没有账号,
登录即代表您同意本网站的 《用户注册协议》
注册
已有账号, 立即登录
登录即代表您同意本网站的 《用户注册协议》
找回密码