【编者按】由浙江省发明协会主办的第二届浙江省优秀发明评选展示活动，已经收到多家企事业单位和发明人的申报材料。小编精选了一批申报材料，将陆续在浙江发明公众号上刊发，欢迎查看。
如果您对申报材料的真实性有异议，可向主办单位反映，投诉邮箱：47986327@qq.com，谢谢各位支持！
申报单位：杭州汇萃智能科技有限公司
申报类别：优秀转化项目
评选对象：工业级热成像检测系统及产业化
本项目隶属自动化行业，涉及热成像探测、计算机视觉、计算机工程、通信技术等科技领域。
目前机器视觉检测均集中在可见光光谱范围，工业生产过程中常有温度分布及热力图检测需求，欧美国家对工业级在线热成像探测及自动化检查技术实行严苛禁运。由于我国市场需求、国外禁运、缺乏软件、行业应用经验等多重因素驱动，需要通过自主研发、创新，突破关键技术，并掌握完全自主知识产权。在多个重点项目支撑下，经产学研联合攻关，成功研发国内首套具有完全自主知识产权的工业级热成像检测系统，统并成功实现产业化及大规模推广。为我过工业自动化、智能化发展提供了重要的理论、技术和项目支撑。核心技术如下：
1.研发符合工业级标准的红外热成像相机，实现目标物搜索速度、测温精度、传输稳定性同时达到工业标准的难题。(1)国内独创数据链表比较模型修正方法，将测温精度提高至±2%，远超国外对标产品±5%的探测精度；(2)提出了区域分割提取方法，将目标搜索速度提高300%；(3)自主研发GigE Vision Core通信模块，实现热图传输丢帧率小于0.0001%工业级标准。
2.多光谱成像融合技术，攻克多相机、多光谱成像时同步、快速、精准的协同工作难题。(1)提出连通域分析及色彩空间融合方法，实现多光谱、多相机位置标定精度由2mm至0.5mm的突破；(2)发明基于梯度矢量目标物定位方法，实现多个坐标系下标定速度70%的提升，解决了高速产线实时检测需求。
3、智能复合标准化机器视觉系统平台，攻克距焦模糊问题，实现检测项、被测物快速切换。(1)提出自适应阈值分割、高速鲁棒分析、径向环形直方图匹配方法，解决由于传送带抖动带来的距焦模糊问题；(2)研发支持热成像及可见光相机的全功能机器视觉系统平台，包含1000余个高性能底层算法、6大视觉功能模块及84种视觉检测工具，满足工业全流程检测需求。(3)构建了全模块化图形操作界面，攻克了多品种、小批量复杂工艺生产流时所需的高质高效检测难题。
4.5G+MEC全功能云化机器视觉及标准化管理系统，攻克大数据学习及多产线检测物联集成应用难题。(1)研制5G+MEC云化机器视觉系统，实现图像处理及管控的集成化，解决单设备数据孤岛问题，实现大数据自学习；(2)自主研发了生产管理全流程智能管控系统，集成MES、ERP、图像自学习系统为一体，实现了全工厂、多产线的智能管控。根据顶级公司应用报告、权威媒体报道检测效率提升50%以上，缺陷检出率高达99.5%，产品质量大幅提升。
项目成果突破了国外在工业级热成像自动化检测方面设置的技术壁垒，实现产品全国产化、全自有知识产权。授权国家发明专利8项，实用新型专利13项、软件著作权 38 项；发表 SCI 论文 4 篇（包括Nature子刊一篇）。主要成果经过权威机构客观评价，该技术在国内尚属首创，技术指标达到国际先进水平。成果得到李克强、汪洋等国家领导人关注，人民日报、焦点访谈、新闻联播等权威媒体连续报道，成为英特尔、华为、中移动、海尔等顶级企业官方案例，李培根院士发文点评。产品近三年新增产值约7亿元人民币，年销售增长率超过100%，新增利润约 1 亿元人民币，意向订单超过10亿元。目前该产品在国内热成像自动化在线检测领域处于市场垄断地位。
项目科技创新
1、项目立项背景：
红外热成像技术是一种全被动、高灵敏的探测技术，具有作用距离远、抗干扰性好、穿透烟雾能力强、可全天候、全天时工作等优点。美国 FLIR 公司曾独家推出基于红外热成像机器视觉检测系统，但其高昂的售价（单个检测工位落地价格超过100万）和机器视觉软件的不通用性（需要根据项目进行单独定制），长期以来未被市场广泛接受。更进一步，由于红外热成像探测技术具有高度的军事敏感性，欧美国家对我国实行严苛的技术封锁和产品禁运，我国无法进口 FLIR 公司的红外热成像机器视觉检测系统。因此，国内急需通过自主创新实现基于红外热成像硬件及配套系统软件的研发，打破国外垄断，实现进口替代。
在自动化生产领域，热成像在线检测拥有巨大市场，诸如在包装行业，热熔胶粘贴纸箱盖生产过程中,会出现断胶、漏胶、少胶的情况,这样的不良品无法通过人眼和可见光相机检测出来，包装粘合的质量好坏一般只能根据操作人员经验处理。红外热成像在线检测系统，可监测每个包装热熔胶喷涂位置和胶量，支持对异常包装进行剔除，提高产品质量。在 3C 电子行业，正常情况下 IC 元器件发散一定范围的热量，存在某些亚稳态情形，功能正常，但功耗增加，长期运行可能会出现大面积损坏。红外热成像在线检测系统可通过长波红外检测各器件状态并迅速处理，减少故障发生。同时针对 PCB板虚焊、短路等问题，进行精确探测。
热成像行业具有准入门槛高、研发难度大等特点，国内自主掌握该技术的公司屈指可数，但仅限于监控级热成像相机，工业级热成像相机尚未涉及。在系统软件层面，目前机器视觉公司均聚焦于可见光图像处理，红外热成像工业自动化检测软件系统尚无公司推出相关产品。这也让国家红外热成像行业被纳入到重大专项核高基。
2、具有创新性关键技术内容：
目前机器视觉检测均集中在可见光光谱范围，在工业生产过程中常有温度分布及热力图检测需求，欧美国家对工业级在线热成像探测及自动化检查技术实行严苛禁运。由于我国市场需求、国外禁运、缺乏软件、行业应用经验等多重因素驱动，需要通过自主研发、创新，突破关键技术，并掌握完全自主知识产权。在多个重点项目支撑下，经产学研联合攻关，成功研发国内首套具有完全自主知识产权的工业级热成像检测系统，统并成功实现产业化及大规模推广。自2012年开始，在国家、省、市科技攻关项目支持下，联合国内外相关行业龙头企业、高等院校，针对纸板覆盖下的胶体成像及自动识别、传送带高速运动下热像质量、多产品检测兼容性、大数据学习、数据管理等问题及需求开展了系统研究工作。
项目主要研究内容及技术路线
创新点1. 攻克了动态热像采集及传输技术，成功研发工业级红外热成像相机，实现了热熔胶喷涂形状精准采集。
针对工业级热成像相机需同时满足高速、高精、强稳定性等苛刻需求，攻克了温度修正、快速目标搜索、低丢帧协议技术等瓶颈，揭示了在高速运动、抖动状态下热感应稳定成像原理，开发了满足工业级应用标准的红外热成像相机，解决了热像采集及传输问题，实现了纸箱包装过程中纸板覆盖下的热熔胶形状精准采集。
（1）数据链表修正，大幅提升热感精度
传统热成像多采用手动设置参数来实现温度补偿，无法满足工业生产需求。本项目基于各个厂房、产线中不同规格、不同环境下的环境，采用样本温差数据链表比较模型进行温度自动修正的方法，实现了无人为干预下相机对不同环境的适用性。该方法的关键是设置参数样本个数以及以及环境温度段温度范围，当系统开启或者设定时间段内温度变化超出环境温度段温度范围，选择其中最新的温差存入数据链表并计算均值，用均值参数进行自适应调整。项目开发的温度修正方法，将动态环境下无人为干预情况下测温精度达到±2%，远超国外对标产品±5%的探测精度。
（2）热像区域分割提取，实现目标实时搜索
传统热像搜索采用全图滑窗方法，存在效率低下，无法满足工业实时检测需求，采用区域分割提方法，实现了目标实时搜索。该方法的关键技术是采用对分割结果进行水平投影积分和垂直投影积分分析，滤除面积较小的热点干扰，减小滑窗搜索区域及索窗口数进行效率提升。本项目研发的区域分割提取方法，将目标检测的时间性能提升300%以上。
（3）专有传输协议，实现苛刻工业通信标准
传统监控级热成像相机在工作过程中需进行快门闭实现温度补偿，所采用的模拟或以太传输协无法达到工业级丢帧率要求。本项目通过FPGA实现AIA发布的通用机器视觉标准，研发具有完全自主知识产权的GigE Vision Core通信模块；并成功将热像温度补偿、热像区域分割、通信协议等多个模块集成在单一可编程逻辑电路中，实现硬件高度集成。本项目研发的通信模块，实现热图传输丢帧率小于0.0001%工业级苛刻标准。
汇萃IR-CAM100热成像工业相机原理图
创新点2. 攻克红外热像与可见光成像融合技术，成功研发连通域分析及色彩空间融合算法，实现多光谱标定精度从2mm到0.5mm的突破。
针对不同维度下成像融合问题，攻克热力学分布与可见光分布映射难题，开发了连通域分析及色彩空间融合算法，实现标定精度从2mm到0.5mm的突破，满足了多光谱高精度检测需求。解决实际应用中热成像相机与可见光相机协同工作问题。
（1）开发联通域分析、色彩空间映射方法，实现多光谱成像高精度融合
热像和可见光是对不同维度信息进行成像，传统监控系统中采用结构件固定方式进行位置映射，无法达到工业使用的精度要求。本项目基于联通域分析原理，采用色彩空间谱融合方法，通过采用椭圆拟合粗步估算出相机间的映射矩阵，并进一步采用迭代矩阵进行精度提升，实现热成像和可见光成像的精确标定融合。达到映射精度由监控级别2mm至工业级别0.5mm的突破；
（2）梯度矢量目标物定位，满足高精度映射的实时性
基于多光谱融合中矩阵换算耗时长、计算量大，无法满足高速产线检测要求。本项目发明基于梯度矢量目标物定位方法。采用边缘点来计算目标物的位置，通过计算投票缩放值和梯度矢量的夹角查询边缘参考数据表，在提升计算速度同时确保计算过程的缩放不变性和旋转不变性。相比于直接进行矩阵迭代映射，该项目研发的方法将多个坐标系下映射计算速度提升70%。
热成像相机与可见光相机多维信息采图融合
创新点3.攻克离焦模糊成像下精准匹配技术瓶颈，成功研发标准化高抗扰智能复合机器视觉系统平台，实现了应用开发模块化、图形化、标准化。
针对包装物高速运动时相机采集到的图像模糊问题，攻克离焦模糊成像下精准匹配技术瓶颈，实现分析检测的高准确率；开发了1000余个底层算法库及84个检测工具，实现系统模块化、图形化、标准化，满足现代智能制造多品种、小批量生产对产品快速切换的需求。
（1）降噪自抗扰算法组合，解决图像离焦模糊下精准分析问题
针对在高速传送带上运动且尺寸不同的被测物，相机采集图像存在离焦模糊问题，造成分析困难。本项目采用自适应阈值分割方法，使图像具有稳健的抗噪能力；提出高速鲁棒的图像匹配方法，解决目标物体在二维图像平面中的位置、旋转角度、缩放尺度等参数计算问题；采用基于自适应径向环形直方图的图像匹配方法（ARRCH），解决了大尺度缩放、大角度旋转的模糊图像定位难题。实现多目标干扰、遮挡、噪声、非线性成像等恶劣工况下90fps（10ms）图像匹配。项目研发成果包括在Nature子刊等顶级期刊上发表。
（2）模块化、图形化、标准化智能复合机器视觉系统平台
针对现代智能制造时多种类、小批量生产过程中对产品快速切换的需求，采用1000余个自主研发的底层图像处理算法，开发6大功能模块、84个检测工具。实现检测模块化、图形化开发。率先研发国内首款同时兼容热成像可见光分析、具有完全自主知识产权的通用机器视觉系统平台，满足用户30分钟内进行调试、产品切换需求。
汇萃标准化机器视觉品台软件系统界面
汇萃热熔胶封箱智能复合视觉在线检测系统架构
创新点4.攻克视觉系统云化技术，成功研发云管端系统架构，实现了数据集成管控、ERP及MES无缝对接。
针对机器视觉检测系统采用单机版模式，存在高安装成本、管控困难及数据孤岛问题，攻克了5G+MEC、机器自学习、ERP及MES系统无缝对接等技术，开发了云管端系统架构，解决了投入成本高、效率上限和质量不稳定等问题，实现了系统投入低、具备大数据学习能力、无缝对接生产管理等功能。
传统机器视觉检测系统采用单机版模式，存在高安装成本、困难管控及数据孤岛问题。本项目采用5G+MEC（边缘计算）架构，实现云管端方案，将5G技术赋能于智能制造，实现视觉算法及管控平台上云。该方法满足系统控制及企业数据不出园区的安全性保障，并突破传统机器视觉的成本高、效率上限和质量检测存在不稳定等瓶颈，大数据处理与深度学习技术协同采用使质检准确率大幅提升。5G+MEC架构的采用，使系统维护成本降低65%，检测误判率10%，投资成本降低50%，实现ERP、MES系统无缝对接，为生产管控提供精准信息。
汇萃5G+MEC机器视觉检测系统整体方案构架
3、主要应用范围：
本产品目标客户包括包装行业、食品饮料、3C 行业、冲压行业、汽车行业等等。目前在国内尚无成熟的热成像自动化在线检测系统，因此本项目产品处于垄断地位，具有定价权。
目前本研发成果实际落地项目包括：1）百威啤酒漳州、莆田、佛山、武汉、温州、宿迁工厂；2）海尔集团新能源电器工厂、特冰工厂；3）双鹤药业；4）李子园；5）蒙牛；6）伊利；7）农夫山泉等等国内外著名企业（参见应用证明）。成功实现创新实现热成像在线检测系统大范围落地，打破国外垄断，实现进口替代，并得到一致好评。
4、技术水平：
本项目自研热成像工业相机IR-CAM100与美国FLIR公司同类产品（A35）主要参数对比如下：
主要参数对比
IR-CAM100本产品
A35(FLIR)
探测器间距
17μm
25μm
NETD
<50mk @f1.0 @25℃
<0.05℃/50mk@30℃
分辨率
384*288
320*256
精度
±2℃或者±2%
±5℃或者±5%
测温范围
-40℃~150℃或者-40℃~550℃
-25℃~135℃或者-40℃~550℃
尺寸
60*45*45mm
100*40*43mm
图像帧率
50
60
调焦
固定
固定
传图
GigE Vision,GenICam
GigE Vision，GenICam
GPIO
GPI,GPO
GPI
本项目自研机器视觉平台软件与德国MVtech及Cognex同类产品主要参数对比如下：
汇萃智能HC-VisionLib
Halcon（MVtech）
Cognex
匹配定位
多目标匹配速度为15ms，单目标匹配速度为10ms以内，精度达到0.05像素，匹配率97.1%，准确度高于halcon，稳定性最优
匹配速度为10ms,精度达到0.05的像素，匹配率88.3%，速度最优
匹配速度30ms左右，精度0.025像素，匹配率94.1%，精度最优
标定
多种标定算法，可应对多种标定板，标定精度可达到0.02像素
采用特定标定板，标定精度0.2~0.05个像素
支持两种标定，精度为0.02像素
识别
可从复杂背景中自动分割识别出一维码（倾斜、扭曲），识别位姿变换后的二维码，识别速度30ms左右
一维码、二维码识别，识别速度20ms左右
识别常见的一维码、二维码，识别速度为22ms左右
对图像倾斜、粘连、断裂图像可自动进行字符识别，识别率达到98.5%以上，识别时间单个字符4ms（包括前处理）,支持学习识别
字符识别识别率为97.2%左右，识别时间单个字符2.1ms
抗强干扰的字符识别，识别时间单字符8ms左右
检测
可同时检测多种缺陷（线、点、mura缺陷），并进行硬件加速，有速度优势
表面缺陷检测功能单一
具有纹理、表面检测功能
测量
丰富测量功能，采用亚像素边缘提取，可测量和拟合多种图形
一维、二维测量功能
常见的测量功能
图像预处理
均有
均有
均有
温度测量
单像素点测温精度可达±2%
无
无
热图分析
可对热图灰度值进行标定、测量、基础处理等分析
无
无
热图标定
可实现热成像相机、可见光相机精度小于0.5mm的位置标定
无
无
4、主要开发历程：
项目团队先后依托多项国家/省部级项目和数十项产学研合作创新项目，成功成功研发国内首套具有完全自主知识产权的工业级热成像检测系统，并成功实现产业化及大规模推广。为我国工业自动化、智能化发展提供了重要的理论、技术支撑。实现了热成像机器视觉检测技术软硬件的国产化落地。
（1）针对传统热成像多采用手动设置参数来实现温度补偿，无法满足工业生产需求。2012年6月开始，武汉高德智感公司开展基于不同环境下的环境，采用样本温差数据链表比较模型进行温度自动修正的研究，实现了无人为干预下相机对不同环境的适用性。在2014年6月实现温度修正方法，将动态环境下无人为干预情况下测温精度达到±2%，远超国外对标产品±5%的探测精度。针对传统监控级热成像相机在工作过程中需进行快门闭实现温度补偿，所采用的模拟或以太传输协无法达到工业级丢帧率要求。在2016年1月杭州汇萃智能科技有限公司及杭电电子科技大学根据FPGA实现AIA发布的通用机器视觉标准，开始研发具有完全自主知识产权的GigE Vision Core通信模块；在2016年12月功将热像温度补偿、热像区域分割、通信协议等多个模块集成在单一可编程逻辑电路中，实现硬件高度集成。2016年12月由武汉高德智感科技有限公司完成相机整体集成，并实现热图传输丢帧率小于0.0001%工业级苛刻标准。
（2）针对不同维度下成像融合问题，2016年1月开始，杭州汇萃智能科技有限公司联合杭州电子科技大学攻克热力学分布与可见光分布映射难题，2017年12月完成开发连通域分析及色彩空间融合算法，实现标定精度从2mm到0.5mm的突破，满足了多光谱高精度检测需求。针对多光谱融合中矩阵换算耗时长、计算量大，无法满足高速产线检测要求。杭州汇萃智能科技有限公司自2017年1月开始研发基于梯度矢量目标物定位方法，采用边缘点来计算目标物的位置，通过计算投票缩放值和梯度矢量的夹角查询边缘参考数据表，在提升计算速度同时确保计算过程的缩放不变性和旋转不变性。2017年12月完成研发，相比于直接进行矩阵迭代映射，将多个坐标系下映射计算速度提升70%。
（3）针对产品在产线高速运动时相机采集到的图像模糊问题，2012年开始杭州汇萃智能科技有限公司联合杭州电子科技大学进行离焦模糊成像下精准匹配技术的攻关，2014年6月实现分析检测的高准确率；2015年6月开发了1000余个底层算法库及84个检测工具，实现系统模块化、图形化、标准化，满足现代智能制造多品种、小批量生产对产品快速切换的需求。
（4）针对机器视觉检测系统采用单机版模式，存在高安装成本、管控困难及数据孤岛问题，2018年6月开始，杭州汇萃智能有限公司、青岛海尔工业智能研究院有限公司开始进行5G+MEC、机器自学习、ERP及MES系统无缝对接等技术攻关，2019年1月发布首套5G+机器视觉联合解决方案，开发完成云管端系统架构，解决了投入成本高、效率上限和质量不稳定等问题，实现了系统投入低、具备大数据学习能力、无缝对接生产管理等功能。
6、推广应用情况
该项目针对包装工业自动化过程中所采用的工业热成像、多光谱图像处理、系统管控、边缘计算等关键性能指标与国际水平存在较大差距，以及智能制造技术发展带来的未来巨大市场需求空间，在多个国家、省、市重点项目的支持下，通过产学研合作方式，对热成像、可见光成像技术进行研究，建立了热像目标物快速搜索模型、精准测温方法、离焦模糊检测、多光谱复合图像处理、5G+MEC架构体系，形成了热熔胶封箱智能复合视觉在线检测系统。项目成果的应用，直接打破国外在工业热成像自动化检测技术的垄断，降低了产品开发周期和成本，提高了产品质量和产量，经济和社会效益显著。该项目主要成果在以下几个企业做了推广应用：
（1）杭州汇萃智能科技有限公司作为国内机器视觉领域领军企业，项目整体成果在该公司研发成功并应用，2017 年 1 月至 2019 年 12 月，热成像机器视觉检测系统销售额24567万元、新增利润 5563 万元，新增税收 1225万元，经济和社会效益显著。
（2）高德智感作为高德红外全资子公司，拥有的国内唯一一条自主可控且具备批产能力8英寸0.25um非制冷红外焦平面探测器生产线。该公司是国内热成像领域龙头企业，拥有享誉国内热成像行业的知名品牌。项目整体成果在该公司研发成功并应用，2017 年 1 月至 2019 年 12 月，热成像机器视觉检测系统销售额44692万元、新增利润 3268 万元，新增税收 587 万元，经济和社会效益显著。
（3）目前本研发成果实际落地项目包括：1）百威啤酒漳州、莆田、佛山、武汉、温州、宿迁工厂；2）海尔集团新能源电器工厂、特冰工厂；3）双鹤药业；4）李子园；5）蒙牛；6）伊利；7）农夫山泉等国内外著名企业，并得到一致好评。
相关链接：
评选展示│杭州绿城信息技术有限公司评选展示│基于园区大脑AI深度应用场景的智慧园区解决方案
▼
更多精彩推荐，请关注我们
▼
浙江发明
