机器视觉是人工智能正在快速发展的一个分支。简单说来,机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置,分CMOS和CCD两种)将被摄取目标转换成图像信号,传送给专用的图像处理系统,得到被摄目标的形态信息,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。
机器视觉是一项综合技术,包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、 I/O卡等)。一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。
机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉。同时,在大批量重复性工业生产过程中,用机器视觉检测方法可以大大提高生产的效率和自动化程度。
一个典型的工业机器视觉系统包括:光源、镜头(定焦镜头、变倍镜头、远心镜头、显微镜头)、 相机(包括CCD相机和COMS相机)、图像处理单元(或图像捕获卡)、图像处理软件、监视器、通讯 / 输入输出单元等。
四个常见应用领域:
机器视觉图像检测应用
检测是机器视觉工业领域最主要的应用之一, 光学筛选机,几乎所有产品都需要检测,而人工检测存在着较多的毛病,人工检测准确性低,长时间工作的话,准确性更是无法保证,并且检测速度慢,容易影响整个生产过程的效率。因此,机器视觉检测设备在图像检测的应用方面也非常的广泛,光学影像筛选机,例如:硬币边沿字符的检测。
2000年10月新发行的第五套人民币中,一元硬币的侧边增强了防伪功能,鉴于生产过程的严格控制要求,在造币的最后一道工序上安置了视觉检测系统,印刷过程中的套色定位以及较色检查、包装过程中的饮料瓶盖的印刷质量检查,产品包装上的条码和字符识别等,玻璃瓶的缺陷检测。机器视觉系统对玻璃瓶的缺陷检测,其主要检测包括尺寸检测、瓶身外观缺陷检测、瓶肩部缺陷检测、瓶口检测等。
机器视觉视觉定位应用
视觉定位要求机器视觉系统能够快速准确地找到被测零件并确认其位置。在半导体封装领域,设备需要按照机器视觉取得的芯片位置信息调整拾取头,准确拾取芯片并进行绑定,这就是视觉定位在机器视觉工业领域最基本的应用。
机器视觉物体测量应用
视觉定位要求机器视觉系统能够快速准确地找到被测零件并确认其位置。在半导体封装领域,设备需要按照机器视觉取得的芯片位置信息调整拾取头,准确拾取芯片并进行绑定,这就是视觉定位在机器视觉工业领域最基本的应用。
机器视觉物体分拣应用
实际上,物体分拣应用是建立在识别、检测之后一个环节,通过机器视觉系统将图像进行处理,实现分拣。在机器视觉工业应用中常用于食品分拣、零件外貌瑕疵自动分拣、棉花纤维分拣等。
机器视觉上游有光源、镜头、工业相机、图像采集卡、图像处理软件等软硬件提供商,中游有集成和整机设备提供商,行业下游应用较广,主要下游市场包括电子制造行业、汽车、印刷包装、烟草、农业、医药、纺织和交通等领域。
机器视觉全球市场主要分布在北美、欧洲、日本、中国等地区,根据统计数据,2014年,全球机器视觉系统及部件市场规模是 36.7 亿美元,2015年全球机器视觉系统及部件市场规模是42亿美元,2016年全球机器视觉系统及部件市场规模是62亿美元,2002-2016年市场年均复合增长率为12%左右。而机器视觉系统集成,根据北美市场数据估算,大约是视觉系统及部件市场的6倍。
机器视觉技术近年发展
中国机器视觉起步于80年代的技术引进,随着98年半导体工厂的整线引进,也带入机器视觉系统,06年以前国内机器视觉产品主要集中在外资制造企业,规模都较小,06年开始,工业机器视觉应用的客户群开始扩大到印刷、食品等检测领域,2011年市场开始高速增长,随着人工成本的增加和制造业的升级需求,加上计算机视觉技术的快速发展,越来越多机器视觉方案渗透到各领域,到2016年我国机器视觉市场规模已达近70亿元。
机器视觉中,缺陷检测功能,是机器视觉应用得最多的功能之一,主要检测产品表面的各种信息。在现代工业自动化生产中,连续大批量生产中每个制程都有一定的次品率,单独看虽然比率很小,但相乘后却成为企业难以提高良率的瓶颈,并且在经过完整制程后再剔除次品成本会高很多(例如,如果锡膏印刷工序存在定位偏差,且该问题直到芯片贴装后的在线测试才被发现,那么返修的成本将会是原成本的100倍以上),因此及时检测及次品剔除对质量控制和成本控制是非常重要的,也是制造业进一步升级的重要基石。
在检测行业,与人类视觉相比,机器视觉优势明显
1)精确度高:人类视觉是64灰度级,且对微小目标分辨力弱;机器视觉可显著提高灰度级,同时可观测微米级的目标;
2)速度快:人类是无法看清快速运动的目标的,机器快门时间则可达微秒级别;
3)稳定性高:机器视觉解决了人类一个非常严重的问题,不稳定,人工目检是劳动非常枯燥和辛苦的行业,无论你设计怎样的奖惩制度,都会发生比较高的漏检率。但是机器视觉检测设备则没有疲劳问题,没有情绪波动,只要是你在算法中写好的东西,每一次都会认真执行。在质控中大大提升效果可控性。
4)信息的集成与留存:机器视觉获得的信息量是全面且可追溯的,相关信息可以很方便的集成和留存。
机器视觉技术近年发展迅速
1)图像采集技术发展迅猛
CCD、CMOS等固件越来越成熟,图像敏感器件尺寸不断缩小,像元数量和数据率不断提高,分辨率和帧率的提升速度可以说日新月异,产品系列也越来越丰富,在增益、快门和信噪比等参数上不断优化,通过核心测试指标(MTF、畸变、信噪比、光源亮度、均匀性、色温、系统成像能力综合评估等)来对光源、镜头和相机进行综合选择,使得很多以前成像上的难点问题得以不断突破。
2)图像处理和模式识别发展迅速
图像处理上,随着图像高精度的边缘信息的提取,很多原本混合在背景噪声中难以直接检测的低对比度瑕疵开始得到分辨。
模式识别上,本身可以看作一个标记过程,在一定量度或观测的基础上,把待识模式划分到各自的模式中去。图像识别中运用得较多的主要是决策理论和结构方法。决策理论方法的基础是决策函数,利用它对模式向量进行分类识别,是以定时描述(如统计纹理)为基础的;结构方法的核心是将物体分解成了模式或模式基元,而不同的物体结构有不同的基元串(或称字符串),通过对未知物体利用给定的模式基元求出编码边界,得到字符串,再根据字符串判断它的属类。在特征生成上,很多新算法不断出现,包括基于小波、小波包、分形的特征,以及独二分量分析;还有关子支持向量机,变形模板匹配,线性以及非线性分类器的设计等都在不断延展。
3)深度学习带来的突破
传统的机器学习在特征提取上主要依靠人来分析和建立逻辑,而深度学习则通过多层感知机模拟大脑工作,构建深度神经网络(如卷积神经网络等)来学习简单特征、建立复杂特征、学习映射并输出,训练过程中所有层级都会被不断优化。在具体的应用上,例如自动ROI区域分割;标点定位(通过防真视觉可灵活检测未知瑕疵);从重噪声图像重检测无法描述或量化的瑕疵如橘皮瑕疵;分辨玻璃盖板检测中的真假瑕疵等。随着越来越多的基于深度学习的机器视觉软件推向市场(包括瑞士的vidi,韩国的SUALAB,香港的应科院等),深度学习给机器视觉的赋能会越来越明显。
4)3d视觉的发展
3D视觉还处于起步阶段,许多应用程序都在使用3D表面重构,包括导航、工业检测、逆向工程、测绘、物体识别、测量与分级等,但精度问题限制了3D视觉在很多场景的应用,目前工程上最先铺开的应用是物流里的标准件体积测量,相信未来这块潜力巨大。
诸多难点有待攻破
1)光源与成像:机器视觉中优质的成像是第一步,由于不同材料物体表面反光、折射等问题都会影响被测物体特征的提取,因此光源与成像可以说是机器视觉检测要攻克的第一个难关。比如现在玻璃、反光表面的划痕检测等,很多时候问题都卡在不同缺陷的集成成像上。
2)重噪音中低对比度图像中的特征提取:在重噪音环境下,真假瑕疵的鉴别很多时候较难,这也是很多场景始终存在一定误检率的原因,但这块通过成像和边缘特征提取的快速发展,已经在不断取得各种突破。
3)对非预期缺陷的识别:在应用中,往往是给定一些具体的缺陷模式,使用机器视觉来识别它们到底有没有发生。但经常遇到的情况是,许多明显的缺陷,因为之前没有发生过,或者发生的模式过分多样,而被漏检。如果换做是人,虽然在操作流程文件中没让他去检测这个缺陷,但是他会注意到,从而有较大几率抓住它,而机器视觉在这点上的“智慧”目前还较难突破。
机器视觉产业链情况
1)上游部件级市场
主要包括光源、镜头、工业相机、图像采集卡、图像处理软件等提供商,近几年智能相机、工业相机、光源和板卡都保持了不低于20%的增速。根据中国机器视觉产业联盟(CMVU)调查统计,现在已进入中国的国际机器视觉品牌已近200多家(如康耐视、达尔萨、堡盟等为代表的核心部件制造商,以基恩士、欧姆龙、松下、邦纳、NI等为代表的则同时涉足机器视觉核心部件和系统集成),中国自有的机器视觉品牌也已有100多家(如海康、华睿、盟拓光电、神州视觉、深圳灿锐、上海方诚、上海波创电气等),机器视觉各类产品代理商超过300家(如深圳鸿富视觉、微视新纪元、三宝兴业、凌云光、阳光视觉等)。很多国内机器视觉的部件市场都是从代理国外品牌开始,很多企业均与国外的同行有较好的合作,且这种合作具有一定的排他性,这给潜在进入者带来了一定的门槛,因此优质产品的代理商也都有不错的市场竞争力和利润表现。同时,以海康、华睿为代表的国产工业视觉核心部件正在快速崛起。
2)中游系统集成和整机装备市场
国内中游的系统集成和整机装备商有100多家,他们可以给各行业自动化公司提供综合的机器视觉方案,如凌云光、微视新纪元、嘉恒、凌华、阳光视觉、鼎信、大恒图像等。由于国内产品与国际依然有不小差距,很多中游系统集成商和整机装备商又是从核心零部件的贸易做起来的,因此很多在视觉产品的选择方面,依然更为青睐国外品牌。国内品牌为推广自己的软硬件产品,往往需要发展自己的方案集成能力,才能更好的面对市场竞争。
3)下游应用市场
机器视觉下游,主要是给终端用户提供非标自动化综合解决方案的公司,行业属性非常强,核心竞争力是对行业和生产的综合理解和多类技术整合。由于行业自动化的更迭有一定周期性,深受行业整体升级速度、出货量和利润状况影响,因此近两年来看,拉动机器视觉应用普及最主要的还是在电子制造业,其次是汽车和制药。
半导体和电子生产行业:从国内机器视觉工业上的应用分布来看,46%都集中在电子及半导体制造行业,包括晶圆加工制造的分类切割、PCB检测(底片、内/外层板、成品外观终检等)、SMT贴装检测、LCD全流程的AOI缺陷检测、各种3c组件的表面缺陷检测、3c产品外观检测等
汽车:车身装配检测、零件的几何尺寸和误差测量、表面和内部缺陷检测、间隙检测等
印刷、包装检测:烟草外壳印刷、食品的包装和印刷、药品的铝塑板包装和印刷等
农业:对农产品的分级、检验和分类
纺织:对异纤、云织、经疵、纬疵等瑕疵检测、织物表面绒毛鉴定、纱线结构分析等等。
机器视觉系统未来发展趋势
1)嵌入式解决方案发展迅猛,智能相机性能与成本优势突出,嵌入式PC会越来越强大
2)模块化的通用型软件平台和人工智能软件平台将降低开发人员技术要求和缩短开发周期
3)3d视觉将走向更多应用场景