|
机器视觉（Machine Vision）的研究目标是使计算机具有通过二维图像认知三维环境信息的能力，这种能力将不仅使机器感知三维环境中物体的几何信息（包括形状、位置、姿态、运动等），而且还能对它们进行描述、存储、识别和理解。
D. Marr将视觉系统分为自下而上的三个阶段，即视觉信息从最初的原始数据(二维图像)到最终对三维模型的表达经历了三个阶段的处理，如下图所示。  第一阶段称之为低级视觉，抽取特征构成基元图(Primary Sketch)。基元图由二维图像中的边缘点、直线段、曲线、顶点、纹理等基本几何元素或特征组成。第二阶段称之为中级视觉，计算得到2.5维图。2.5维图是部分的、不完整的三维信息描述。当人眼或者摄像机观察周围物体时，以观察者为中心的坐标系只能得到可见表面的描述，得不到遮挡部分的描述，故称2.5维图。第三阶段为高级视觉，得到三维模型。使用2.5维图中得到的表面信息建立适用于视觉识别的三维形状描述，这个描述应该与观察者的视角无关，也就是在以物体自身为中心的坐标系中，以各种符号和几何结构描述物体的三维结构和空间关系。D. Marr视觉理论是视觉研究中迄今为止最为完整的理论框架，逐步为大多数研究者所接受，并成为这一领域的主导思想。它使机器视觉的研究有了一个比较明确的体系，并大大推动了机器视觉的研究和发展。 近十年来，随着机器视觉理论的迅速发展，它逐渐发展成一门由计算机技术、控制理论、模式识别、人工智能和生物技术等众多领域交叉综合的新学科，它在一些科技领域中卓有成效的应用，引起了学术界和工业界的极大兴趣，其应用范围也日益扩大，涉及到机器人、工业检测、物体识别、医学图像分析、军事导航和交通管理等诸多领域。
机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 目录 1. 照明 2. 镜头 3. 相机 4. 图像采集卡 5. 视觉处理器 1. 特征提取辨识 2. Color检测 3. Blob检测 4. 结果处理和控制 展开 1. 照明 2. 镜头 3. 相机 4. 图像采集卡 5. 视觉处理器 1. 特征提取辨识 2. Color检测 3. Blob检测 4. 结果处理和控制 展开 D. Marr视觉理论分层模型 概述 机器视觉（Machine vision） 机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业 生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。正是由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。了解更多机器视觉信息可以访问中国第一家机器视觉媒体中国视觉网，成立于2003年6月。 视觉系统工作原理简图 基本构造 一个典型的工业机器视觉系统包括：光源、镜头、 相机（包括CCD 相机和COMS相机）、图像处理单元（或图像捕获卡）、图像处理软件、监视器、通讯 / 输入输出单元等。
系统可再分为 主端电脑（Host Computer) 影像撷取卡（Frame Grabber)与影像处理器 影像摄影机 CCTV镜头 显微镜头 照明设备 Halogen光源 机器视觉 LED光源 高周波萤光灯源 闪光灯源 其他特殊光源 影像显示器 LCD 机构及控制系统 PLC、PC-Base控制器 精密桌台 伺服运动机台 AFTvision机器视觉LED光源 一个典型的机器视觉系统包括以下五大块：
照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。光源可分为可见光和不可见光。常用的几种可见光源是白帜灯、日光灯、水银灯和钠光灯。可见光的缺点是光能不能保持稳定。如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。另一方面，环境光有可能影响图像的质量，所以可采用加防护屏的方法来减少环境光的影响。照明系统按其照射方法可分为：背向照明、前向照明、结构光和频闪光照明等。其中，背向照明是被测物放在光源和摄像机之间，它的优点是能获得高对比度的图像。前向照明是光源和摄像机位于被测物的同侧，这种方式便于安装。结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的三维信息。频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求与光源同步。 AFTvision机器视觉工业相机 图像采集卡 图像采集卡只是完整的机器视觉系统的一个部件，但是它扮演一个非常重要的角色。图像采集卡直接决定了摄像头的接口：黑白、彩色、模拟、数字等等。 比较典型的是PCI或AGP兼容的捕获卡，可以将图像迅速地传送到计算机存储器进行处理。有些采集卡有内置的多路开关。例如，可以连接8个不同的摄像机，然后告诉采集卡采用那一个相机抓拍到的信息。有些采集卡有内置的数字输入以触发采集卡进行捕捉，当采集卡抓拍图像时数字输出口就触发闸门。 视觉处理器 视觉处理器集采集卡与处理器于一体。以往计算机速度较慢时，采用视觉处理器加快视觉处理任务。现在由于采集卡可以快速传输图像到存储器，而且计算机也快多了，所以现在视觉处理器用的较少了。 在机器视觉系统中，获得一张高质量的可处理的图像是至关重要。系统之所以成功，首先要保证图像质量好，特征明显，。一个机器视觉项目之所以失败，大部分情况是由于图像质量不好，特征不明显引起的。要保证好的图像，必须要选择一个合适的光源。 光源选型基本要素： 对比度：对比度对机器视觉来说非常重要。机器视觉应用的照明的最重要的任务就是使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度，从而易于特征的区分。对比度定义为在特征与其周围的区域之间有足够的灰度量区别。好的照明应该能够保证需要检测的特征突出于其他背景。 亮度：当选择两种光源的时候，最佳的选择是选择更亮的那个。当光源不够亮时，可能有三种不好的情况会出现。第一，相机的信噪比不够；由于光源的亮度不够，图像的对比度必然不够，在图像上出现噪声的可能性也随即增大。其次，光源的亮度不够，必然要加大光圈，从而减小了景深。另外，当光源的亮度不够的时候，自然光等随机光对系统的影响会最大。 鲁棒性：另一个测试好光源的方法是看光源是否对部件的位置敏感度最小。当光源放置在摄像头视野的不同区域或不同角度时，结果图像应该不会随之变化。方向性很强的光源，增大了对高亮区域的镜面反射发生的可能性，这不利于后面的特征提取。 好的光源需要能够使你需要寻找的特征非常明显，除了是摄像头能够拍摄到部件外，好的光源应该能够产生最大的对比度、亮度足够且对部件的位置变化不敏感。光源选择好了，剩下来的工作就容易多了。具体的光源选取方法还在于试验的实践经验。[1] 在布匹的生产过程中，像布匹质量检测这种有高度重复性和智能性的工作只能靠人工检测来完成，在现代化流水线后面常常可看到很多的检测工人来执行这道工序，给企业增加巨大的人工成本和管理成本的同时，却仍然不能保证100 %的检验合格率（即“零缺陷”）。对布匹质量的检测是重复性劳动，容易出错且效率低。 流水线进行自动化的改造，使布匹生产流水线变成快速、实时、准确、高效的流水线。在流水线上，所有布匹的颜色、及数量都要进行自动确认（以下简称“布匹检测”）。现在采用机器视觉的自动识别技术完成以前由人工来完成的工作。在大批量的布匹检测中，用人工检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。 一般布匹检测（自动识别）先利用高清晰度、高速摄像镜头拍摄标准图像，在此基础上设定一定标准；然后拍摄被检测的图像，再将两者进行对比。但是在布匹质量检测工程中要复杂一些： 1． 图像的内容不是单一的图像，每块被测区域存在的杂质的数量、大小、颜色、位置不一定一致。 2． 杂质的形状难以事先确定。 3． 由于布匹快速运动对光线产生反射，图像中可能会存在大量的噪声。 4． 在流水线上，对布匹进行检测，有实时性的要求。 由于上述原因，图像识别处理时应采取相应的算法，提取杂质的特征，进行模式识别，实现智能分析。 Color检测 一般而言，从彩色CCD相机中获取的图像都是RGB图像。也就是说每一个像素都由红（R）绿（G）篮（B）三个成分组成，来表示RGB色彩空间中的一个点。问题在于这些色差不同于人眼的感觉。即使很小的噪声也会改变颜色空间中的位置。所以无论我们人眼感觉有多么的近似，在颜色空间中也不尽相同。基于上述原因，我们需要将RGB像素转换成为另一种颜色空间CIELAB。目的就是使我们人眼的感觉尽可能的与颜色空间中的色差相近。 根据上面得到的处理图像，根据需求，在纯色背景下检测杂质色斑，并且要计算出色斑的面积，以确定是否在检测范围之内。因此图像处理软件要具有分离目标，检测目标，并且计算出其面积的功能。 Blob分析（Blob Analysis）是对图像中相同像素的连通域进行分析，该连通域称为Blob。经二值化（Binary Thresholding）处理后的图像中色斑可认为是blob。Blob分析工具可以从背景中分离出目标，并可计算出目标的数量、位置、形状、方向和大小，还可以提供相关斑点间的拓扑结构。在处理过程中不是采用单个的像素逐一分析，而是对图形的行进行操作。图像的每一行都用游程长度编码(RLE）来表示相邻的目标范围。这种算法与基于象素的算法相比，大大提高处理速度。 应用程序把返回的结果存入数据库或用户指定的位置，并根据结果控制机械部分做相应的运动。 根据识别的结果，存入数据库进行信息管理。以后可以随时对信息进行检索查询，管理者可以获知某段时间内流水线的忙闲，为下一步的工作作出安排；可以获知近期内布匹的质量情况等等。 在国内外的应用现状 在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概40%-50%都集中在半导体行业。具体如PCB印刷电路：各类生产印刷电路板组装技术、设备；单、双面、多层线路板，覆铜板及所需的材料及辅料；辅助设施以及耗材、油墨、药水药剂、配件；电子封装技术与设备；丝网印刷设备及丝网周边材料等。SMT表面贴装：SMT工艺与设备、焊接设备、测试仪器、返修设备及各种辅助工具及配件、SMT材料、贴片剂、胶粘剂、焊剂、焊料及防氧化油、焊膏、清洗剂等；再流焊机、波峰焊机及自动化生产线设备。电子生产加工设备：电子元件制造设备、半导体及集成电路制造设备、元器件成型设备、电子工模具。机器视觉系统还在质量检测的各个方面已经得到了广泛的应用，并且其产品在应用中占据着举足轻重的地位。除此之外，机器视觉还用于其他各个领域。 而在中国，视觉技术的应用开始于90年代，因为行业本身就属于新兴的领域，再加之机器视觉产品技术的普及不够，导致以上各行业的应用几乎空白。目前国内机器视觉大多为国外品牌，如康耐视、DALSA、基恩士、欧姆龙等。国内大多机器视觉公司基本上是靠代理国外各种机器视觉品牌起家，随着机器视觉的不断应用，公司规模慢慢做大，技术上已经逐渐成熟。例如：上海波创电气有限公司，专业代理加拿大DALSA机器视觉产品，在短短六年的时间里，就发展成国内首屈一指的机器视觉企业。国内现在也开始意识到机器视觉的重要性，微视就是中国人自己的机器视觉的公司，研发自己的机器视觉产品。当然，技术上跟国外的品牌还存在一些不足。 随着经济水平的提高，3D机器视觉也开始进入人们的视野。目前3D机器视觉大多用于水果和蔬菜、木材、化妆品、烘焙食品、电子组件和医药产品的评级。它可以提高合格产品的生产能力，在生产过程的早期就报废劣质产品，从而减少了浪费节约成本。这种功能非常适合用于高度、形状、数量甚至色彩等产品属性的成像。 在行业应用方面，主要有制药、包装、电子、汽车制造、半导体、纺织、烟草、交通、物流等行业，用机器视觉技术取代人工，可以提供生产效率和产品质量。例如在物流行业，可以使用机器视觉技术进行快递的分拣分类，不会出现目前大多快递公司人工进行分拣，减少物品的损坏率，可以提高分拣效率，减少人工劳动。 产生发展 机器视觉的研究是从20世纪60年代中期美国学者L.R.罗伯兹关于理解多面体组成的积木世界研究开始的。当时运用的预处理、边缘检测、轮廓线构成、对象建模、匹配等技术，后来一直在机器视觉中应用。罗伯兹在图像分析过程中，采用了自底向上的方法。用边缘检测技术来确定轮廓线，用区域分析技术将图像划分为由灰度相近的像素组成的区域，这些技术统称为图像分割。其目的在于用轮廓线和区域对所分析的图像进行描述，以便同机内存储的模型进行比较匹配。实践表明，只用自底向上的分析太困难，必须同时采用自顶向下，即把目标分为若干子目标的分析方法，运用启发式知识对对象进行预测。这同言语理解中采用的自底向上和自顶向下相结合的方法是一致的。在图像理解研究中，A.古兹曼提出运用启发式知识，表明用符号过程来解释轮廓画的方法不必求助于诸如最小二乘法匹配之类的数值计算程序。 70年代，机器视觉形成几个重要研究分支：①目标制导的图像处理；②图像处理和分析的并行算法；③从二维图像提取三维信息；④序列图像分析和运动参量求值；⑤视觉知识的表示；⑥视觉系统的知识库等。 机器视觉的应用主要有检测和机器人视觉两个方面： ⒈ 检测：又可分为高精度定量检测（例如显微照片的细胞分类、机械零部件的尺寸和位置测量）和不用量器的定性或半定量检测（例如产品的外观检查、装配线上的零部件识别定位、缺陷性检测与装配完全性检测）。 ⒉ 机器人视觉：用于指引机器人在大范围内的操作和行动，如从料斗送出的杂乱工件堆中拣取工件并按一定的方位放在传输带或其他设备上（即料斗拣取问题）。至于小范围内的操作和行动，还需要借助于触觉传感技术。 此外还有： ⒈自动光学检查 ⒉人脸侦测 【机器视觉特点】 ⒈摄像机的拍照速度自动与被测物的速度相匹配，拍摄到理想的图像； ⒉零件的尺寸范围为2.4mm到12mm，厚度可以不同； ⒊系统根据操作者选择不同尺寸的工件，调用相应视觉程序进行尺寸检测，并输出结果； ⒋针对不同尺寸的零件，排序装置和输送装置可以精确调整料道的宽度，使零件在固定路径上运动并进行视觉检测； ⒌机器视觉系统分辨率达到1600×1200，动态检测精度可以达到0.02mm； ⒍废品漏检率为0； ⒎本系统可通过显示图像监视检测过程，也可通过界面显示的检测数据动态查看检测结果； ⒏具有对错误工件及时准确发出剔除控制信号、剔除废品的功能； ⒐系统能够自检其主要设备的状态是否正常，配有状态指示灯；同时能够设置系统维护人员、使用人员不同的操作权限； ⒑实时显示检测画面，中文界面，可以浏览最近几次不合格品的图像，具有能够存储和实时察看错误工件图像的功能； ⒒能生成错误结果信息文件，包含对应的错误图像，并能打印输出。 应用实例 ⒈ 基于机器视觉的仪表板总成智能集成测试系统 EQ140-Ⅱ汽车仪表板总成是中国某汽车公司生产的仪表产品，仪表板上安装有速度里程表、水温表、汽油表、电流表、信号报警灯等，其生产批量大，出厂前需要进行一次质量终检。检测项目包括：检测速度表等五个仪表指针的指示误差；检测24个信号报警灯和若干照明9灯是否损坏或漏装。一般采用人工目测方法检查，误差大，可靠性差，不能满足自动化生产的需要。基于机器视觉的智能集成测试系统，改变了这种现状，实现了对仪表板总成智能化、全自动、高精度、快速质量检测，克服了人工检测所造成的各种误差，大大提高了检测效率。 整个系统分为四个部分：为仪表板提供模拟信号源的集成化多路标准信号源、具有图像信息反馈定位的双坐标CNC系统、摄像机图像获取系统和主从机平行处理系统。 ⒉ 金属板表面自动控伤系统 金属板如大型电力变压器线圈扁平线收音机朦胧皮等的表面质量都有很高的要求，但原始的采用人工目视或用百分表加控针的检测方法不仅易受主观因素的影响，而且可能会绘被测表面带来新的划伤。金属板表面自动探伤系统利用机器视觉技术对金属表面缺陷进行自动检查，在生产过程中高速、准确地进行检测，同时由于采用非接角式测量，避免了产生新划伤的可能。其工作原理图如图8-6所示；在此系统中，采用激光器作为光源，通过针孔滤波器滤除激光束周围的杂散光，扩束镜和准直镜使激光束变为平行光并以45度的入射角均匀照明被检查的金属板表面。金属板放在检验台上。检验台可在X、Y、Z三个方向上移动，摄像机采用TCD142D型2048线陈CCD，镜头采用普通照相机镜头。CCD接口电路采用单片机系统。主机PC机主要完成图像预处理及缺陷的分类或划痕的深度运算等，并可将检测到的缺陷或划痕图像在显示器上显示。CCD接口电路和PC机之间通过RS-232口进行双向通讯，结合异步A/D转换方式，构成人机交互式的数据采集与处理。 该系统主要利用线阵CCD的自扫描特性与被检查钢板X方向的移动相结合，取得金属板表面的三维图像信息。 ⒊ 汽车车身检测系统 英国ROVER汽车公司800系列汽车车身轮廓尺寸精度的100%在线检测，是机器视觉系统用于工业检测中的一个较为典型的例子，该系统由62个测量单元组成，每个测量单元包括一台激光器和一个CCD摄像机，用以检测车身外壳上288个测量点。汽车车身置于测量框架下，通过软件校准车身的精确位置。 测量单元的校准将会影响检测精度，因而受到特别重视。每个激光器/摄像机单元均在离线状态下经过校准。同时还有一个在离线状态下用三坐标测量机校准过的校准装置，可对摄像顶进行在线校准。 检测系统以每40秒检测一个车身的速度，检测三种类型的车身。系统将检测结果与人、从CAD模型中撮出来的合格尺寸相比较，测量精度为±0.1mm。 ROVER的质量检测人员用该系统来判别关键部分的尺寸一致性，如车身整体外型、门、玻璃窗口等。实践证明，该系统是成功的，并将用于ROVER公司其它系统列汽车的车身检测。 ⒋ 纸币印刷质量检测系统： 该系统利用图像处理技术，通过对纸币生产流水线上的纸币20多项特征（号码、盲文、颜色、图案等）进行比较分析，检测纸币的质量，替代传统的人眼辨别的方法。 ⒌ 智能交通管理系统： 通过在交通要道放置摄像头，当有违章车辆（如闯红灯）时，摄像头将车辆的牌照拍摄下来，传输给中央管理系统，系统利用图像处理技术，对拍摄的图片进行分析，提取出车牌号，存储在数据库中，可以供管理人员进行检索。 ⒍ 金相分析： 金相图象分析系统能对金属或其它材料的基体组织、杂质含量、组织成分等进行精确、客观地分析，为产品质量提供可靠的依据。 ⒎ 医疗图像分析： 血液细胞自动分类计数、染色体分析、癌症细胞识别等。 ⒏ 瓶装啤酒生产流水线检测系统： 可以检测啤酒是否达到标准的容量、啤酒标签是否完整 采用激光扫描与CCD探测系统的大型工件平行度、垂直度测量仪，它以稳定的准直激光束为测量基线，配以回转轴系，旋转五角标棱镜扫出互相平行或垂直的基准平面，将其与被测大型工件的各面进行比较。在加工或安装大型工件时，可用该认错器测量面间的平行度及垂直度。 ⒑ 螺纹钢外形轮廓尺寸的探测器件： 以频闪光作为照明光源，利用面陈和线陈CCD作为螺纹钢外形轮廓尺寸的探测器件，实现热轧螺纹钢几何参数在线测量的动态检测系统。 ⒒ 轴承实时监控： 视觉技术实时监控轴承的负载和温度变化，消除过载和过热的危险。将传统上通过测量滚珠表面保证加工质量和安全操作的被动式测量变为主动式监控。 ⒓ 金属表面的裂纹测量： 用微波作为信号源，根据微波发生器发出不同波涛率的方波，测量金属表面的裂纹，微波的波的频率越高，可测的裂纹越狭小。 总之，类似的实用系统还有许多，这里就不一一叙述了。 由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。 但是机器视觉技术比较复杂，最大的困难在于人的视觉机制尚不清楚。人可以用内省法描述对某一问题的解题过程，从而用计算机加以模拟。但尽管每一个正常人都是“视觉专家”，却不可能用内省法来描述自己的视觉过程。因此建立机器视觉系统是十分困难的任务。 可以预计的是，随着机器视觉技术自身的成熟和发展，它将在现代和未来制造企业中得到越来越广泛的应用。 |