（电力电子与电力传动专业论文）大型物料堆体积估算的计算机视觉方法.pdf

上海交通大学硕士学位论文 摘要 v o l u m em e a s u r e m e n to fl a r g em a t e r i a l s t a c kb a s e do nc o m p u t e rv i s l 0 n a b s t r a c t i ni n d u s t r y ，v o l u m em e a s u r e m e n to fal a r g em a t e r i a ls t a c k l so f t e nn e e d e d ，s u c ha sc o a l ，s a n d ，a n ds t o n es t a c k s i nt h e p a s t ，t h e r ew a s n os u i t a b l em e t h o dt om e a s u r et h e1 a r g ev o l u m e o fam a t e r i a ls t a c kb e c a u s eo fi t s i r r e g u l a rs h a p e n o w ，t h i s s o r to fp r o b l e mc o u l db es o l v e dw i t ht h er a p i dd e v e l o p m e n to f c o m p u t e rv i s i o nt e c h n o l o g y t h i sp a p e rp r o p o s e dam e t h o db a s e do nc o m p u t e rv i s i o n t e c h n i q u e st o e s t i m a t et h ev o l u m eo fal a r g em a t e r i a ls t a c k a g r o u po fg r a t i n gs t r i p e sw o u l d b ep r o j e c t e do nt h es u r f a c eo ft h e s t a c k s i n c et h es h a p eo ft h es t a c kw i l lc a u s ea b e r r a n c eo ft h e s e s t r i p e s ，d e p t hi n f o r m a t i o no f t h es t a c ks u r f a c ec o u l db eo b t a i n e d a c c o r d i n g t ot h ee x t e n to f s t r i p e a b e r r a n c e b yu s i n g 3 d r e c o n s t r u c t i o n t e c h n o l o g y ，t h e m e t h o dc o u l dr e c o n s t r u c tt h e s h a p eo f t h es t a c ka n dc a l c u l a t ei t sv o l u m e t h i s p a p e r a l s o p r o v i d e d a s y s t e m ，w h i c hc o n s i s t s o fa c c dc a m e r a ，a p r o j e c t o r ，a ni m a g ea c q u i s i t i o n b o a r da n da p e r s o n a lc o m p u t e r w i t ht h e s y s t e m ，i m a g e s o ft h e l a r g e m a t e r i a ls t a c ka r eo b t a i n e d t h ev o l u m eo ft h es t a c kc a nb e c a l c u l a t e dt h r o u g hi m a g ed a t a a c q u i s i t i o na n da n a l y s i s t h e s y s t e mi s s u i t a b l ef o rv o l u m em e a s u r e m e n to fc o a ls t a c k si na t h e r m a l p o w e rp l a n t i ti sa l s os u i t a b l ef o rv o l u m e m e a s u r e m e n to fo t h e rl a r g em a t e r i a ls t a c k ss u c ha ss a n d ，r i c e a n dc h e m j c a lf e r t i 】i z e r k e y w o r d s ：c o m p u t e rv i s i o n ，3 dr e c o n s t r u c t i o n ， m a t e r i a ls t a c k ，v o l u m em e a s u r e m e n t 上海交通大学硕士学位论文第一章 1 1 本课题的意义 第一章引言 在工程领域经常有一些大型物料堆需要测量其体积，例如发电厂的煤堆。 火力发电厂主要依靠煤燃烧释放出的热量，将水转化为水蒸汽，推动涡轮发电 机产生电能。鉴于煤是发电必不可少的重要燃料，为了保证发电量的稳定，电 厂的煤仓中必须始终保持充足的储备量。从另一方面来考虑，假若储煤量过剩， 造成积压，也不利于电厂的资金周转。所以，对发电厂而言，储煤量的大小是 一个重要问题。决定日常储备量，首先要求得当前煤仓中存有多少煤。由于煤 堆体积很大，形状又不规则，过去无适当的方法进行测量。大型煤堆的体积， 如果仅仅依靠人工估算，工作繁重，而且速度慢、时间长、误差大，分析处理 过程中存在一定的困难，测量结果也不够精确可靠。这样的问题，在测量粮食、 化肥和建筑材料等大型物料堆的体积时，同样存在。 鉴于此，必须寻找一种快速有效、简单易行、劳动强度低的测量方法，计 算物料堆的体积。采用自动化的手段进行体积测量，无论是对提高工作效率， 还是对减轻测量工作强度而言，都具有重要的意义。 1 2 研究现状 测量物料堆体积时，传统的手工测量方法是把物料堆表面作为地形面，使 用经纬仪视距法进行地形测量，测绘出大比例尺地形图，然后再利用手工方法 测算物料堆的体积。用这样的方法进行测量，既耗时又不精确，难以满足许多 行业在处理速度与精度方面日益增高的要求。如何对被测对象进行快速、精确 的图象采集、分析和处理，是急需解决的问题。 从本质上来说，体积测量问题是对三维物体表面形状( 深度) 测量问题的 一种延伸。综合国内外相关的研究资料，对三维物体表面形状进行测量，从而 实现三维重建，并计算被测对象的体积、质量等物理参数，是现代测量领域中 的一个热点。 参考文献 1 提出了一种物料堆测量系统，其系统结构如图l l 所示。在物 料堆现场设置多个标志点，例如在物料堆表面撒上纸片：对物料堆现场用普通 相机拍摄3 1 5 张照片，将照片扫描成图像后输入计算机；用计算机在数字化 图像照片上进行标点，点取各个特殊标志点，由系统自动计算所有标志点的二 维坐标值：综合各张照片上的同名标志点( 即出现在不同照片上的同一标志点) 上海交通大学硕士学位论文 第一蕈 坐标，经过三维重建程序计算，获得各个标志点在三维空间内的值；根据标志 点的坐标值，绘制等高线，计算出每层闭合等高线所围成的面积，则被测的物 料堆体积等于各层等高线的面积a 。之和乘以相邻等高线之间的高度差h ，体积 计算公式为： 矿= a i 矗 图1 一l 利用计算机辅助测量技术测量物料堆体积 f i g1 - 1v o l u m ec a l c u l a t i o nb yu s i n gc o m p u t e r - a i d e dm e a s u r i n gt e c h n i q u e 参考文献 2 所提出的计算大型物料堆体积的方法为：使用c c d 摄像机在 o 。，4 5 ，9 0 。，1 3 5 。四个方向上拍摄物料堆，可以得到四个方向上的物料堆的侧视 图，由这四个侧视图可以构成一个近似于物料堆的棱锥体，其横截面是一个多 边形，近似于物料堆的横截面，计算此棱锥体的体积即可得到物料堆的体积。 图1 2 物料堆侧视图 f i gl 一2p r o f i l eo f a m a t e r i a ls t a c k 物料堆与摄像机的距离固定，物料堆旁边有标尺，因而摄像机拍摄到的侧 视图以标尺作为参考，就可以知道侧视图的实际尺寸。采用计算机和图象采集 卡对摄像机拍摄到的图象进行数据采集，然后在计算机中对图象进行边缘识别， 得到物料堆的侧视图的清晰轮廓线，如图i - 2 所示。该轮廓线从底到顶任意位 置的水平割线的长度都可以用像素的个数计算出来。例如图1 - 2 中a b 水平割线 可由a 点到b 点的像素个数来计算。同样的，用像素的个数计算可以得到该侧 视图的高度h 。该棱锥体的横截面是一个不规则的凸多边形，用图1 3 的方法 可以得到该多边形内的像素个数，从而求得该截面的面积，面积公式为： s = 拉0 2 ( i - 2 ) 其中：月表示多边形内的像素个数， 护表示拍摄到的图象在水平方向上与实际尺寸间的比例因子。 2 上海交通大学硕士学位论文 蒜一章 由侧视图的高度和各横截面的面积 体积公式为： h 矿= s a x 丑 f _ l 通过积分即可计算出物料堆的体积 ( i 一3 ) 其中：s ，表示第i 个横截面的面积，i = 1 , 2 ，h 对侧视图在垂直方向上进行h 等分，每个微元为缸， 五表示拍摄到的图象在垂直方向上与实际尺寸间的比例因子。 当然，也可以从四个以上的方向上多角度拍摄，得到的物料堆的形状更接 近于真实。 oo0 f；y 厶、厂 、 一 1 2 十l v i ， o i o 。 o 图1 3 横截面面积求解示意图 f i g1 - 3s k e t c hm a p o fc a l c u l a t i n ga r e ao fc r o s ss e c t i o n 上述两种求取物料堆体积的方法都是基于计算机视觉技术的测量方法，它 们之间最主要的区别就在于三维重建的方法不同。 参考文献 1 所提供的三维重建方法依靠人为设定在物料堆表面的各个特 殊标定点，近似地将表面的实际形状恢复出来。重建过程中，主观选择的标定 点不同，就有可能造成不同的重建结果，从而对最终体积测量产生不同程度的 影响。 参考文献 2 中的重建方法则是基于这样种前提，即物料堆的横截面没有 明显的向内凹陷的部分，其形状越是接近凸多边形，横截面面积测量结果就越 是精确，最终的体积测量误差也就越小。但是在实际情况中，横截面的形状不 可能都符合这个理想条件，这就造成了相同的轮廓信息却对应于不同的实际形 状，从而导致计算结果比真实体积大，产生了误差。 考虑到上述的计算物料堆体积的方法各自存在着一定的缺陷，本项研究工 作的目的就是探索一种更行之有效的方法，尽量弥补现有方法的不足之处，在 进行三维重建的基础上，近似求得物料堆的体积，并且尽可能地降低系统误差。 上海交通大学硕士学位论文第一章 1 3 计算机视觉技术的优点 计算机视觉技术是从八十年代发展起来的新兴技术，对电视摄像机等光像 传感器输出的图象信号进行数字化处理后，用计算机分析处理量化的数值，得 到所拍摄的对象在三维空间中的形状、大小、位置等参数，再将处理后的结果 显示在监视器上。近些年以来，该项技术已经成为高技术领域一个重要的研究 课题。它为自动生产装配流水线、智能机器人解决视觉问题提供了技术基础， 使传统的工业生产面貌发生了巨变。由于计算机和传感器技术的飞速发展为工 业过程控制领域带来了巨大的影响，大大增加了系统的生产力、可靠性和安全 性，使得计算机视觉技术广泛应用于工业控制领域成为可能。 计算机视觉的最大特点就是可以用机器或者计算机来代替人的眼睛和大 脑，直接获得物体的图像，通过对物体的识别和加工处理，对外部客观世界进 行视觉感知和解释。据此获得的数字化图像信息具有确定的数字关系，可以重 复地实现对物体特征的采集、处理，不仅可以得到物体特征的定性描述，而且 通过尺寸标定可以得到物体的定量信息。 视觉技术应用于自动控制与测量领域的优点主要有： 相对较低的成本； 安全性； 高速、高精度； 非接触性测量，无损测量； 视觉反馈。 成本较低指的是计算机视觉系统只需要基本的图像处理设备，而不象有些 测量系统那样需要x 射线或者激光装置，从而可以省掉复杂而昂贵的x 射线或 者激光发生装置和保护装置，降低了系统成本，同时也避免了操作人员受到此 类装置辐射的危险，使这类基于视觉技术的系统在安全性方面具有比较显著的 优势。 利用计算机视觉技术，可以进行非接触性的测量，从而降低了系统对传感 器等测量仪器的材质要求，也减少了成本。另一方面，非接触性的测量是一种 无损性的测量，避免了测量过程中对被测对象造成不可逆的损害。 基于计算机视觉的工业系统一般都具有高速、精确、实时采集、自动化程 度高等特点，特别是在一些人工处理无法实现的场合下，使用这种系统来采集 和处理数据，有着传统方法不可比拟的优越性。 计算机视觉系统的另一个特点就是，控制过程可以通过监视器来观看，并 且可以用普通的录像机等设备将控制过程保存下来，以便于将来进行系统分析。 另外，根据图像数据分析处理的结果，还可以进行反馈，构成闭环反馈控制系 上海交通大学硕士学位论文 第一章 统。 鉴于上述的各种优点，在国内外相关领域中，利用视觉技术对三维物体进 行非接触性测量，在不良产品外形检验、人体形体测量、机器人以及计算机辅 助几何建模等方面获得了广泛的应用。受此启发，本文利用计算机视觉技术， 进行大型物料堆的体积测量。 上海交通大学硕士学位论文 第二章 2 1 概述 第二章体积测量系统总体结构设计 计算机视觉测量系统通过图像传感器( c c d 摄像机) 把被测目标的影像信 息记录下来，经过一系列的采样过程( 包括空间量化采样和幅度量化采样) ，将 模拟的图像信息数字化之后再输入到计算机中，利用计算机对数字图像进行快 速、高精度的处理，从而得到所需要的测量结果。整个测量系统的控制过程以 及对图像数据的处理过程都由计算机来完成。 图2 1 系统工作流程图 f i g2 - 1f l o w c h a r to f t h e s y s t e m 在大型物料堆的体积估算中，视觉处理技术的应用不同于自动生产流水线。 一般来说，由于所拍摄的物体变化速率慢( 可能在系统的一个响应周期内，基 本上没有变化) ，而且在系统处理数据的速度方面没有特别高的要求，所以可以 考虑采用顺序处理的工作流程。当然，假若在一些特定的场合下，对系统的实 时响应速度有比较高的要求，应该选取并行处理的方式，在分析数据的同时， 采集新的数据。 系统工作流程如图2 1 所示：将图象采集卡插入计算机的i s a 槽口，c c d 摄像机的视频输出通过视频线连接到图象采集卡的信号输入端。启动计算机后， 运行编制好的应用程序，根据显示器上输出的图象对摄像机镜头进行光圈调整 和聚焦。当所有这些预备工作全部完成以后，可以开始从多个方向对三维物体 进行拍摄。在实际应用过程中，可以选用多个摄像机，安装在不同方向上，同 6 上海交通大学硕士学位论文第二章 时拍摄物体，通过图象采集卡上的帧存储器将图象信息读取到计算机中。完成 了所有的拍摄工作之后，在计算机中先对原始的图象信息进行预处理；然后进 行三维重建，恢复被摄对象的表面形状；再调用体积估算子程序，最终得到三 维物体的大致体积。在整个系统工作过程中，图象的显示，处理的过程，提示 信息和最终的运行结果都可以通过人机界面显示。 计算机视觉测量系统主要是由图像传感器、图象采集卡和计算机所构成 的，根据所实现的功能来划分，大致可以分成图像采集部分与图像处理部分两 大模块。前者主要由摄像机与图像采集卡等硬件部分构成，后者则由计算机软 件来实现。 2 2 图像采集 图像采集是计算机视觉测量过程的第一个阶段。c c d 摄像机先将局部视场 内的光学图像信号转换成为带有图像空间信息的电信号，然后与同步信号合成 为完整的视频信号，利用同轴电缆传输给图像采集卡；视频信号经过图像采集 卡上的a d 转换成为数字式图像数据，存放在采集卡的帧存储器中，供计算机 进行各种处理操作。 2 2 1 c c d 摄像机原理 图象信息是通过电荷藕合传感器c c d ( c h a r g e c o u p l e dd e v i c e t o i m a g i n g ) 来获取的。电荷藕合器件是一种m o s 集成电路，它的突出特点是 以电荷作为信号，而不同于其它大多数器件是以电流或者电压为信号。c c d 的 基本功能是实现电荷的存储和电荷的转移，因此，它的工作过程中的主要问 题就是信号电荷的产生、存储、传输和检测。 c c d 的一个电极，是在p 型( 或者n 型) 硅单晶体的衬底上，生成很薄 一层优质二氧化硅，再于其上蒸发一层排列间距很小的铝电极条。电极上加有 适当的正偏压( 或负偏压) ，形成的电场穿过二氧化硅薄层，排斥p 型( 或n 型) 硅中的多数载流子，从而在电极下形成了电荷耗尽区，而在二氧化硅与硅 晶体的边界上得到一个存储少数载流子的势阱。所加的偏置电压越大，势阱也 就越深。 假设在某一时刻t 。，v 。为高电位，v 。、v 。为低电位，在具有v 。电位的各个 电极下形成较深的势阱。当硅晶体受到图象光像投射而产生出电子一空穴对后， 少数载流子在电场的作用下被吸入较深的势阱中，故势阱亦称为电荷包。投射 7 上海交通大学硕士学位论文 第二童 的光越强，势阱中捕获的电荷也就越多。这样一来，就把图象的光像转变成了 由积累电荷所描述的电子图象，存储于c c d 器件中，完成了光电转换和信息 存储的过程。 为了按照扫描顺序取出各个电荷包的电荷，形成图象电信号，还需采用三 相驱动脉冲( 即寻址转移信号) 。在电荷积累过程结束后，从t = t 。开始，v ，下 降，v ，变为最大，则电荷包从电位为v ，的各个电极下向着电位为v 。的各个电极 下的最深势阱转移。到了下一时刻t 。时，最大电位为v 。，电荷包又从v ：电极转 移到v 。电极下。依此类推，每经过一个时钟脉冲周期t ，电荷就完成转移一个 像素的全过程。可见，三相时钟脉冲保证了电荷包作定向移动，c c d 就是一个 移位寄存器。在电荷从器件始端依次传送到末端时，可通过反向偏置的p n 结 来收集电荷，并经过放大器放大后输出，从而也就读出了图象电信号。 黑白电视摄像机经过光电转换，将图象光信号转变成为电信号，其最终输 出的信号就是黑白全电视信号。若图象最亮时，对应其信号电压的幅度最大； 反之，图象最暗时，相应的信号电压幅度也就最小。具有这样对应关系的信号 称为正极性图象信号，反之称为负极性信号。将图象信号送到视频放大器中进 行放大处理。同时加入同步机送来的行、场同步脉冲和行、场消隐脉冲，就形 成了全电视信号。 根据电视信号的标准形式，一幅图象被分成两场。第一场的各行是一帧图 象的奇数行，第二场的所有行则是同一帧图象的偶数行。这种扫描方式称为隔 行扫描。一个奇数场与一个偶数场合在一起，才能构成完整的一幅图象。 2 2 2 图像采集卡原理 图象采集卡的硬件原理框图如图2 2 所示，来自视频信号源的图象信号 经预处理电路得到0 5 v 的信号，经过a d 转换，将数字图象信号存储在卡上 的存储器内，该存储器被映射为微机内存的一部分，微机可通过访问这部分内 存处理图象。 对c c d 摄像机输出的视频信号进行数据采集时，由于视频信号的频率较 高且数据量较大，利用计算机直接进行采集是不可能的。为此，系统利用图象 采集卡上的a d 进行模数转换后，将数据保存在卡上的帧存储器中，等待计算 机来读取。这样一来，就大大提高了系统采集数据的速度。 来自视频信号源( c c d 摄像机) 的图象信号到达图象采集卡的输入端后， 由预处理电路进行电压幅值标准化、亮度调节和对比度调节，再经过卡上的 a d ，按照5 m h z 的采样频率将视频模拟信号转换成为8 位的数字信号。数字 信号的值0 对应于黑，2 5 5 则对应于自，0 2 5 5 之间的数值代表了不同的图象 上海交通大学硕士学位论文第二章 灰度值。转换后的数据被存储在图象采集卡的帧存储器中，该存储器被映射成 为微机内存的一部分，微机可以通过访问这部分内存来处理图象信息。假设奇 数场扫描期间，每采样一次，就将a d 转换的结果存入帧存储器，在偶数场期 间，计算机读取帧存中的数据，进行分析处理。由于计算机读帧存时，a d 的 转换结果并不能同时写入该片帧存，即帧存不能同时进行读和写操作，所以偶 数场的信息就会丢失。为了避免这个问题，本系统所采用的图象采集卡使用了 两片帧存交替工作的方法，其中一片帧存写数据时，计算机就读取另一片帧存 内的数据，反之亦然。 厂m 耀h i 勺一一 i 视频 帧存储器u 控舅u 接口l i 信号源 2 x 6 4 k x 8 b i t li 电路ll 电路l i 一同步分离h 时序发生器 i _ j i 一 2 3 图像处理 图2 2 图像采集卡原理图 f i g2 - 2p r i n c i p l eo fi m a g ea c q u i s i t i o nb o a r d 利用计算机视觉技术进行体积测量的第二个阶段是图像处理部分。 原始图像二维目标信息三维特征 图2 3 图像处理模块基本结构 f i g2 - 3b a s i cs t r u c t u r eo fi m a g ep r o c e s s i n gm o d u l e 图像处理过程是一个分层次的、由粗到细的信息处理与分析过程，它包括 了图像预处理、三维重建和体积计算三个子模块。通过图像采集卡传输进计算 上海交通大学硕士学位论文第二章 机的图像信息是二维的图像灰度数据，包含了有用的被测目标信息和各种无关 的背景信息以及由环境和设备引起的噪声。系统必须先对原始的二维图像信息 进行预处理，将有用的信息尽可能无失真地提取出来；然后由二维信息逆推出 三维物体的几何特征、表面性质等各种参数，实现三维重建；最后根据重建的 结果，计算出目标物体的体积。 2 3 1 图像预处理 图像预处理是图像处理模块中最基本的操作步骤，后续的图像分析和图像 理解等高层操作都是建立在预处理的基础之上的。如图2 - 4 所示，图像预处理 主要包括图像增强、噪声滤波、灰度直方图处理、边缘检测、图象分割、二值 化处理等内容，以达到改善图像质量、便于计算机进行后续处理的目的。 一般情况下，在图像处理系统中进行图像数据的传输与转换时总会在某种 程度上造成图像质量的下降。比如，各种由环境和系统设备引起的噪声污染会 损害图像质量，从而影响了最终图像处理结果的精确程度。为了将这些干扰因 素排除掉，系统必须设法对质量下降的图像进行改善处理。通常改善的方法主 要有两类：一类方法是进行图像增强，不考虑图像质量下降的原因，只将图像 中重要的特征有选择地突出，而衰减其他次要的信息，比如对图像进行平滑处 理，减小高频噪声对图像的影响；或者根据原始图像的灰度直方图进行灰度线 性变换、灰度拉伸和灰度均衡处理，增加图像的对比度，有利于将被测物体与 无关背景区分开。另一类方法是进行图像复原，针对图像降质的原因，设法去 补偿造成质量下降的因素，从而使改善后的图像尽可能地逼进原始图像，比如 矫正由光学系统本身造成的图像畸变或者由透视原理引起的几何畸变。 另外，传输进计算机的原始二维图像灰度数据可能包含了多个物体的信 息，不仅反映了有用的被测目标，还反映了许多相对无关的物体的信息，比如 拍摄现场的背景等等。这些无关信息并不是系统所要关心的对象，应该尽量地 去除掉。为了使图像更适合观察、识别和处理，需要对包含有大量景物信息的 图像进行分解。分解的最终结果是根据某种图像视觉特征或者统计特征，使原 始图像被分割成为一系列有意义的目标或者区域，乃至最小成分即图像的基元。 相对于整幅原始图像而言，这种分割的结果更容易被快速处理。由于图像的边 缘是图像最基本的视觉特征，广泛存在于目标物体与背景之间、物体与物体之 间、基元与基元之间，边缘信息成为图像分割所依赖的重要特征。所以，边缘 检测是图像处理过程中主要的特征提取手段。 在数字图像中，二值图像占有非常重要的地位。在实用的图像处理过程中， 为了便于分析图像的特征，常常需要从整体图像中把对象物体分离出来，把物 1 0 上海交通大学硕士学位论文 第二章 体和背景作为分离的二值图像对待，从而简化了分析处理的过程。同时，从存 储图像数据的角度来看，经过二值化处理的图像上，每个像素只有0 和1 两种取值可能性。这样就可以用l b i t 而不是一个字节来存储一个像素的值，整 幅图像的存储量就被压缩了8 倍，大大节约了图像数据的存储空间。此外，这 种存储方式还有利于直接对图像数据进行与、或、取反等位操作。 2 3 2 三维重建 图2 4 图像预处理 f i g2 - 4i m a g ep r o t r e a t m e n t 由于物体的三维曲面轮廓包含了物体的全部表面形状信息，因而，对物体 三维轮廓的重建有助于更全面、更深刻地认识目标物体的几何特征，为进一步 测量物体的体积提供了基础。 物体三维曲面轮廓的测量方法主要分为两大类，接触式测量与非接触式测 量。前者的测量原理比较简单，广泛使用机械触针、扫描探针等测量表面轮廓 的仪器，使针尖与固体表面接触，跟随被测物体表面轮廓的起伏作法线方向上 的机械运动，通过传感器转换成为电信号，经过放大处理和a d 转换之后变为 数字信号，再传输到计算机中进行进一步的数据分析，以得到物体的表面形状 参数。一般来说，机械接触式测量方法对被测物体表面的微小起伏具有较高的 敏感度，可以比较真实地还原物体表面的形貌。但是在对大型物料堆进行三维 重建时，这种传统的方法具有明显的缺点，比如采集数据的速度太慢，导致测 量系统的响应时间过长。另外，由于测量仪器与被测物体表面发生接触，触针 或者探头以及被测物体本身的物理、化学性质有可能对测量适用范围有一定的 限制要求，从而降低了这种方法的适应性。与之相比，基于计算机视觉技术的 非接触式测量方法的优势不仅在于数据采集速率高，实时性好，更重要的是， 由于传感器与被测物体之间没有任何接触，测量系统的应用范围被扩大了。 考虑到非接触式三维形貌测量方法的种种优点，本项研究工作采用了这种 方法，来实现对大型物料堆的三维重建：将已知的条纹投射于被测物体表面， 上海交通大学硕士学位论文第二章 条纹会受到物体表面形状的调制，发生了几何畸变，亦即条纹带有了物体的三 维形状信息，再利用计算机对畸变条纹进行处理，把物体的三维信息从条纹中 解调出来，从而实现三维表面重建。 刮耋釜h 呈羹h 差量h 翟训调制矧采集h 解调矧重主i 条纹条纹 2 3 3 体积计算 图2 5 非接触式三维重建 f i g2 - 5n o n c o n t a c t3 dr e c o n s t r u c t i o n 信息 经过三维重建，恢复出被测物料堆表面形状之后，就可以计算物料堆的体 积了。根据数学原理，计算体积最常用的工具是二重积分： v = i j f ( x ，y ) d x d y( 2 1 ) 但是，由于物料堆一般都是不规则的三维物体，很难找到物体整体的 f ( x ，y ) ，不便直接用上述的积分公式来计算物料堆的体积。 受到利用黎曼和计算不规则二维平面物体面积的启发，将被测的三维物体 z 轴方向上的区间 e ，f 等分成m 份，每个子区间的步长为： k = ( f - e ) m( 2 - 2 ) 这样，体积公式可以近似写成： l v “z ( x ，y ) k ( 2 - 3 ) l = l 其中，z ( x ，y ) 表示第i 个子区间横截面的面积。 由此，对不规则三维物体体积的求解被转换成为对不规则二维平面面积的 求解问题，可以利用黎曼和近似地求得各个横截面面积，然后根据体积公式求 出物料堆的体积。 图2 6 体积计算 f i g2 - 6v o l u m ec a l c u l a t i o n 2 上海交通大学硕士学位论文 第三章 第三章图像预处理 图像预处理是本系统图像处理部分最基础的操作步骤，各种后续的深度信 息提取、三维重建等高层处理都建立在它的基础之上，所以预处理在本系统中 是非常重要而且必不可少的一个组成部分。在体积测量系统中，图像预处理的 主要目的是，凸显原始灰度图像中被测物料堆的轮廓边缘和其表面呈现出来的 透视畸变网格条纹，并转化成为二值图像。 3 1图象增强 图像数据的采集、传输与转换的过程总会在某种程度上造成图像质量的下 降，对图像的后续处理产生干扰，为了将干扰因素排除掉，系统必须设法对质 量下降的图像进行改善处理。图像增强技术的目的就是改善图像质量，针对给 定图像的模糊状况以及应用场合，有目的地强调图像中的重要特征，而衰减其 他次要的信息。图像增强技术包括：清除噪声、扩展对比度、边缘增强等等。 3 1 1 噪声平滑处理 在工业现场采集到的图像中，往往存在着一些与真实图像无关的噪声，这 些由视觉传感器、图像信道传输误差引起的噪声会损害图像质量，在图像上常 常表现为一些孤立的像素点，它们的灰度值与其邻域内的其他像素点有显著的 不同。 3 1 1 1 邻域平均法 根据噪声点的空域特性，可以使用最简单的邻域平均法来较少噪声点，其 基本思想是：对某一个像素点的邻域内各点的灰度值求取平均值，用所得到的 平均灰度值代替该像素点的灰度值。 假设受到噪声污染的图像中像素点( x ，y ) 的灰度值为f ( x ，y ) ，用邻域平均法 进行平滑处理后的的像素点灰度值为g ( x ，y ) ，则有： 1 一 g ( x ，y ) = 吉f ( m ，n ) ( 3 _ 1 ) o m ( m ，沁s 其中：s 表示像素点( x ，y ) 的邻域， m 表示邻域s 中像素点的个数。 上海交通大学硕士学位论文 第三章 假设对像素点( x ，y ) 取- - 个3 x 3 的邻域s ， g ( x ，y ) = ；l 蔓i = ：i ，( x ，y ) + 厂( x ，y ) 则m 等于9 ，式( 3 - 1 ) 可以写成： ( 3 2 ) 其中，( x ，y ) ，( f _ 1 ，8 ) 表示( x ，y ) 在其邻域s 中的近邻像素点灰度值。 由式( 3 2 ) 可知，由于孤立噪声点与其各个近邻像素点之间的灰度值差异很 大，一旦用领域内像素的平均灰度来替代噪声点的灰度，就能对噪声点产生明 显的抑制作用。 ( a ) 原图 o r i g i n a li m a g e ( b ) 图像平滑结果 r e s u l to fi m a g es m o o t h i n g 图3 1 用邻域平均法进行图像平滑 f i g3 - 1i m a g es m o o t h i n gb y n e i g h b o r h o o do p e r a t i o n 3 1 1 2 中值滤波法 邻域平均法虽然简单易行，但它存在边缘模糊效应( 如图3 1 所示) ，不但 抑制了噪声点，还使本来不是噪声的边缘轮廓处的灰度差趋于均匀，造成了边 缘模糊，这对后续的图像处理产生了不利影响。为此，可以考虑改用中值滤波 法。作为一种非线性的信号处理方法，中值滤波法可以用于抑制图像中的噪声， 而又不会使边缘变模糊，处理效果好于邻域平均法( 如图3 2 所示) 。 一维中值滤波的基本思想是：设置一个包含奇数个像素点的滑动窗口，在 图像上从左到右，自上而下逐行移动，对窗口内所有像素灰度值进行排序，取 灰度值序列中的中值作为中值滤波的输出，替代窗口中心位置处像素点的灰度 值。 假设滑动窗口长度为奇数n ，窗口内各点灰度值为，( ) ，( f - 1 , 2 ，1 ) ，则滤 波后窗口中心位置像素点x 。的灰度值为： 4 上海交通大学硕士学位论文 第三章 g ( x 。) = m e d i a n d c ( x ) f ( x ：) ，f ( x 。) ，f ( x 。) 】 h 图3 - 2 中值滤波结果 f i g3 - 2r e s u l to fm e d i a nf i l t e r i n g 3 1 2 灰度线性变换 ( 3 3 ) 在工业领域，视觉系统采集到的现场原始图像最普遍的弱点就是被测物体 与背景之间的灰度差比较小，对比度不够高，难以将两者完全区分开来，这就 为边缘检测和图像分割处理带来了困难。为了解决这个问题，可以利用点运算 技术，按照预定的方式对图像的所有像素点逐个进行灰度变换，以增强图像的 对比度。 灰度的线性变换的基本思想是将图像中所有像素点的灰度值按照某一个 一维的线性灰度变换函数进行变换。假设输入图像f ；。中某一个像素点的灰度值 为x 。，灰度变换函数为f ( x ) ，变换后输出图像f 。中对应点的灰度值为x 。 灰度变换函数的数学表达式为： f ( x ) = 0 3 t + b ( 3 - 4 ) 式中，参数a 为线性变换函数的斜率，b 为该函数在y 轴上的截距。 则有如下的灰度变换方程： x = ，( ) = a x 。+ b ( 3 - 5 ) 由式( 3 5 ) 可以看出，当a 1 时，输出图像的对比度将增大；当0 口 i 时， 输出图像的对比度将减小；当口= 1 且b 0 时，变换的结果是使所有像素点的 灰度值上移或者下移，其效果是使整幅图像更暗或者更亮；当口 0 时，输入图 像中的暗区域变亮，而亮区域则变暗；当a = 一l 且b = 2 5 5 时，输出图像恰好是 对输入图像取反。如图3 3 所示，( a ) 图为输入图像，( b ) 图为灰度变换后的输出 图像，( c ) 为灰度线性变换函数。 上海交通大学硕士学位论文 第三章 ( a ) 原图 o r i g i n a li m a g e 2 5 5 0 ( b ) 灰度线性变换结果 r e s u l to fg r a y - s c a l el i n e a rt r a n s f o r m a t i o n ( 1 9 2 ，2 5 5 ( 6 4 ，0 )2 5 5 。 ( c ) 灰度变换函数 f u n c t i o no fg r a y - s c a l et r a n s f o r m a t i o n 图3 - 3 灰度线性变换 f i g3 - 3g r a y - s c a l el i n e a rt r a n s f o r m a t i o n 另外，有时图像的灰度集中在较暗的区域而导致图像偏暗，或者集中在较 亮区域而导致图像偏亮。这种情况下，可以利用灰度拉伸，对图像采取分段线 性变换，有选择地改变某一段灰度区间内的灰度值分布，从而更灵活地改善输 出图像。 3 1 3 边缘检测 原始灰度图像不仅反映了被测目标，还反映了无关的拍摄现场背景物体的 1 6 上海交通大学硕士学位论文 第三章 信息。为了使图像更适合观察、识别和处理，需要对原始图像进行图像分割， 将被测物体的特征从无关信息中提取出来。由于图像的边缘是图像最基本的视 觉特征，广泛存在于目标物体与背景之间，所以边缘检测成为图像处理过程中 主要的特征提取手段。 经典的边缘检测方法是，考察图像上每个像素点在其邻域内灰度的变化情 况。物体的边缘是通过图像上的灰度不连续性体现出来的。一般来说，如果一 个像素点处于图像中某一个物体的边界上，其邻域将成为一个灰度级的变化带。 对于物料堆，其边缘一般属于阶跃性边缘，两边的灰度值有显著的不同，可以 通过分析灰度的一阶导数或者二阶导数变化规律，从图像中提取出物体的边缘。 这样的方法称为边缘检测局部算子法，常用的边缘检测算子有l a p l a c i a n 算子、 s o b e l 算子、r o b e r t s 算子等等。边缘检测算子作用于输入图像的每个像素点， 输出的是边缘图像，即图像中各个像素点的灰度值反映了该点符合边缘像素要 求的程度。上述几个边缘检测算子的计算结果都是梯度向量的幅度，表示了输 入图像上某一个像素点( i ，j ) 邻域内的灰度差。对图像上的所有点进行同样的计 算，就能实现锐化，把各处的边缘显现出来，在边缘增强的基础上，再取一灰 度差作为阈值，梯度向量的幅值即边缘图像上灰度值超过闽值的像素点被认为 是符合边缘像素要求的边缘点，这样就可以实现边缘检测。 3 1 3 1l a p i a o i a n 算子 l a p l a e i a n 算予是最基本的二阶边缘检测算子，对连续空间二维函数f ( x ，y ) 的l a p l a e i a n 算予定义为： v 2 厂= 学+ 学 p 6 ， 对于连续图像，像素点( x ，y ) 处的l a p l a e i a n 算子的表达式为： l = v 2 f ( x ，y ) = v ：f ( x ，y ) + v 2 y f ( x ，y ) ( 3 7 ) 对于离散域的数字图像，像素点( i ，j ) 处的l a p l a c i a n 算子用二阶灰度差来定 义，是x 方向和y 方向上的二阶灰度差之和，即： l = l 厂( f + 1 ，) + 厂( f 一1 ，) + 厂( f ，+ 1 ) + 厂( f ，一1 ) 】4 f ( i ，_ ，) ( 3 8 ) 3 1 3 2s o b e i 算子 对于输入图像，像素点( i ，j ) 处的s o b e l 算子定义为： 上海交通大学硕士学位论文 第三章 s = ( d ：+ d ：) ”2 ( 3 9 ) 其中，d ，和d y 分别定义为： d ，= 【厂( f 一1 ，一1 ) + 2 f ( i ，一1 ) + ，( f + l ，一1 ) 卜驴( f 一1 ，+ 1 ) + 2 f ( i ，+ 1 ) + ，( f + 1 ，+ 1 ) d 。= i f ( i + 1 ，_ ，一1 ) 十2 厂( f + 1 ，- ，) + ，( f + 1 ，_ ，+ 1 ) 卜l 厂( f 一1 ，一1 ) + 2 f ( i 一1 ，_ ，) + 厂( f 一1 ，+ 1 ) 】 d ，与d ，分别对垂直边缘与水平边缘响应最大。 3 1 3 3r o b er t s 梯度模算子 r o b e r t s 梯度模算子利用阶跃边缘点的一阶导数有极小值这一特性，根据 局部差分算子寻找边缘，输入图像在像素点( i ，j ) 处的r o b e r t s 算子定义为： r = ( v ；+ v ；) v 2( 3 - 1 0 ) 其中，v 和v ，定义为： v ，= f ( i ，) 一f ( i + 1 , j + 1 ) v 2 = f ( i + 1 ，j ) 一f ( i ，j + 1 ) 3 1 3 4 最大差分算子 输入图像在像素点( i ，j ) 处的最大差分算子定义为： m = b s ( 3 - 1 1 ) 其中，b 和s 分别定义为： b = m a x f ( i ，n f ( i + 1 ，n 厂( f ，+ 1 ) ，f ( i + l ，+ 1 ) 】 s = m i n f ( i ，n f ( i + 1 ，j ) ，( f ，_ ，+ 1 ) ，f ( i + 1 ，+ 1 ) 】 3 1 3 5p r o w i t t 算子 p r e w i t t 算子与s o b e l 算子相似，定义为 p = ( 砖+ j ) ”1( 3 - 1 2 ) 其中，h x 和h y 定义为： h 。= 【厂( f + 1 ，一1 ) + ，0 + 1 ，_ ，) + ，( f + 1 ，+ 1 ) 1 一【厂( f 一1 ，_ ，一1 ) + 厂( f 一1 ，) + ，o 一1 ，+ 1 ) 】 h ，= 【厂( f 一1 ，一1 ) + ，( f ，_ ，一1 ) + ，( f + 1 ，一1 ) 】一【厂( f 一1 ，- ，+ 1 ) + 厂( f ，+ 1 ) + ，o + 1 ，+ 1 ) 】 3 1 3 6 边缘检测算子比较 ：i 篁i 塑查兰堡主兰垡丝奎 茎三兰 ( a ) 原图 o r i g i n a li m a g e ( c ) r o b e r ts 边缘算子检测结果 r e s u l to fr o b e r t se d g eo p e r a t o r ( e ) 最大差分算子检测结果 r e s u l to fm a xd i f f e r e n c ee d g eo p e r a t o r ( b ) l a p l a e i a l l 边缘算子检测结果 r e s u l to fl a p l a c i a ne d g eo p e r a t o r ( d ) s o b o l 边缘算子检测结果 r e s u l t o fs o b e le d g eo p e r a t o r ( 0p r e w e t ts 边缘算子检测结果 r e s u l to fp r e w e t t se d g eo p e r a t o r 图3 4 几种边缘算子检测结果的比较 f i g3 - 4c o m p a r i n gs e v e r a le d g eo p e r a t o r 1 9 上海交通大学硕士学位论文 第三章 图( 3 4 ) 对几个边缘算子的处理结果进行了比较。由图可知，l a p l a c i a n 算子 对噪声的敏感度最大，s o b e l 和p r e w i t t 算子在计算差分之前，先进行邻域平均 或加权平均，平滑了一部分高频噪声，所以检测的效果比较