（机械电子工程专业论文）带钢表面质量计算机视觉检测关键技术研究.pdf

? 5 3 4 6 7 9 带钢表面质量计算机视觉检测关键技术研究 机械电子工程专业 研究生杨雪荣指导教师康戈文 随着计算机视觉技术的发展和计算机性能的不断提高， 由 带钢图 像在线检测 表面质量已 成为国内外学者研究的热点课题。 论文设计了一套带钢表面自 动检测 装置，完成图像采集、预处理、系统噪声特性分析、滤波及缺陷检测、分割等 技术的开发， 研究了由图像阴影恢复三维形状的算法以及图像网络传输等凡个关 键技术问题。论文主要研究内容和成果如下: ( 1 ) 根据带钢表面自 动检测系统的 技术要求，提出 系统的总体设计方案， 及软、硬件设计方案; ( z ) 提出 利用v f w 进行视频采集卡二次开发的方案和具体实施方法，实 现了带钢表面图像的实时采集; ( 3 ) 通过对带钢表面图 像的 研究，提出 噪声图 像的获取方法，找出 系统噪 声特性，并针对此特性设计了一种智能滤波器; ( 4 ) 根据对带钢表面缺陷 特性的 研究， 提出一种基于小区域的缺陷 检测算 法，并在此基础上提出了缺陷分割算法; ( 5 ) 通过对从图 像阴 影恢复形状理论的 研究， 提出了 一种基于人工神经网 络的三维图像恢复算法; )提出网络通讯的软、硬件方案，实现局域网中图像的实时传输。 经实验验证，以上技术和方法都取得了较好的效果。 关键词:计算机视觉带钢表面缺陷缺陷检测 r e s e a r c h o n k e y t e c h n i q u e o f c omp u t e r - v i s i o n s u r f a c e i n s p e c t i o n s y s t e m f o r c o l d r o l l e d s t r i p s s p e c i a l i t y p o s t g r a d u a t e y a n gs u p e r v i s o r k a n g g e w e n wit h奴 d e v e l o p m e n t o f t h e c o m p u t e r - v i s i o n a n d c o m p u t e r c a p a d 你 a u t o m a t i c s t r i p s u r f a c e in s p e c t i o n b a s e d o n i m a g e h a s b e c o m e f a v o r a b l e q u e s t i o n f o r s t u d y . t h i s p e p e r p r o p o s e s a u t o m a t i c s t r i p i n s p e c t i o n s y s t e m , a n d f in i s h e s t h e d e v e l o p m e n t a c q u i r i n g i m a g e , p r e - p r o c e s s i n g i m a g e , a n a l y z in g a n d d i s p e l l i n g n o i s y , in s p e c t i n g a n d c u t tn g a p a r t d e f e c t t h e p a p e r re s e a r c h e s t h e t e c h n i q u e o f s h a p e r e c o v e r f r o m s h a d i n g a n d n e t w o r k . t h e m a i n c o n t e n t a n d a c h i v e r n e n t o f t h i s p a p e r a r e l i s t e d a s f o l l o w s : i .a c c o r d in g协i n s p e c t io n s y s t e m s t e c h n i c a l r e q u i r e m e n t , i t s o v e r a l l d e s i g n p l a n i s p u t f o r w a r d . i t i n c l u d e s h a r d w a r e a n d s o f t w a r e d e s i g n s c h e m e 2 . a d v a n c i n g t h e m e th o d f o r a c q u i r i n g i m a g e w i t h v f w . 3 .p u t t in g f o r w a r d t h e m e t h o d f o r t h e a c q u ir e m e n t t h e n o i s y i m a g e , f i n d i n g t h e n o i s y s c h a r a c t e r a n d a d v a n c in g 也 。 i n t e l l i g e n c a l ， ” 汕阂扮 d i s p e l li n g n o i s y . 4 .w i t h t h e r e s e a r c h o f t h e d e f e c t s c h a r a c t e r , p u t ti n g f o r w a r d t h e m e t h o d o # d e f e c t r e c o g n i t i o n a n d c u t a p a r t . s .r e s e a r e h i n g t h e s h a p e f r o m s h a d i n g a n d p u t t in g f o r w a r d t h e s h a p e f r o m s h a d in g n e u r a l a l g o r i t h m g .p u t t i n g f o r w a r d t h e d e s i g n s c h e m e a b o u t l o c a l a r e a n e t w o r k s h a r d w a r e a n d s o f t wa r e t e s t re s u l t s h o w s t h e t e c h n o l o g ie s a r e e ff e c t i v e k e y w o r d s m o m p u t e r - v is i o n ; s t r i p ; s u r f a c e d e f e c t s ; d e f e c t i n s p e c t i o n 四 川 大 学 硕 士 学 位 论 文 第一章绪 论 板材作为钢铁工业的主要产品之一已成为汽车、机械制造、航空航天等行 业不可缺少的原材料。板材表面质量的优劣直接影响其最终产品的性能与质 量。然而在钢板制造过程中，由于原材料、轧制设备和工艺等多方面的原因， 导致带钢表面出现裂纹、氧化皮、结疤、刮伤、孔洞、辊印、针眼、磷皮、表 面分层、麻点等不同类型的缺陷。这些缺陷不仅影响产品的外观，更严重的是 降低了产品的抗腐蚀性、耐磨性和疲劳强度等性能川 。目 前，国内 外钢铁制造 企业通常采用人工目视抽检和频闪光检测等方法进行表面质量检测。 这些方法 存在不能真实可靠地反映表面的 质量状况、 实时性差等问 题，因而适时地开展 钢板表面缺陷在线无损检测技术的研究工作，已 成为国内外学者和自 动检测设 备供应商所共同关注的课题。 1 . 1 冷轧带钢表面缺陷检测技术的国内外研究及开发现状 目前用于冷轧带钢表面缺陷的在线检测装置不多，其性能也不能令人满 意。大部分检测工作还必须离线进行， 有许多还要靠人的肉眼检查( p 。而人的 注意力往往受到外界各种条件的干扰或因连续工作而产生疲劳，因此检查结果 难以令人满意。用户经常提出质量异议甚至退货，使钢厂蒙受巨大的损失。鉴 于这种情况，人们正千方百计地开发在线表面缺陷检测仪表。 1 . 现有冷轧带钢表面缺陷检测技术 . 人工目 视检测法 5 0 年代至6 0 年代，冷轧带钢表面缺陷检测主要采用人工检测，检测者凭 借肉眼观察缺陷， 但是肉眼检测能力毕竟有限，在目 标物从眼前飞驰而过的情 况下，眼球无法及时聚焦， 从而产生“ 运动模糊感”。目 标物的移动速度若在 5 0 一工 o o m / m i n 之间， 眼力尚能承受， 如速度高于l o o m / m i n , 就完全看不清楚了 w ，从而产生带钢表面缺陷的大量误检。从图 1 . 1可看出 人工目 视的误检率 ( 2 1 . 0 % )大大高于自 动检测的误检率( 6 . 3 % ) 。人工目 视检测已 不适应现代钢 铁工业发展的需要， 各大型钢铁企业都在致力于研究、 开发和使用表面缺陷自 动监测系统。 四 川 大 学 硕 士 学 位 论 文 目 前人工目 测仍然是国内 应用最多的方法。 宝钢在国内最早采用带钢表面 质量激光自动检测系统。 宝钢 1 4 2 0 m m电镀锡机组出口配置了在线激光表面检 测仪， 在带钢高速运行 情况下可对带 钢正反 面同 时 检测， 能自 动识别出必 o . l m m 以上各种缺陷，分类能力达 9 5 %以上 ia j 。宝钢 1 5 5 0 m m冷轧生产线采用激光 式自 动表面缺陷检查仪对带钢表面质量进行检查和记录n 7 i 1 . 2 论文背景及研究的主要内 容 1 . 2 . 1 论文背景 随着生活水平的提高和生产力的发展，人们对产品质量提出了更高的要 求。影响带钢质量的主要因素在其表面，由于原料钢卷的表面缺陷和轧制工艺 过程中形成的表面缺陷是造成废、次品的主要原因。因此必须加强对带钢表面 缺陷的检测。通过检测对于加强轧制工艺管理，剔除废品，减少原材料浪费， 提高成材率，改善工人劳动条件都有重要的意义。 目 前国内冷轧厂带钢的 质量检查手段仍然是凭经验人工检查， 这种方法存 在以下弊端: 人为因素难以消除，由于不同质检人员经验水平不同，对同一缺陷常得 出不同的判断，导致缺陷种类、级别不准; 仅能检查上表面，由于设备原因，质检人员很难长时间趴在地面上检查 钢板的下表面，故长期以来，仅能检查上表面; 检查时需停机，由于带钢速度很快 ( 最大达2 0 0 米/ 分) ，人眼已很难判 断是否存在缺陷，特别是较小的缺陷。因此，实际检查缺陷，都是在估计有缺 陷时停机检查，严重影响生产效率: 质检人员的劳动强度大，且检测环境恶劣、枯燥，对人身危害较大; 很难完成产品的全部检查，由于带钢速度很快，这就会造成质检人员视 觉疲劳。因此检查人员不可能一直观察表面，难免造成漏检和废品。 检查下表面时需将钢带重新展开， 不仅降低了生产效率而且容易造成新 的缺陷; 难以 提高产品售后服务水平，由 于产品质量检查全凭人眼，没有产品全 部长度的缺陷状况资料，因此产品质量等级不精确，售后服务困 难。 综上所述，表面质量检查己成为冷轧厂提高产品质量、提高产量和售后服 四 川 大 学 硕 士 学 位 论 文 务水平的一个瓶颈。 开发冷轧带钢表面质量自动检测系统对冷轧厂提高产品质 量、提高生产效益、降低成本和提高售后服务水平就具有重要的意义。 1 . 2 . 2 论文研究的主要内容 论文以“ 冷轧带钢表面质量自 动检测系统” 科研项目 为背景，结合自 动检 测、计算机视觉、计算机通讯和人工神经网络等技术， 重点研究带钢表面计算 机视觉检测的关键技术。 论文的主要研究内容如下: 根据冷轧带钢流水线生产的实际情况， 提出基于计算机视觉的冷轧带钢 表面质量自 动检测系统的总体设计方案及软、硬件设计方案。 研究实时采集带钢表面图 像的方法，实现对视频采集卡的二次开发。 设计了一种获得噪声图像的方法， 并在对大量冷轧带钢表面正常图像及 缺陷图像研究的基础上，找出系统噪声特性，同时针对此特性设计了一种智能 滤波器。 通过对大量缺陷图像的研究， 找出 带钢表面缺陷图 像特性: 根据此特性 提出了缺陷检测和分割算法，根据系统要求提出了一种智能选取标准图的方 法，同时与传统的目 标检测、分割算法比 较，进行实验分析。 通过对三维图像恢复与重建技术的研究， 把人工神经网络应用到从阴影 恢复形状方法中，并进行实验分析. 针对本系统对网络通讯的要求，提出了网络结构设计方案及利用 w i n d o w s s o c k e t实现网络通讯的软件方案。 四 川 大 学 硕 士 学 位 论 文 第二章冷轧钢带表面质量自动检测系统的总体设计 带钢表面质量自 动检测系统是在生产线正常运行条件下实时、 无遗漏地检 测出冷轧带钢全表面上主要的缺陷类型， 通过统计分析并参照产品质量等级评 定标准，评估出单个或批量产品的质量状况，自 动实现缺陷分类和评级，并提 供给工厂质量控制部门，作为其决策的依据。 本章首先结合带钢表面质量自 动检测系统要求具有的功能，主要技术要求 和带钢生产现场的实际情况， 提出基于计算机视觉的带钢表面质量自 动检测系 统的总体设计方案，然后对系统的软、硬件设计方案进行详细的讨论。 2 . 1 2 . 2 带钢表面质量自 动检测系统的功能 ( i )实现带钢上下表面质量的在线检查; ( 2 )自 动实现缺陷分类，并提出分类可信度; ( 3 )统计缺陷的种类，并可打印输出; ( 4 )实现缺陷评级，一般缺陷提示，重大缺陷报警; ( 5 )缺陷图像可自 动存储。 带钢表面质量自动检测系统的总体设计方案 传统的人工检测方法，检测工作量大，费工费时，漏检现象比较普遍。激 光扫描检测技术对于微小或对比 度小的缺陷和某些 “ 良 性”缺陷 ( 如油污等) 的分辨能力不足，其专用的光学系统结构复杂，可维护性和可升级能力较差。 计算机视觉技术是伴随计算机科学的飞速发展而发展起来的一门新兴技术， 近 年来由于运算速度的不断提高， 在线视觉处理已日 渐成熟。 对于冷轧产品表面 缺陷，计算机在线视觉诊断已成为一种较为理想的检测技术。 2 . 2 . 1 测量原理: 当一束光以一定的角度照射到物体表面上后，物体表面将吸收一部分光 能，同时反射和散射部分光能，反射光和散射光的强度取决于物体表面的粗糙 度和缺陷的情况。就本文讨论的问题而言，冷轧板表面缺陷将导致表面粗糙度 四 川 大 学 硕 士 学 位 论 文 其中，图像采集部分通过c c d 摄像头，视频采集卡实时获取带钢上、下表 面图像， 并将其转为数字信号存储在计算机内存中。由于摄像机本身的精度及 现场生产环境等因素容易使图像出现噪声， 图像预处理部分是对图像进行去噪 处理， 减少噪声对后期缺陷检测的影响。缺陷检测及分割部分首先判断图像是 否存在缺陷，若存在缺陷，分割出缺陷图像，工作站利用计算机通讯模块把缺 陷图像信息传送给服务器， 服务器对其进行分类评级， 及缺陷图像数据库的管 理 。 2 . 3 系统的硬件设计方案 1 . 系统基础数据 带钢宽度: 3 24 0巧 06 0 g 0 . 0 1 9 40 . 0 0 2 2000 h2 . 6 4 5 51 . 9 7 2 01 . 1 6 4 50 . 5 8 8 00 . 3 6 2 8 i1 . 6 3 2 51 . 2 0 2 20 . 6 9 8 20 . 3 6 0 50 . 2 0 5 1 从上面的数据可以看出: 差影图中有缺陷的小区和无缺陷的小区灰度值大于一定闽值的象素点 的 统计值存在明显差异。 在正常小区中 灰度值大于2 8 的象素点很少， 大于4 0 以 上的几乎没有; 在有缺陷的小区中，灰度值大于2 8 的象素点 较多，还有灰 度值大于 5 0 , 6 0 的象素点存在。 在同一幅缺陷图中， 灰度值大于一定阑值的像素点在整幅图中所占的比 例远远小于在小区 域内所占 的比例。 所以， 缺陷 特征在整幅图中难以 表现出来， 但在小区中表现明显。 5 . 1 . 3 缺陷 检测和分割的流程 由 于缺陷灰度值的特征在整幅图中不明显， 而在小区域中表现较明显， 所 以可以 采用基于区域的检测方法。 缺陷 检测和分割的流程图如图5 . 2 所示， 采 集到的当前图像和标准图相减， 在检测前先对差影图采用第四章提出的智能数 字图像滤波方法进行处理， 减小噪声的影响。 根据缺陷的 特性， 对差影图进行 分区的缺陷检测， 再把连通的缺陷区域进行合并从而达到缺陷分割的目的， 之 后把缺陷图像信息传送给服务器，以便缺陷分类、评级。 四 川 大 学 硕 士 学 位 论 文 分割缺陷图 缺陷图像传输 图5 . 2 缺陷检测和分割的流程图 5 . 1 . 4 标准图的选取与处理 1 . 标准图的选取 因为缺陷检测是基于差影图进行的，所以 标准图的质量将直接影响系统检 测缺陷的性能。实时采集的图像受周围环境、光线的影响很严重，而且每卷钢 板表面质量的差异较大， 即使同一卷钢板相离较远的地方钢板表面质量也有较 大的差异，如果两张均正常的钢板表面图像质量相差很大， 这两张图像做差影 图进行分析很容易被判断为是缺陷图像， 从而造成缺陷的误判。情况更严重的 是由于生产现场的需要，带钢在生产线上并不是匀速运动， 慢速运动的带钢表 四 川 大 学 硕 士 学 位 论 文 面图像的质量远远优于快速运动的带钢表面图像的质量。 所以如果不顾现场的 实际情况， 在内存中事先存放一张标准图，以后实时采集的图像均与此标准图 比较进行缺陷的判定显然不符合现场的实际情况， 缺陷误判率会大大增加。本 论文采用了一种实时选取并更换标准图的方法，即选取当前帧之前邻近它的一 张图像质量较好的正常图作为标准图。 实验结果分析表明此方法很好的解决了 标准图的选取问题，使缺陷误判率大大减小。 在一卷带钢的起始位子是没有标准图的， 所以在选定合适的标准图之前采 取连续采集的前后两帧图像做差影图的方法进行缺陷的判断，同时在采集的图 像中选取合适的标准图。 在有了标准图之后，实时采集的图像和此标准图做差 影图，判定当前帧是否存在缺陷。为了适应现场生产的实际情况，标准图选定 之后不是一直保持不变， 而要不断更新，所以 标准图的选取就分为从没有标准 图到选定合适的标准图及有了标准图后进行标准图更新的两个不同的过程。 下 面对这两个过程分别进行介绍。 . 标准图从无到有的流程图如图5 . 3 所示。 标准图从无到有的选取思路是: 连续采集的前后两帧图像做差影图进行比 较，如果有缺陷存在则说明这两帧图像中至少有一帧是有缺陷的， 这两帧图 像 中的任何一个都不应被选作标准图。再连续采集两帧图像作差影比较， 直到有 连续五张差影图均正常才把当前的一帧图像作为准标准图。 连续五张是因为如 果张数过少， 一卷在轧制刚开始时冷轧机经常有停机现象， 这样可能存在几张 静止的缺陷图做差影图后被误判为是正常图的可能， 从而加大了缺陷图被选定 为标准图的几率， 而且在一卷带钢刚开始的地方即使无缺陷，图像质量也比较 差;如果张数过多，判定条件过严格使得之前很多己符合标准图要求的图像没 有被选中， 降低了系统的性能， 经过大量的实验证明五张为较合适的判定依据。 因为冷轧机有停机情况，存在把缺陷图误选为标准图的可能， 所以 在选定准标 准图之后， 要对其进行进一步的判断。 论文采用对准标准图进行s o b e l 滤波后 再判断的方法确保标准图为正常图。 四 川 大 学 硕 士 学 位 论 文 图5 . 3 没有标准图时，标准图选取的流程图 . 标准图更新的流程图如图5 . 4 所示 有了 标准图 之后， 采集的当 前图 像和标准图比 较进行缺陷的检侧，如果标 准图长时间不更新， 则会出现由于速度或光线的变化使得标准图和当前图像相 差较大而把正常图误判为缺陷图的可能; 如果标准图更新过快会占用较多的系 统资源，使系统的速度下降，降低系统性能。 所以 如果连续检测 2 0张图像无 缺陷，即把当前帧作为准标准图， 再进行准标准图的进一步判定。 2 0 张也是经 过大量实验选取的较为合适的一个判定依据。 四 川 大 学 硕 士 学 位 论 文 图5 . 4 标准图更新选取的流程图 . s o b e l 滤波 用差影法作为缺陷检测的基础时， 标准图像质量的好坏对缺陷检测的精度 有很大的影响。由于冷轧机在停机时基于差影图的检测法有可能将缺陷图像误 选为标准图， 所以在选定准标准图后要对图像做进一步的判定以确保标准图为 正常图，同时要尽量选取质量很好的图像作为标准图像，这就要求图像中象素 点的灰度值比较均匀， 没有显著性的突变。 为了达到这一目 的， 系统采用s o b e l 四 川 大 学 硕 士 学 位 论 文 滤波对准标准图做进一步的处理，之后再来判断 是否把准标准图作为标准图。 图5 . 5 所示的两个卷积核形成了s o b e l 边缘算子， 图像中的每个点都用这 两个核做卷积，一个核对通常的垂直边缘响应最大， 而另一核对水平边缘响应 最大。两个卷积的最大值作为该点的输出位。运算结果是一幅边缘幅度图 像， 之后判断图像是否均匀。 料 一 1 - 2 一1 1 21一 1 0 i 1 图5 . 5 s o b e 边缘检，-1 9 算子 2 . 对标准图的处理 一般情况下， 各类图像系统中图像的传输和转换总要造成图像的某些降质 2 . 1 。 必须对这些降质的图像进行改善处理。 系统中的 标准图也存在噪声， 这些 噪声降低了标准图的质量，从而会影响缺陷的判断。所以， 在待检图像和标准 图作比较之前， 应先对标准图进行去噪处理，以改善图像的质量。这里我们采 用平滑技术处理中的 邻域平均法， 它是一种空间 域处理方法， 这种方法的 基本 思想是用象素附近几个象素灰度的平均值来代替此象素的灰度。 邻域平均法是 通过模板操作来实现其去噪目的的。 邻域平均法的 基本原理为: 假如给定一幅mx po 的图 像f ( x , y ) ， 用邻域平 均法得到的平滑图像为 g ( x , y ) o g ( x , y ) 可用下式表示 s ( x , y ) = 1 1 h艺f(- ， 二 ) 式中x = 0 , i , . . . . . . m - 1 , y = o , i , . . . . . . n - l , s 表示( x , y ) 点邻域中点坐标的集合，h 表示集合 s内坐标点的总数。 在此，邻域的取法为:以( x , y ) 为中心，以单位 距 离的拒倍 为 半 径 构 成点( x , y ) 的 邻域， 选 择 在圆 的 边 界 上的 点 和 在圆内 的 点 为s 的 集 合 ， 此 时 8 ( x , y ) 一 1 1 9 艺f , ( m , n ) i = 1 , 2 , . . . . . . 9 , 也 即 采 用 以 下 平 滑 模 板来实现: 四 川 大 学 硕 士 学 位 论 文 1i(1 5 . 1 . 5 缺陷检测的方案 有以上分析的带钢表面图像中缺陷的特征，可以看出缺陷在整幅差影图中 的特点并不明显，这加大了缺陷判定的难度，但其在小区域中特点明显，所以 在实际的应用的中， 把差影图分为1 0 * 1 0 的小区，对每个区域象素点的灰度值 做统计，分别判定小区域是否存在缺陷。由缺陷特征可知，在差影图小区域内 如有缺陷存在，其灰度值大于2 8 的像素点的百分率较大，且有灰度值大于 5 0 或6 0 的点存在。针对这一特性可把每个区域存在缺陷的判定条件定为: i f ( ( c o u n t 2 8 1 4 在差 影图小区域内如存在缺陷，其灰度值大于 2 8的像素点的百分率较大，且有灰 度值大于5 0 或6 0 的点存在; ( 2 )根据缺陷 特征提出了 缺陷 检测的算法，并进行实验分析。实验结果 表明此算法检测精度高，对众多缺陷类型可确保高准确率地检出，对微小的、 对比度低的缺陷灵敏度较高， 可有效地抑制油膜、 乳化液等伪缺陷， 误检率低; ( 3 )为提高检测精度提出了一种智能的标准图选取和处理方法; ( 4 ) 在缺陷检测算法的 基础 上， 提出了 缺陷 分割算法: ( 5 )本章提出的缺陷检测、分割算法与传统的图像分割算法进行比较， 并做实验结果分析。 实验结果表明， 传统图像分割算法对实际的带钢图像分割 结果不稳定，实用性差，而本论文提出的分割算法分割效果较好。 四 川 大 学 硕 士 学 位 论 文 第六章三维图像的恢复与重建研究 图像恢复是图像处理学中的一个重要领域， 从二维图像的光亮度恢复或重 建物体的三维图像是计算机视觉的一大难题， 对带钢表面质量自 动检测系统也 有非常重要的意义。图像上各点的灰度值反映了三维物体相应点上反射光的强 度，由 物理学与几何光学的分析表明，反射光的强度与物体表面性质的几何形 状有直接的联系。因此，由图像灰度来恢复三维物体几何形状已成为计算机视 觉研究中的一个重要方向。 其中， 利用人工神经网络根据阴影恢复形状( s h a p e f r o m s k a d i n g ) 的方法是其中一项十分新颖且处于探索阶段的技术。本章将介 绍光在物体表面的反射物理特性以及基于人工神经网络的利用反射特性估计 表面形状的方法。 6 . 1 三维图像恢复与重建的概述 6 . 1 . 1 三维图像恢复与重建的意义 人们为了定量的对外部世界进行有效的描述， 必然要涉及到提取客观物体 的三维信息，诸如深度、表面方向、三维形状等等。三维图像处理是图像信息 处理的一个十分重要的发展方面，它广泛应用于图像分析、计算机视觉、自 动 检测等诸多领域。在带钢冷轧过程中，缺陷的三维形状及深度对缺陷分析有着 重要的意义。缺陷如果是凸的， 有可能是杂物掉在钢板上， 质检人员只需把带 钢缺陷相应的板材裁掉即可;但是如果缺陷是凹的，可能是轧辊上有杂物，这 就会破坏整卷带钢，维修人员应及时对轧辊进行维修， 所以有必要对轧辊辊面 状态进行监控。对缺陷图像的三维信息恢复可使此工作得以实现。并且在对划 痕等缺陷评级中， 深度信息也为其主要判断标准， 所以如何从二维图像去获得 三维信息， 对三维图像重建问题的研究对确保质检人员及时准确地掌握缺陷信 息有着重要的意义。 6 . 1 . 2 三维图像恢复与重建的研究现状与发展 今天三维图像恢复与重建这一新兴学科的发展己 十分迅速， 提出了多种多 样的三维信息获取技术和方法，但根据是否需要人工产生的特殊光源这一特 四 川 大 学 硕 士 学 位 论 文 性，又可将这些方法分为主动法和被动法两大类c : a a .主动法，需要另外加 入特殊的人造光源。它主要分为基于传统光学三角形测距原理的结构光投影 法、基于雷达原理的飞行时间法以及基于光学干涉原理的莫尔干涉法。b .被 动法是在自 然光( 包括室内灯光照明) 条件下获取景物三维信息的方法。 它分为 体 视 法 及 多 种 ” s h a p e f r o m x ” 的 方 法 ，这 包 括 ” s h a p e f r o m s h a d i n g ， ”s h a p e f r o m t e x t u r e ， ”s h a p e f r o m m o t i o n ， ”s h a p e f o r m c o u n t o u r 体视法是利用左右两个照相机对同一景物进行拍摄，获得了同一景物的两 幅图片，找出两幅图片的对应点，求出它们的相对差值，然后根据三角方法就 可求出深度信息。其中对应点的匹配是一个较困难的问题， 从而限制了体视法 的应用。 根据阴影恢复形状( s h a p e f r o m s h a d i n g ) 的方法， ， 是 h o r n最先提出 的，它是计算机视觉中三维数据被动获取的重要手段之一。阴影一词来自 测绘 学术语，它实际上是指图像的灰度及其分布。通常，我们可以根据一幅图片正 确理解其中两景物， 而灰度的分布对于人理解某些物体的形状极为重要。可见 灰度及其分布与三维形状空间有着密切的关系。由阴影恢复物体形状的方法与 其他三维信息获取方法不同之处在于它不需要多幅图像， 而只根据一幅灰度图 像计算物体表面形状。无疑，人的视觉系统也是具有这种功能。随着人类对自 身视觉系统机理的深入了解， 这种模拟人的视觉系统的三维图像处理方法必将 有较强的实用性。目前对此方法的研究也正处于探索阶段。 6 . 2从阴影恢复形状的物理学和几何学知识 图像上各点的灰度值反映了三维物体相应点上反射光的强度，由物理学与 几何光学的分析表明，反射光的强度与物体表面性质的几何形状有直接的联 系。因此才会有s f s 方法的发展， 所以在研究s f s 方法之前先介绍相关的物理 光学和几何光学的知识。 1 . 图像辐照度 我们知道， 通过投影原理可以确定场景中的点在图像平面中的位置，但不 能确定该点的图像亮度。图像亮度可用成像物理学来确定，其中 用于描述图像 亮度的一个术语是图像辐照度。 图像平面中 一点的图像辐照度是指图像平面点 四 川 大 学 硕 士 学 位 论 文 单位面积接收的辐射功率。 辐射为输出能量， 辐照为输入能量。对图像来说， 图像的辐照源对应景物对光源的反射，即场景的辐射。也就是说，图像平面上 一点的辐照度e ( x , y ) 对应于图 像点到场景点 方向 的 场景辐射能量l ( x , y , z ) e ( x , y ) = l ( x , y , z ) ( 6 . 1 ) 场景点 ( x , y , z ) 位于从投影中心到图 像点( x , y ) 的 射线上。 为了找到图像的 辐射源，必须沿这条射线返回到发射射线的表面片上，并且弄清楚场景照明光 是如何被表面片反射的。 决定场景表面片辐射的因素 有两个: 一个是投在场景表面片上 的照明， 另一个是表面片反射的入 射照明部分。 投在某一特定表面片 上的照明量取决于该表面片在场 景中相对于光源的分布位置. 在某 一特定方向上被表面片反射的入 射照明部分取决于表面材料的光 学特性。 考虑场景中一个无穷小的表 面片被一个单独的点光源照明。 在 表面片上建立一个坐标系， 用来描 述表面片可视半球方向的照明和 辐射方向，如图6 . 1 所示。 口 / 图 6 . ，无限小表面片上建立的极坐 此坐标系表示能量可以到达或离开该表面所有可能的方向 半球。 设( e a ) 表示 在极 坐标中 相 对表 面片的 场 景 照明 点 光 源的 方向 ， 设( 0 1 , 0 , ) 表 示能 量从 表 面片 发 射的 方向 。 从 某 一方向 到 达 该 表 面 片 的 能 量 为e ( 6 ; , o ; ) ， 从 表面 片向 某一 方向 辐射的 能 量为e ( 9 , , 0 , ) 。 从 表 面片 往 某 一 方向 辐 射 的 能 量与 表 面片 从 某 一 方向 接 收 的 能 量的 比 值 定 义 为 双向 反 射分 布 函 数 ( b r d f ) ， 用f ( eo r aa) 表 示。 双向反射分布函数取决于表面材料的光学特性。 辐射量与辐照量的关系式 为 l ( 0 , 0 ) = f ( e , 0b , 0 e ) e ( b0 , ) ( 6 . 2 ) 这是一个一般的公式，可能是一个很复杂的式子，但在计算机视觉的大多数感 四 川 大 学 硕 士 学 位 论 文 兴趣的场合中， 可能相当的简单。 对大多数材料来说， b r d f 只取决于入射和发 射之差 peo8 , , 0 1 ) = f ( o 一 8 1 1 0 , 一 0 ) ( 6 . 3 ) 2 . 照明 给定表面材料的 b r d f和光源的分布，就可以计算一个表面发出的光量。 首先介绍计算一般分布光源射到一个表面片的总辐照度公式。 坐标系就是在图 6 . 1 中描绘的可能方向半球极坐标。如图6 . 2 所示，表面片上的全部辐照就是 从半球中所有方向上照到表面片上的辐照总和。将通过单位半球 ( 半径为 1 ) 上每一个小片面积上的辐射累加起来， 直到计算完半球的 全部面积。由半球上 某一表面片 和其对应的角 增量砒和s o , 组成的 锥形空间俞 ， 称为立体角，其 表达式为 加= s i n 砚 积城( 6 . 4 ) 图6 . 2 半球上某一表面片和其对应的角 增皿 8 8 ; 和s o ; 组 成 的 立 体 角 示 意图 式中 的s in 尽 是 考 虑到 越接 近 半 球 顶部， 半 球 面 积积 秘越小。 半 径r 的 球面积 为4 a r z ， 单位半径的 半球面积为2 ; r 。半球的面积s 可以由组成半球的立体角 加起来得到 四 川 大 学 硕 士 学 位 论 文 s 一 r a d w = rrzil sin 6 u (6 . 6 ) 式中 多了 一 个附 加 项c o s 只， 这 是因 为 透视 缩比 效 应造 成表 面 片 在 照明 方向 上 变小。从表面片反射出的辐射量为: l (b ,0 r ) = f f ii ， ( b ， .， 0 , 0 ,)1 (0 0 ,) sin o ; c o s o ,d o ,d o , (6 . 7 ) 基于场景辐射等于图 像辐照的假设， 在图 像平面中， 位置( x , y ) 处的图像辐照 与场景中相对应的表面片上的辐射量相等: e ( x , y) 二 l ( x , y , z ) =l ( 氏， 魏) 式中场景辐照的发射角度由场景表面的几何性质决定。 应注意 位置( x , y ) ， 都 可以 在相 对于表面法线 或表面片的极 坐标中 ( 6 . 8 ) :对每一个图像 计算出对应的场 景位置( x , y , z ) 、 连线的角度( 0 , 0 1 ) 表面片的表面法线n 以及从表面片到图像平面点 ( x , y )的 为了从场景中的表面几何和光源的分布确定整幅图像的辐照量， 必须知道 场景表面的 b r d f . 3 . l a m b e r t i a n反射 l a m b e r t i a n 表面是指在一个固定的照明分布下从所有的视场方向上观测 都具有相同亮度的表面，l a m b e r t i a n表面不吸收任何入射光。l a m b e r t i a n反 射也叫散光反射， 不管照明分布如何， l a m b e r t i a n 表面在所有的表面方向上接 收并发散所有的入射照明，结果是每一个方向 上都能看到相同数量的能量。许 多无光泽表面大致属于l a m b e r t i a n 型的。 l a m b e r t i a n 表面的b r d f 是 一 个常 数: 四 川 大 学 硕 士 学 位 论 文 p b 1 1 0 8 , 0 ) 一 生 ( 6 . 9 ) 辐射独立于发射方向， 辐射可通过累加来自 所有可能方向半球的入射光线上的 b r d f 效应得到: : 一 了 f rz f (0 ,0 ,0 , ,0 , ) (0 0, ) s in g , c o s o ;d o ;d o , f + 土 1 ( b , 侧万 ， 碱 ) s i n 只c o s 氏 d 只 d , ( 6 . 1 0 ) 其中1 。 是表 面片 上总入射光。 下面讨论在一个远距离点光源的照明下， 一个l a m b e r t i a n 表面的可感觉 亮度。 在相对于表面片法线的一个方向( 0 1 1 0 , ) 上，一个点表面照明描述如下: l ( 只 ， 喊 ) = 1 0 9(b;一 民) 8 ( 一 o ., ) s i n 只 ( 6 . 1 1 ) 式中几指的是总照明。 本质上，s 函 数仅限 于照明 到达表面片的方向 与方向 ( 氏 ， 人 ) 之间。 式 ( 1 1 ) 分 母中 有一 个正弦项， 将其引 入式 ( 6 ) 时， 就得到总 照明1 0 。 将式( 1 1 ) 中的照明函数和式( 9 ) 中的b r d f函数引入表面片辐射式( 7 ) , 得到了感觉亮度方程: l (b , b , ) 一 了 rzf f (8 ;,0 0 , 0 )1 (0 0 ,) s in 0 , c o s 0 ,d 0 ,jd o , 8 ( b , 一 8 , ) s ( , 一 0 . ) s i n b ; c o s 只 d 乓 以 ( 6 . 1 2 ) 这就是 l a m b e r t i a n余弦定律，即指由点光源照明的表面片的感觉亮度随着单 元表面法线的入射角度变化而变化。 随入射角变化是由 于相对于照明 方向表面 片的透视缩比效应。 换句话说， 一块给定面积的表面片，当它的 法线指向照明 光线方向时，可以获取最多的关照。当表面法线偏离照明方向时，从照明方向 看过去的表面片面积变小了，因此表面片的亮度也降低了。 四 川 大 学 硕 士 学 位 论 文 4 . 表面方向 为了将照明与被感觉亮度关系应用到计算机视觉中， 必须在如图6 . 3 中的 图像平面坐标系中重新讨论表面发射和场景照明。表面方向必须在摄像机坐标 系中表示。 考虑一个与光轴对准的球，如图 6 . 4所示。想象球上的一个点，并假定 一个平面在该点与球相切。该平面的法线也是球上对应点的表面法线。 wy) 圈象平面 图6 . 3 场景中的一点在图像平面上的投影 图6 . 4 示意表面方向和图像坐标关系的高斯球 假定这一点到图像平面的距离是 z = z ( x , v ) 对物体上任意一点( x , y , z ) ， 它的图 像坐标为( x , y ) ( 6 . 1 3 ) 在光度立体视觉中， 四 川 大 学 硕 士 学 位 论 文 为了简化问题， 一般假定物体表面各点: 值的变化远小于物体到摄像机的距离， 即z ， 和: 。 是 物 体 表 面 上的 两 个点 ， 卜 ， 一 z o i i z 。 二 。 。 因 此常 常 认为 物 体 上的 所 有 点z ， 二 z o ， 根 据 透 视 投 影 公 式， 设a = f i z , ， 有 如下 等式 x = o x y= a y ( 6 . 1 4 ) 考 虑物体表面上一点( x , y , z ) 的 邻近点( x + : ) + ( q + 。 : )娜 ( 6 . 2 2 ) 严格地说，必须在方程( 2 1 ) 给定的约束下求这个积分的极小值。但是，考 虑到噪声使所求的值偏离了理想值，问题就变为求解总偏差e e = e 、 十 肋 的极小值 ( 6 . 2 3 ) 式中，兄 是一个光滑度约束误差的加权参数e 是图 像幅照方程误差 e 一 f f ( e (x , y ) 一 r ( p , q ) 2 d x d y ( 6 . 2 4 ) 通过引入( 式2 2 ) 的约束条件， 利用边界信息提供的初始条件， 我们就可对 反射方程进行求解。 用极小化导出对反射方程求解的松驰迭代计算法，经过多 次迭代运算，解出表面上各点的方向值。 根据表面方向值我们就可进行表面再 建，恢复物体的三维形状，从而实现了三维深度信息的提取。 6 . 4 s f s 的松驰迭代计算法 6 . 4 . 1 图像幅照方程求解的松驰迭代计算法 图像幅照方程为 r ( p , 4 ) = e ( x , y ) 图像方程的误差是 且 ( e ( x , y ) 一 r ( p ( x ,y ),q ( x , y ) )z d x d y 四 川 大 学 硕 士 学 位 论 文 同时， 考虑平滑约束条件( 邻近点有着相似方向) ， 引入一项平滑测度: ( p , + p ; + 9 + 9 y ) d x d y = 0 式中p x , 几， 9 x , 9 ， 是p 和9 相 对 于: 和y 的 一 阶 便 导 数。 将 这 一 项 加 到 亮 度 误 差中， 就可建造一个函数，即 且 ( e ( x , y ) 一 r (p ( x , y ), 9 (x , y ) ， 十 “ ( ， : + ; : + 。 里 + 。 : ) 办( 6 . 2 5 ) 选择p 和q 使得函数极小化。式中 人是一比例值， 它决定了二项的相对加权， 后一项可看作为正则项， 这一项加入函数中的目的是为了在极小化问题没有唯 一解的情况下得到一个解。 对于这个极小化问题的e u l e r 方程可简写为: ( e 一 r ) r , + a v 2 p = 0 ( e 一 r ) r+ a o 2 9 = 0 ( 6 . 2 6) 式中 ， r ， 和r ; 是r ( p , 4 ) 相 对 于p 和9 偏 导 数 ， 而 _ 。 己 2a 2 v一=二 ， 二 一 +，- 二 .，+二 ， +1。 + ， ，一 : ，一 。 - 4 p , ( 6 . 2 8 ) 决后2飞4， 一 vva ! p l , i甲 2 r p e 一 p j ) 式中 : 是 像 元 之间 的 间 隔 ， p r,; 是 局 部 平 均: ; 。 一 去 lp ,+l + p+1., + p , -, + p r-i.j ( 6 . 2 9 ) 同 样的 近似方法可用于护4 . 将这 些近 似值代入e u l e r 方程， 可以 得 四 川 大 学 硕 士 学 位 论 文 ， 。 一 ， 。 _e 2+ 4 a.(。 一 * (p ,r,)r ,(p ,r ) ( 6 . 3 0 ) r ;二r , + 4( e s 一 r ( p , , r , ) ) r , ( p , , r) 如果方程式的右边各项代入当前值。 方程式的左边为计算求得的新值， 则上式 可以表示成叠代的形式: ( 6 . 3 1 ) 扮叽试 p kp li + 畏( e ;, 4几 = r