已阅读5页,还剩45页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
华北电力人中硕十学何论文摘要 摘要 本文重点研究唇的分割及边缘提取。在唇的分割过程中,应用f is h e r 变换, 对样本区域像素进行颜色空f 叫变换,计算最佳投影矢量。利用阈值分割方法结合唇 色与肤色的颜色空间分布特殊性,将唇从而部分割出来,并二值化。由于图像成像 原| 天f ,图像含有部分噪声点,严重影响后期处理,通过模板迸行平滑,减少了噪声 的干扰。平滑后的二值图像有较清晰的轮廓,可以利用边缘提取或轮廓提取轮廓跟 踪的方法获得唇的边缘。然后选取若干边缘点,利用曲线拟合得到平滑的唇形曲线。 关键词:口型识别,分割,f i s h e r 变换,边缘提取,曲线拟合 a b s t r a c t i nt h ep a p e r ,s e g m e n t a t i o na n dc o n t o u re x t r a c t i o no fl i pa r ef o c u s e dd u r i n gt h e o v e r v i e wo fm o u t h s h a p er e c o g n i t i o n f i r s t l y ,f i s h e rt r a n s f o r mi sp r e s e n t e da n de v e r y p i x e li nt h es e l e c t e dr e g i o ni sf i s h e rt r a n s f o r m e dt oc o m p u t et h eb e s tp r o j e c t i o nv e c t o r s e c o n d l y ,m e t h o do ft h r e s h o l ds e g m e n t a t i o nc o m b i n et h es p e c i a l i t yo ft h el i p f a c ec o l o r s p a c ei su s e dt os e g m e n tt h el i pf r o mt h ew h o l ef a c e b u tt h e r ea r es e v e r a ln o i s ei nt h e p r o c e s s e dl i pp i c t u r ew h i c hw i l li n f l u e n c et h el a t t e rp r o c e s s i n g h e r et h et e m p l a t ei s u t i l i z e dt os m o o t ht h ep i c t u r et od e c r e a s et h ed i s t u r b a n c eo ft h en o i s e a f t e rg e t t i n gt h e c l e a rc o n t o u ro ft h el i p ,t h el i pe d g ei sg a i n e dt h r o u g hc o n t o u re x t r a c t i o no rc o n t o u r t r a c k i n g f i n a l l y ,as m o o t hm o u t h s h a p ec a r v ei sd r e wu s i n gc u r v ef i t t i n ga f t e rg e t t i n g s e v e r a lp o i n t so nt h ee d g e c u is h u a n g b o ( p a t t e r n sr e c o g n i t i o na n di n t e l l i g e n ts y s t e m ) d i r e c t e db yp r o f ,l i uh e k e yw o r d s :m o u t h - s h a p er e c o g n i t i o n ,s e g m e n t a t i o n ,f i s h e rt r a n s f o r m c o n t o u re x t r a c t i o n ,c u r v ef i t t i n g 华北电力大学硕十学何论文摘要 摘要 本文重点研究唇的分割及边缘提取。在唇的分割过程中,应用f is h e r 变换, 对样本区域像素进行颜色空间变换,计算最佳投影矢量。利用阈值分割方法结合唇 色与肤色的颜色空间分布特殊性,将唇从而部分割出来,并二值化。由于图像成像 原因,图像含有部分噪声点,严重影响后期处理,通过模板进行平滑,减少了噪声 的干扰。平滑后的二值图像有较清晰的轮廓,可以利用边缘提取或轮廓提取轮廓跟 踪的方法获得唇的边缘。然后选取若干边缘点,利用曲线拟合得到平滑的唇形曲线。 关键词:口型识别,分割,f i s h e r 变换,边缘提取,曲线拟合 a b s t r a c t i nt h ep a p e r ,s e g m e n t a t i o na n dc o n t o u re x t r a c t i o no fl i pa r ef o c u s e dd u r i n gt h e o v e r v i e wo fm o u t h - s h a p er e c o g n i t i o n f i r s t l y ,f i s h e rt r a n s f o r mi sp r e s e n t e da n de v e r y p i x e li nt h es e l e c t e dr e g i o ni sf i s h e rt r a n s f o r m e dt oc o m p u t et h eb e s tp r o j e c t i o nv e c t o r s e c o n d l y , m e t h o do ft h r e s h o l ds e g m e n t a t i o nc o m b i n et h es p e c i a l i t yo ft h el i p f a c ec o l o r s p a c ei su s e dt os e g m e n tt h el i pf r o mt h ew h o l ef a c e b u tt h e r ea r es e v e r a ln o i s ei nt h e p r o c e s s e dl i pp i c t u r ew h i c hw i l l i n f l u e n c et h el a t t e rp r o c e s s i n g h e r et h et e m p l a t ei s u t i l i z e dt os m o o t ht h ep i c t u r et od e c r e a s et h ed i s t u r b a n c eo ft h en o i s e a f t e rg e t t i n gt h e c l e a rc o n t o u ro ft h el i p ,t h el i pe d g ei sg a i n e dt h r o u g hc o n t o u re x t r a c t i o no rc o n t o u r t r a c k i n g f i n a l l y ,as m o o t hm o u t h s h a p ec u r v ei s d r e wu s i n gc u r v ef i t t i n ga f t e rg e t t i n g s e v e r a lp o i n t so nt h ee d g e c u is h u a n g b o ( p a t t e r n sr e c o g n i t i o na n di n t e l l i g e n ts y s t e m ) d i r e c t e db yp r o f l i uh e k e yw o r d s :m o u t h - s h a p er e c o g n i t i o n ,s e g m e n t a t i o n ,f i s h e rt r a n s f o r m c o n t o u re x t r a c t i o n ,c u r v ef i t t i n g 声明 y 8 6 7 7 3 乏 本人郑重声明:此处所提交的硕士学位沦文ii 型识别中唇的分割及曲线拟 合,是本人在华北电力大学攻读硕上学位期间,在导师指导下进行的研究工作 和取得的研究成果。据本人所知,除了文中特别加以标注和致谢之处外,论文巾 不包含其他人已经发表或撰写过的研究成果,也不包含为获得华北电力大学或其 他教育机构的学位或证书而使用过的材料。与我- - i i i 作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名 雀羽博日期:? b 阳6 ;。i o 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文鲍规定,即:学校有 权保管、并向有关部门送交学位论文的原件与复印件;学校可以采用影印、缩 印或其它复制手段复制并保存学位论文;学校可允许学位论文被查阅或借阅; 学校可以学术交流为目的,复制赠送和交换学位论文;同意学校可以用不同 方式在不同媒体上发表、传播学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名:塑堡量 口期: 、 导师签名:里! 盘 华北电力大学硕十学何论文 第一章 引言 1 1课题选题的目的和意义 视觉语占是指说话人发音过程中发音器官动作的视觉体现,如唇型、牙齿、舌、 下颌、颊部的视觉变化,其中以唇形的变化对发音的影响最为重要。所谓唇读,是 指通过观察说话入的唇形变化,“读出”或“部分读出”其所说的内容。研究唇渎 的目的是利用视觉通道信息补充听觉通道的信息,以提高计算机系统的理解力。唇 动,是唇读的另一种提法,但它更强调唇形的可视化过程,意在跟踪和识别。而唇 读则侧重于理解,是对唇动的解释,是人脸面部情感的表达,含有人的情感状况和 所要表达的意义。人类语言的认知过程是一个多通道的感知过程。在人与人交流的 过程中,人们在理解他人讲话内容时,不仅通过声音来感受信息,而且还用跟睛观 察对方嘴唇、表情等的变化,以期更准确地理解对方所讲的内容。听力弱者或听力 障碍者会从视觉语言中得到更多的暗示,有的已经达到了完美听觉的程度。即便是 正常人也可以利用视觉语言来提高语音感知,尤其在噪声环境下。一些音素在语音 上难以区别而在视觉上却易于分辨。因此,视觉语言通常对语音噪声敏感的因素提 供更多可区分的信息。而唇动信息即使在没有噪声的情况下仍能提高对说话人语义 的正确理解。因此,对唇读与唇动进行研究,能模拟人的感知行为,提高计算机对 人类自然语言的理解力。 对唇动规律及其识别的研究具有重要的理论意义和实用价值。在理论方面,唇 读研究涉及图像处理、模式识别、计算机视觉、自然语言理解等多个领域。它所研 究的内容涉及到了这些领域最新的研究进展。反过来,对唇动的研究也是对这些领 域理论的检验和发展。同时,对唇动规律的研究对基于内容的图像压缩技术也将产 生深远影响。在应用方面,对唇读的研究将在辅助语音识别、辅助手语识别和辅助 个人身份识别等方面对改善识别率起着重要作用。良好的、鲁r 棒的唇读识别系统的 应用前景是非常广阔的,其意义也是非同寻常的。它不仅呵以使语音识别技术应用 到更广泛的环境下,如办公室、驾驶室、工厂、飞机座舱、电话会议、电话语音识 别等噪声环境和多话者交互环境中,而且刈以提高自然环境卜的语音识别率。另外, 通过对唇动规律的研究,也将在唇动合成、说话者识别、语音驱动的人脸图像编码、 语旨驱动的头部运动合成等方面有着重要应用,相应的应用领域包括r f ( ;一4 编码、 动画驱动合成、网络自动代理中的虚拟人和配音中对口型等。 华北 力人学硕十学位论义 1 2 本课题国内外研究概况 唇动作为视觉语占的主要信息源,最早山,s u m b y 于1 9 5 4 年提出”! ,而第一 个唇读感知模型则由d p e t a j a n 于1 9 8 4 年给出。之后,唇读的研究爿在世界范刚 内兴起,近几年已形成一个重要的研究方向。唇读的研究内容包括基本唇形、唇形 的视觉特征、唇形特征提取、唇形描述与表达方法以及唇形识别与理解等。 近十几年来,丌展唇读研究的主要有美围加利福尼亚大学,加利福尼亚r ic o h 研究中心,卡耐基梅隆大学( c m u ) ,麻省理工大学( m i t ) 人机交互研究所,斯坦福大 学,伊丽诺伊斯大学,福罗里达大学,明尼苏达州立大学,德克萨斯州立大学,加 州圣地亚哥大学认知学系,华盛顿大学电子工程系信息处理实验室,乔治亚 学院 电子工程院a t & t 实验室,德国斯图加特大学,卡尔斯鲁厄大学,瑞士i d i a p 人工 智能感知研究所、英国谢菲尔德大学电子电气工程系、东安格列大学、日本大阪大 学、雄本大学、n t t ( 门本电报电话公司) 人机交互研究所、意大利科学技术研究所、 国立研究会声学研究所,法国国际高级通信中心、e u r e c o m 欧洲通讯研究所多媒体 通信部、芬兰赫尔辛基大学”1 ,国内的哈尔滨一 业大学、中国科学院声学研究所, 杭州大学、大连理工大学、北京理工大学、北京航空航天大学、北京大学视觉与听 觉信息实验室”1 等已经有人做了大量工作。但总的来说,对唇读研究目前还处于 研究和探索的初级阶段。 如同7 0 年代术语音识别的发展阶段,口型以别尚属初级阶段。但近几年来, 研究技术方法都取得了较大成果。 1 2 1唇动定位与特征提取 唇动( 1 i pm o v e m e n t ) ,一个与唇读密切相关的概念,或者说是唇读的另一种提 法,但它更强调口型的可视变化过程,意在跟踪和识别,而唇读侧重于理解。唇动 作为视觉信息通道的信息源,用作语音的理解源,最早是由s u m b y 在5 4 年提出束 的。 1 2 1 1 基于形状的方法可变模板和有效轮廓模型 可变模板:可变模板可以理解为一个对象模型,调整一系列参数,通过定义代价 函数,模板叫以以某种最佳方式匹配对象。如果代价函数达到最小,就认为找到最佳 匹配,可用获得的参数描述对象。呵变模板法足通过儿条曲线来定义嘴唇轮廓,将 人脸图像首先进行梯度边缘检测处理,然后利用一定的限制条件,用最优化方法将 曲线贴近最适合嘴唇的位置。”,变模板法不受嘴唇的变形、眭转和缩放的影1 1 m 能 日;较好地刎画嘴唇的彤状。但是,l ! = i 有其缺r 、i ,町嵌模板法刎厕嘴唇的信息【e 鞍利 , 华北电力人学硕士学位论文 糙,忽略了很多的细节信息,因此它得到的嘴唇形状特征只是嘴唇特征的一种粗略 描述,般不适合用于进步的建模识别。 对丁嘴唇米说,描述唇形的参数柯左右嘴角距离,上唇聚中心线最大距离,下 唇聚中心线最大距离等若干参数。使用可变模板法需要构造一个能量函数e ,这个 能量函数必须足模板参量的函数。这样就把模板和能量函数联系起来了,这个函数 是用束度量模板和实际嘴唇之间的相似度的。 使模板和实际嘴唇达到最佳匹配,等价于能量函数的最小化。这是一个典型的 函数优化问题。非线性多变量函数最优化问题的求解方法很多,如拟牛顿法、模拟 退火法、共轭梯度法、变尺度法等。这些方法都要求计算函数的梯度值,不但计算 量大,而且梯度的计算必须对每一变量求偏导数。然而往往能量函数都不是变量的 显性解析表达式,因此偏导数的计算具有一定的困难。为了解决这个问题,一般都 采用不需要梯度计算的多维变量最优化方法、f 降单纯形法( d o w n h i l ls i m p l e x m e t h o d si nm u l t i d i m e n t i o n s ,d s m ) 和鲍威尔算法均属于此类。 下降单纯形法需要事先初始化寻优空问的各个凸顶点,而鲍威尔算法只需初始 化n 维空m 的咒个方向,并且这n 个方向的初始值通常都设为单位向量,因此鲍威 尔算法的初始条件不太苛刻。在能量函数的最小化算法中,鲍威尔算法更具有优势。 m a r c u se h ,k vp ,d a v i dg s 【6 】用3 3 p r e w i t t 算子提取唇的各边缘,国内的单卫 、姚鸿勋等人则采用3 3 s o b e l 算了提取边缘后,月j 5 5 的指数模糊算子对边缘图 像进行模糊处理。建立变形模板由四条曲线组成:内唇由两个抛物线描述,外唇由 四次曲线描述。通过使代价函数最小化来驱动口型模板的各条曲线逼近实际的口 型,实现最佳匹配。得到模板的描述参数即特征可作为唇读的输入。 有效轮廓模型( a c t i v ec o n t o u rm o d e l ,a c m 或a c t i v es h a p em o d e l ,a s m ) :也 称s n a k e 算法,采用一定的限制条件检测到这些点,并采用限制条件限制这些点。 口型识别中,它是通过唇上某些特征点描绘出来的一条变形曲线,即“蛇线”,可 以在一定的限制性条件下检测到这些点,它的形状由内部能量和外部能量共同驱 萄1 。 s n a k e 算法,对于唇轮廓的提取,可以获得较好的效果。应用s n a k e 算法主要 需要懈决三个问题:初始化,参数估计,算法收敛。如果初始位置离唇边界较远,则难以 获得参数转换,并导致错误的s n a k e 曲线。而且通常难以检测到位于低梯度区域的最 佳值,会致使最终的轮廓比较粗糙。c h e n i “l 通过在门陷区域建立一个称为梯度矢量 流的新的外部力量解决了大部分初始化和收敛问题。但是扩散过程需要较多时间, 冈此不能应用到实际情况巾。pd e l m a se yc o u l o n 等人检测嘴角并保持嘴角在 s n a k e 收敛的过程中位置不变,增加了精确性,但是没有解决参数调整问题。 n i c o l a se v e n o ,a l i c e c a p l i e r l 4 1 等人提出了一种新颖的活动轮廓模型:“i u m p i n g s n a k e ”,1 j h l 。传统的s n a k e 力i :,“i u m p i n gs n a k e ”可以存距离目标边界较远的位 3 华北i u 山人学硕十学位论文 置例始化,并能简单直接的调整其参数。这个方法的新颖之处主要是初始关键点的检 测、引入的模弛灵活性强足以模拟不同唇型的特性、关键点位置的凋整过程能够 保证算法的稳定性。 1 2 1 2 基于图像的方法p c a ( 主成分分析法) 这类方法把图像直接或经过某种变换( d c t , d w t , k l ) 后用作特征。其目的就是 要在大舰模口型序列图像数据中,迅速将能够代表唇读的信息提取出来,对唇读系 统的主要特征进行认识性研究。 主成分分析法,p c a ( p r i n c i p a lc o m p o n e n t s a n a l y s i s ) 又称为特征唇方法,是把整 个唇部区域作为一个向量,通过大量的样本进行主成分分析。这种方法的优点是保 留了唇部的大部分信息,不要求有明显的中问处理结果,即定位、旋转非常敏感, 而且没有直观的中间处理结果,即定位、跟踪的结果很难检验,一旦识别结果不理 想,很难找到问题所在。采用主成分分析的目的,就是要求在大规模口型序列图像 数据中,迅速将能够代表唇读的信息提取出来,对唇读的主要特征进行认识。它属 于非模型化的研究方法。采用主成分分析保证在数据信息损失最小的前提下,对高 维数据进行降维处理,迅速揭示系统中的主要因素。 主成分分析方法的优点是不要求图像有非常清楚的轮廓信息,而且信息丢失量 最小,缺点是它对嘴的姿态、大小、旋转、比例变化非常敏感。 1 2 1 3 基于运动的方法光流分析法 这是一种基于运动检测的方法,它假定图像的运动变化信息包含了重要的特 征。其思想是从二维图像序列检测唇运动、提取运动参数、分析运动规律,研究唇 动瞬时的位置速度场,也称为光流场。一般认为瞬时图像灰度没有变化。 光流分析法有以下优点:第一,因为人类视觉对运动是敏感的,即使在变化的 照明条件下,因此光流特征是最有效的;第二,因为词间间隔唇动瞬时速度为零, 以此作为切分连续词或句子序列的特征变得容易:第三,因为发同样的音,从生理 学角度看其肌肉运动是相同的,这样丁以消除个人筹别的影响。 光流方法是一种很有潜力的方法,它对于描述清唇动变化规律有独特的长处。 但是由于运动光流估计的约束条件:运动中径向彳i 变和运动物体为刚体,在唇动过 程中难以保持,使得光流方法也有它的局限性。而且,它对预处理的准确定位要求 很高,这是目前计算机视觉中的难题。 1 2 2 唇读识别 唇读u 别足动念序列特征识刖。i 别的骰过程如下i 习 华北电力大学硕十学位沦文 图卜1 唇读识别的一般过干军 1 2 2 1 模板匹配 早期唇读识别最简单的方法足从静态图像提取的特征和存入的模板进行比较, 忽略了特征是随时间变化的事实。这种方法简单j 但是只能对简单的元素进行分类, 对词一级的识别就没有办法了,所以对语音识别贡献不大。后来人们逐渐采用动念 特征。早期唇读以别系统大多是以模板匹配原理为基础建立的,其基本思想是:在 训练阶段,将词汇表中的每一个侧的特征矢量序列作为模板存入模板库中,在识别 阶段,将输入唇读的特征矢量序列依次与模板库中的侮一个模板进行相似度比较, 将相似度最高的词作为识别结果输出。 d t w ( d y n a m i c t i m e w a r p i n g ) ,即动态时间规正是模板匹配中常用的方法。d t w 法是为了解决孤立词识别时说话速度不均匀造成时间伸缩变化的难题而提出来的。 d t w 法的实质是动态规划d p 概念的扩展。无论是在训练建模阶段还是在识别阶 段,都应先确定好发音图像的起始帧和结尾帧,以便于模板匹配时准确查找。d t w 算法用丁二特定人识别时,只需用,、在特定阶段将词汇表中所有词条训练几遍并存入 模板库中即可。如果将系统推广到非特定人情况,则应将很多用户的模板都存入模 板库,也就是说每一个词条都有很多套模板。在以别时,将输入图像特征与一个词 条的各模板分别进行比较,以最小的失真作为输入图像特征与该词条之间的失真。 如果用以训练的样本很大,例如超过1 0 0 ,要得到较好的识别效果,那么需存储的 模板数量就很多,使得存储和收缩都有困难。为此可以采用聚类的方法将若干相似 的模板合在一起用个模板代替,从而将模板数胍缩到一个合理的数值内,例如5 个l o 个。应注意,即使对于特定人瓜言,其发音唇形也不是一成不变的,如果采 用每个词条多套模板的方法,则可以改进其识别效果,但所付出的代价也比较大。 d t w 法能显著提高唇读u 别系统的性能,但是词汇表扩人、孤立词语齑转为连 续晤音或肖是非特定人的唇渎识别时,这种简币的唇读u 别系统就又小能胜任了。 返足 h 二d t w 浊婴求有一个较精确的起点定位。以及较慢的匹配述度等固有缺点 , 辛占甲高专 圈 华北电力人学颁士学位论文 造成的。 1 2 2 2 隐马尔可夫模型( h m m ) 在2 0 世纪8 0 年代以来,h m m 模型广泛应用于语音识别领域,也取得了重要 成果。目前唇读识别研究的主要技术也是隐马尔呵夫模型。 在处理实际问题中,人们所能观察到的事件往往并不是与状态对应的,而 是通过。组概率相联系,这样的模型称为h m m 。它是一个双重随机过程,其中之 一是m a r k o v 链,它描述状态的转移;另外一个随机过程描述状态和观察值之问的 统计对应关系。这样,在h m m 中,观察者只能看到观察值,而不能直接看到m a r k o v 链中的状态,只能通过一个随机过程取感知状态的存在以及它的特性。 下面定义h m m 中的参数: 1 ) j v :模型中的m a r k o v 链的状态数目。记个状态为0 l ,口:,o n ,记t 时刻 m a r k o v 链所处的状态为吼。 2 ) :每个状态对应的可能出现的观察值数目。记肼个观察值为k ,k , t 时刻的观察值为0 。 3 ) 玎:初始状态概率矢量,其中, r g = l ,石2 ,t 一,r g ) ,其中。= p ( q l = 0 。) ,1 s is n 4 ) a :状态转移概率矩阵,爿= ( 口。) ,。,其中, 口f = p ( q ,+ 1 = 0 ,i q ,= 0 。) 1 f ,s n 5 ) b :观察值概率矩阵,b = p 。) 。,其中 b m = 尸( q = kf 吼= 0 ,) 1e ,s n , 1 ks m 这样,一个h m m 可以记为:a = ( ,m ,z ,a ,占) 通常,我们将它简写为:a = 伍,a ,口) 更形象地说,h m m 叮以分为两个部分,一个是m a r k o v 链,由z ,a 描述,其产 生的输出为状态序列;另外一个是随机过程口,产生的输出是观察值序列。见下图, 7 为观察值时间长度。 hl2 m 组成示意幽 华北电力火学硕士学位论文 h m m 应用在口型识刖的基本思想是:认为唇读信号在极短时间内是线性的, 用线性模型参数表示,再将许多线性模型在时间上串接起来组成一条马尔可夫链。 h m m 用马尔可夫链来模拟信号的统计特性的变化,而这种变化是间接地通过观察 序列来描述的。因此h m m 过程是一个双重的随机过程,这与人的语言唇动过程是 相吻合的。h m m 具有多种类型结构,常用的有各态历经型( e r g o d i c m o d e l ) ,无跨越 从左向右型( 1 e f t r i g h tm o d e lw i t h o u ts k i p ) ,有跨越从左向右型( 1 e f t r i g h tm o d e lw i t h s k i p l 。对于唇动而言,它具有很强的时问延续性,因此较合理的模型应为自左向右 的模型,如下图: 幽1 : 无跨越的从左向右模型 1 2 2 3 时间延迟神经网络方法佃d n n ) t d n n ( t i m ed e l a yn e u r a ln e t w o r k ) 是一种延迟神经网络,是分析时变数据的有 效方法。该模型采用多层结构,输入层是一个随时间变化的时序窗。如果输入样本 数据集较大则采用延迟神经网络模型时输入信息的时问性就显得越重要。t d n n 克服了神经网络时序性差的缺点,能够解决时问对准问题。 1 3 本文研究的主要内容 本文旨在对口型识别整体概述下,重点研究唇的分剖及边缘提取。在唇的分割 过程中,主要应用f i s h e r 准则,在r g l 3 颜色空间进行变换,汁算最佳投影矢量。 利用不同阈值计算方法结合唇色肤色的颜色空间分布特殊性,将唇从整个面部分割 出来,并二值化。由于头的旋转或光照不均匀及采集设备等硬件条件的限制,图像 龠肓部分噪声j _ ,严重影响后期处理,可以通过不同模板进行平滑,减少了噪声点 的_ r 扰。平滑后的_ _ 二值图像有较清晰的轮廓,叮以利用边缘提取或轮廓提取轮廓跟 踪的方法获得唇的边缘。然后选取若t 边缘点,利用曲线拟合得到甲- 滑的唇形曲线。 7 华北电力人学硕十学位论文 第二章预备知识 图像分割是根据图像的某些特征或特征集合的相似性准则,对图像像素进行分 组聚类,把图像平面划分为一系列“有意义”的区域,使其后的图像分析、识别等 高级处理阶段所要处理的数据量大大减少,同时又保留有关图像结构特征的信息。 山于分割中出现的误差会传播至高层次处理阶段,囚此分割的精确程度是至关重要 的。 图像分割方法可分为结构分割方法和非结构分割方法两大类。结构分割方法是 根据图像的局部区域像素的特征来实现图像分割,如灰度闽值、区域生长、纹理结 构分析,这些方法是假定事先知道这些区域的特性,或者是在处理过程中能够求得 这些特性来寻找各种形态或研究各像素群。在结构分割方法中还有一种技术是一丌 始就着眼于保持边缘的性质,跟踪边缘并形成轮廓,印基于边界信息的图像分割方 法。边缘检测方法使用局部窗口操作,可检测出通过给定点的边界或边缘,但不能 体现全局的区域边界,而且边缘跟踪的顺序操作在很大程度上限制了分割的速度。 区域生长算法尽管其区域及边界分别满足封闭性和连续性,不需进行边缘连接操 作,但其顺序操作仍然不能满足实时处理要求,特别是区域生长算法的计算复杂度 一般比边缘操作大得多。应用统计模式识别、神经网络方法或利用景物的先验知识 实现的图像分割方法属于非结构方法,这类方法是根据图像的二维随机线性模型来 构造分类的特征矢量。自适应图像分割是近年来提出的一种新方法,它将局部并行 区域感知与全局随机统汁最佳逼近相结合,实现了一种非监督的图像分割。 2 1基于图像灰度分布的阈值分割法 阈值分割法就是确定某个闽值t h ,根掘图像中每个像素的灰度值大于或小于该 闽值t h ,来进行图像分割。阈值方法的数学模型如下:, 设原图像为, ,y ) ,经过分割处理后的图像为g ( x ,y ) ,9 0 ,y ) 为二值图像,则 有 贴= 怯怒篙 c z 一, 由卜式可知,l 划值方法的核心就是闽值t h 的确定方法。 8 华北电力大学硕十学f 1 ) :论文 2 1 1 基于灰度直方图的峰谷方法 当图像的灰度直方图为双峰分布时,表明图像的内容大致为两个部分,分别为 伏度分粕的两个山峰的附近。选择阂值为两峰问的谷底点,可有效分割。娩然,灰 度直方图的峰谷阂值方法是一种有效且非常简单的阈值方法,但是该方法有一个局 限性,就是要求图像的狄度直力图必须具有双峰性。 2 1 2 p 参数法 p 参数法是针对预先已知图像中目标物所占比例的情况下,所采用的一种简单 且有效的方法。p 参数法的基本思路足,选择一个值乃,使前景目标物所占比例为 p ,背景所占比例为1 一p 。 根据上面的原理,p 参数法的具体步骡如下: 1 ) 首先获得理想状态下的目标物所占画面的比例p 。 n j 。 胪露 其中,n 嘶。,为目标物的像素点数;n i m a ,为图像的总像素点数。 2 ) 计算图像的灰度分布见( i = 0 , 1 ,2 ,2 5 5 ) 。 - a 。砝1 其中,为图像中灰度值为i 的像素个数。 3 ) 计算累计分布只( k = 旺1 ,2 ,2 5 5 ) 只2 驴 4 ) 计算阂值t h : t h = 川唧n 1 只一p i 2 1 3 均匀性度量法 ( 2 2 ) ( 23 ) ( 2 4 ) ( 2 5 ) 均匀性度量方法的设计思想是,假没当图像被分为目标物和背景两个类别时 j 珥丁i 叫一类别内的像素值分布应该只何均匀性。 华北i b 力人学硕十学位论文 在这里采用方差来度量像素州的均匀性。设原图像为f ( x ,y ) ,结果陶像为 g ( x ,y ) 。通过图像分割将原图像分为c 。和c :两类,则算法步骤如f : 1 ) 给定一个初始闽值t h = t h 。,将图像分为c ,和c :两类; 2 ) 分别计算两类中的h - 差o t 千n 盯;: j 1 2 = 。,娶地小帕2 心咱 胪击。澎) ( f = 1 ,2 ) ( 2 _ 7 ) 其中,n 。:为第f 类巾的像素个数。 3 ) 分别计算两类在图像中的分布概率p 。和p :; 驴兰( f 毛) ( 2 - 8 )n 2 砖 驴1 列 其中,n 。为图像中的总像素数a 4 ) 选择最佳的阂值y h = t h + ,使得图像按照该阈值分为g 和c :两类后,满足 【p j 仃? + p z - 盯;】l 。= m i n 扫1 0 2 + p 2 盯;, ( 2 - 9 ) 2 1 4 类间最大距离法 类c i j 最大距离方法的设计思想是,在某个适当的阈值下,图像分割后的前景目 标与背景两个类之f 日的差异最大为最佳分割。在这里两个类别( 目标与背景) 的差异, 用两个类别中心与阈值之间的距离差来度量。 根据以上思想,该方法的具体步骤如下: 1 ) 给定一个初始闽值t h = t h 。,将图像分为c ,和c :两类: 2 ) 计算两类巾的狄度均值一,和卢:; 3 ) 计算相对距离度量值s : s :选二堡! ! 堡当2 ( 21 0 ) 姐:一肛- ) 4 ) 选择最佳的闽值7 7 i - 孤,使得图像按照该闽值分为c ,和c ,两类后,满足 1 0 华北电力大学硕+ 学位论义 s i m n + = m a x s ( 2 一1 1 ) 2 1 5 最大熵方法 熵 是信息论中对不确定。降的度量,是刘数据中所包含信息量人小的度量。熵 取最大值时,就表明获得的信息量为最火。 设一些事件以概率p 。,p :,p ,发生,则这些事件发生的信息量,即熵定义为 e f = 一p i n p ( 2 1 2 ) 由于p 。+ p 2 + + p ;= 1 ,所以可以证明当p 。= p ,一p ,时熵取最大值,也就 是说,得到的信息量最大。 最大熵方法的设计思想是,选择适当的阈值将图像分为两类,两类的平均熵之 和为最大时,可从图像中获得最大信息量,以此来确定最佳阈值。 根据上面的原理,最大熵方法的具体步骤如下: 1 ) 求出图像中的所有像素的分布概率p 。,a ,p :,( 图像的灰度分布范围为 p 。:旦( f :蜘,2 5 5 )p l 2 n i m 2 , g e ( f 2 0 ,1 一 其中,n 。为图像中灰度值为i 的像素个数;n 。为图像的总像素数a 2 ) 给定一个初始闽值t h = t h 。,将图像分为c 。和c :两类: 3 ) 分别讨算两个类的平均相对熵 ,5 一荟( p p n ) 1 n ( p r7 p n ) ( 2 1 3 ) ( 21 4 ) e 2 = 一罗( n ( 1 一p n ) ) l n ( p :( 1 p n ) ) ( 21 5 ) 一0 矗1 其中,p 犷酗 4 ) 选择最佳的阈值t h = t h + ,使得图像按照咳闽值分为c 。和c ! 两类后,满足 【e l + e 二1 i n :n - = m a x e 1 + e 二) f 2 1 6 ) 华北电力大学硕士学何论文 2 1 6 最大类问、类内方差比法 从统计意义l 讲,方差是表征数据分御不均衡性的统计量,要通过阈值对两类 问题进行分割,显然,适当的闷值使得两类数据间的方差越大越好,表明该阅值疗勺 确将两类不同的问题区分开了,同时希望属于同类问题的数据之间的方差越小越 好,表明同一类问题具有一定的相似性。因此可以采用类内、类间方羞比柬作为选 择阈值的评价参数。 根据以上的设计思想,该方法的具体步骤如下: 1 ) 出图像中的所有像素的分布概率p 。,p 1 ) 一p :,; 2 ) 给定个初始闽值砌a 砌。,将图像分为c 。和c :两类; 3 ) 计算两类中的方差盯? 和盯;,灰度均值肛。和卢:,以及图像的总体灰度均值肛 p2 产善善饨,) ( 2 - 1 7 ) n 。刍惫一 其中,。为图像的总像素数。 4 ) 计算两类问题的发生概率毋和只:只= 善a ,只= 1 一只 5 ) 计算类间乃差霄,类内方差盯:; 2 = 只- ( 芦,一p ) 2 + ( :一皿) 2 ( 2 1 8 ) 盯:= 只- 盯? + 尸2 盯; ( 2 1 9 ) 6 ) 选择最佳的阈值t h = 功+ ,使得图像按照该闽值分为c ,和c :两类后,满足 2 2区域生长 蹿扣一售 u i n ( 22 0 ) 图像区域分割技术都没有考虑剑图像像素空间的连通性。区域生长是把图像分 割成若干小区域,比较相邻小区域特征的相似性,若它们足够相似,则作为同一区 域合并,以此方式将特征相似的小区域不断合并,卣剑不能合并为止,最后彤成特 征不刚的各区域。这种分割方式也称区域扩张法。 进行区域生长酋先要解决二个问题: 1 2 华北电力大学硕十学何论文 ( 1 ) 确定区域的数目; ( 2 ) 选择有意义的特征; ( 3 ) 确定相似性准则。 特征相似性是构成与合并区域的基本准则,相邻性是指所取的邻域方式。区域 增长根据所用的邻域方式和相似性准则的不i 刊,产生各种不同的区域扩张法。可分 为:( 1 ) 单一型( 像素与像素) ;( 2 ) 质心型( 像素与区域) ;( 3 ) 混合型( 区域与区域) 。 2 3 边缘提取 图像的边缘是图像的最基本特征。所谓边缘( 或边沿1 是指其周围像素灰度有阶 跃变化或屋顶变化的那些像素的集合。边缘广泛存在于物体与背景之间、物体与物 体之间、基元与基元之间。它对图像识别和分析十分有用,边缘能勾画出目标物体 轮廓,使观察者一目了然,包含了丰实的信息( 如方向、阶跃性质、形状等) ,因此, 它是图像识别中抽取的重要属性、图像分割所依赖的重要特征。物体的边缘是由灰 度不连续性所反应的。经典的边缘提取方法是考察图像的每个像素在某个邻域内灰 度的变化,利用边缘邻近一阶或二阶方向导数变化规律。用简单的方法检测边缘。 这种方法称为边缘检测局部算子法。 边缘的种类可以分为两种:一种称为阶跃性边缘,它两边的像素的狄度值有着 显著的不同:另一种称为屋顶状边缘,它位于灰度值从增加到减少的变化转折点。 边缘提取首先检出图像局部特性的不连续性,然后再将这些不连续的边缘像素连成 完备的边界。边缘的特性是沿边缘走向的像素变化平缓,而垂直于边缘方向的像素 变化剧烈。所以,从这个意义上浣,提取边缘的算法就是检出符合边缘特性的边缘 像素的数学算子。目前,提取边缘常采用边缘算子法、曲面拟合法、模板匹配法等。 2 3 1 边缘检测算子法 当1 个像素落在图像中某一个物体的边界上,那么它的领域将成为一个灰度级 的变化带。对这种变化最有用的两个特征是灰度的变化率和方向,它们分别以梯度 向量的幅度和方向米表示。沿边缘走向的灰度变化平缓,而垂直于边缘走向的灰度 变化剧烈,这种变化可能是阶跃形或斜坡形。在边缘上灰度的一阶导数幅值较大, 而二阶导数在边缘上的值为o ,其庄右分别为一1 f 一负两个峰,也就是说,边缘点 对应丁一阶微分幅度火的点,也对应卜二阶微分的零交叉点。因此,i l j 以利用梯度 最大值或二阶导数过零点提取边界点。传统的边缘检测方法大鄙依掘这种特征,如 3 3 窗口的罗伯茨( r o b e r t s ) 算子、索贝尔( s o b e l ) 、 t 普拉斯( l a p l a c l a n ) 侥 x 分算予等。 求解维实函数的梯度之丽,选取合适的闽值以提取边缘,通常称之为梯耍闽值浊。 13 华北电力大学硕士学位论文 这种微分算了运算简单,但抗干扰性能差。于是又有了曲面拟合的各种边缘检测算 法,其基本思想是用一个平滑的曲而与待测点周围某邻域内像素的灰度值进行拟 合,然后计算此曲面的一阶或二阶导数。微分算子通常采用相对较小的窗口进行运 算,比如3 3 或7 7 窗1 1 ,它们一股埘噪声较为敏感,二阶导数算予尤甚。 边缘检测算子检查每个像素的邻域对灰度变化率进行量化,也包括方向的确 定。大多数使用基丁二方向导数掩模求卷积的方法。 下面介绍几种常用的边缘检测算了。 1 1 基于一阶微分的边缘检测算子 图像的局部边缘定义为两个强度明显不同的区域之问的过渡,图像的梯度函数 即图像灰度变化的速度将在这些过渡边界上存在最大值。因此,通过基于梯度算子 或一阶导数的监测器来估计图像灰度变化的梯度方向,增强图像的这些变化区域, 然后对该梯度进行闽值运算,如果梯度值大于某个给定门限,则存在边缘。再将被 确定为边缘的像素连接起柬,以形成包围着区域的封闭曲线。 一阶微分足图像边缘和线条检测的最基本方法。图像函数f ( x ,y ) 在点 ,y ) 的梯 度f 即一阶微分) 是一个具有方向和大小的矢量,即 v f ( x , y ) ;芒i 芒f ( 2 - 2 1 ) “ 叫 在0 方向的变化速率可由下式给出 堕c o s 口+ 堕。s i n 占( 2 2 2 ) 觇却 变化率最大方向为 0 叫。培i 娑娑l ( 2 - 2 3 ) o y “ 梯度值的大小为 绯= 惜2 + ( 争 ( 2 _ z a ) 所有基于梯度的边缘监测器之间的根本区别是算_ 了应用的方向,以及在这些方 向上逼近图像一维导数的方式和将这些近似值合成为梯度幅度的方式。 当考虑数字图像的离散域时,丁将图像的一阶差分卣接替代图像函数的偏导 数。二维离散图像函数在x 方向的阶筹分定义为 f ( x + 1 ,y ) 一f ( x ,y ) ( 2 - 2 5 ) f v 方向的一阶差分为f ( x ,y + 1 ) 一f ( x ,y ) 华北电力大学硕十学何论文 由罗伯茨( r o b e r t s ) 提出的算了是侄2 2 邻域上计算对角导数,图像点“,y ) 的梯 度g ( x ,y ) 的幅度是用方向差分的均方值r m s 来近似,即 g ,y ) 一r ,y ) = f , ,y ) 一,0 + 1 ,y + 1 ) 1 2 + l f ( x ,y 十1 ) 一,0 + l ,y ) j 2 ( 2 2 6 ) r ( x ,y ) 又被称作为罗伯茨交叉算子。在实际应用中,可以用更简单的计算形式 来代替均方值r m s 的计算,即用梯度函数的罗伯茨绝对值来近似 g ( x ,y ) 一n ( x ,y ) = l f ( x ,y ) 一f ( x + 1 ,y + 1 ) l + i f ( x ,y + 1 ) 一厂( z + 1 ,y ) l ( 2 - 2 7 ) 罗伯茨算子的个主要问题是计算方向差分时对噪声敏感。索贝尔( s o b e l ) 提h 了一种将方向差分运算与局部平均相结合的方法,即索贝尔算子。
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 商改住结构维护与加固技术方案
- 无人机维修保养服务规范标准
- 市政管道吊装施工项目管理手册
- 职业健康信用体系建设实施方案
- 室内翻新工程质量通病防治手册
- 生物制药发酵车间工艺设计
- 噪音隔音屏障施工方案
- 弱电安装工程质量通病防治手册
- 2026西安市第五十八中学招聘高中历史教师考试备考试题及答案解析
- 职业病防治知识进厂矿活动实施方案
- 2025成都农业科技职业学院教师招聘考试题目及答案
- 2026年中国出口信用保险公司招聘笔试大纲及备考指南
- 中小学以体育强化为核心落实“健康第一”教育理念实施方案
- 间羟胺药物课件
- 2026年深泽县辅警招聘考试备考题库必考题
- 江苏省南京市玄武区2025-2026学年九年级上学期期中历史试卷(含答案)
- 上海交易集团秋招面笔试题及答案
- 整县屋顶分布式光伏项目绿色施工方案
- 手术室精益管理汇报
- T/CAR 10-2022食品速冻装置隧道式速冻装置
- 景区团建合同协议书范本
评论
0/150
提交评论