（信号与信息处理专业论文）基于机器视觉的中医色诊客观化研究.pdf

摘要 摘要 中医现代化是中医发展的必由之路。四诊的客观化、数字化是实现中医现 代化的关键。色诊是中医四诊的重要内容，为历代医家所重视，是辩证论治的 主要依据。传统的色诊方法依赖于医生直观的定性观察，阻碍了色诊的进一步 发展。机器视觉通过利用计算机实现人的视觉功能对客观世界三维场景的 感知、识别和理解。机器视觉不受人的生理和心理因素影响，可以对色诊图像 进行精确的量化，从而得到较为客观的评价。 基于机器视觉理论，结合色诊图像采集自身的特点，分析了中医色诊图像 采集的系统需求，建立了中医色诊图像采集系统。根据光源的显色性、色温、 发光强度等影响成像质量的因素，选择d 6 5 光源作为中医色诊图像采集系统的 选用光源。通过对四种照明和观测条件的比较，选择4 5 0 几何条件，实现了中 医色诊图像采集光学环境的标准化。通过充分的市场调研和详细的技术性能比 较，确定了视觉传感器的类型及传输接口。选择c m o s 图像传感器和u s b 2 0 传输接口，满足了中医色诊图像采集系统对图像质量和传输速度的要求，完成 整个采集系统的搭建和调试，实现了系统的小型化和便携性。简要介绍了系统 软件的处理流程，操作软件完成色诊图像的采集，通过手工分割方式获得了中 医色诊图像样本。 在对粗糙集理论概括和总结的基础上，针对色诊图像的特点提出了粗糙集 用于色诊分析的研究方法。我们将这一研究工作分为训练学习和色诊图像识别 两个阶段。在训练阶段，对全体色诊图像样本采取“切块”处理以增加样本数 量；并根据统计的色诊图像样本属性值分布情况设计了量化梯度，对色诊图像 样本各属性进行归一化处理；对全体色诊图像样本采用k 一均值聚类算法求取各 类色诊图像代表点。建立全体色诊图像样本决策表；提出了一种按独立属性个 数递增顺序进行约简的方法，完成了对全体色诊图像样本决策表的约简；求取 了全体色诊图像样本的核值，且核值数目最少；获得了全体色诊图像样本约简 规则，并通过试验选取了最优的最小决策算法。在色诊图像识别阶段，采用标 准色诊图像样本构造测试集，结合训练阶段得到的最小决策算法，提出了一种 对待测样本在上、下近似集分别打分的综合分类识别算法，进行色诊图像识别 并输出识别结果。 关键词：中医色诊客观化；机器视觉：粗糙集 北京工业大学工学硕士学位论文 a b s t r a c t t h em o d e r n i z a t i o no f t r a d i t i o n a lc h i n e s em e d i c i n e ( t c m ) i st h eo n l yw a y t od e v e l o pt c m ， w h e r e i nt h ec r u c i a ls t e pi st h ec h a r a c t e r i z a t i o na n dd i g i t a l i z a t i o no ft h ef o u rd i a g n o s e s t h e s c i e n c eo f c o l o r i n s p e c t i o n i sa k i n d o f t h ef o u r d i a g n o s e s ，b y w h i c h t h e p a t i e n t s 。c o n d i t i o nc a n b el e a r n e dt h r o u g ht h ec h a n g eo f t h e i rf a c i a lc o m p l e x i o n s h o w e v e r , i ti sg r e a t l yr e s t r i c t e da si t s d i a g n o s i sh a sr e m a i n e da tt h el e v e lo f v i s u a l i z a t i o na n dl i m i t e dt ot h ep e r s o n a le x p e r i e n c eo f t h e o b s e r v e r s m a c h i n ev i s i o ni st h ew a yt h a tp e o p l eu s ec o m p u t e rt or e a l i z eh u m a nv i s i o n ，w h i c h i n c l u d e sf e e l i n g ，r e c o g n i t i o na n dc o m p r e h e n s i o no ft h er e a lw o r l d m a c h i n ev i s i o nc a nn o tb e a f f e c t e db yh u m a n p h y s i o l o g i c a la n dp s y c h o l o g i c a lf a c t o r s ，s oi tc a np r e c i s e l yq u a n f i z et h ec o l o r i n s p e c t i o ni m a g e s ，a n dt h e ng e tc o m p a r a t i v e l yo b j e c t i v ea p p r a i s e ac o l o ri n s p e c t i o ni m a g ea c q u i s i t i o ns y s t e mi sd e s i g n e da n ds e tu pb a s e do nm a c h i n e v i s i o nt h e o r y i no r d e rt om a k et h es y s t e ma c c o r d i n gw i t hv i s u a lo b s e r v a t i o nc o n d i t i o n ，w e d e c i d et oc h o o s e4 5 0o b s e r v a t i o nc o n d i t i o nb yc o m p a r i n gw i t lf o u rd i f f e r e n ta n g l es h o t s a c c o r d i n gt ot h r e em a i nc h a r a c t e r so fl u m p - h o u s e ，w ec h o o s e1 3 6 5l a m p - h o u s ea n ds t a n d a r d i z e t h ei l l u m i n a t i o ne n v i r o n m e n t t h es y s t e mi se q u i p p e dw i t hc m o si m a g es e u s o rt oa c q u k eh i g h q u a l i t yi m a g e sa n du s e du s b 2 0i n t e r f a c et oa r c h i v ei d e a lt r a n s m i s s i o ns p e e d t h ew o r ko f g a t h e r i n gc o l o ri n s p e c t i o ni m a g e si sa c c o m p l i s h e db ys o f t w a r et h a ti sp r o g r a m m e db y v c + + 6 - 0 an e ws c h e m ef o rc o l o ri n s p e c t i o ni m a g e sc l a s s i f i c a t i o ni sp r o p o s e db a s e do nr o u g hs e t t h e o r y w ed i v i d et h er e s e a r c hw o r ki n t ot w os t e p s ，廿m n i n gs t e pa n dc l a s s i f i c a t i o ns t e p ，u n d e r t r a i n i n gs t e p ，t h es i g n e dc o l o ri n s p e c t i o ni m a g e s & r ep r e p r e c e s s e d , i n c l u d i n gi m a g es u b d i v i s i o n ， f e a t u r ee x t m c t i n g ，f e a t u r ez o n i n g ，a n da d d e di n t ot h er o u g hs e tt r a i n i n gd a t a b a s en a m e l yc o l o r i n s p e c t i o ni m a g e sd e c i s i o nt a b l ew i t hk - m e a n sc l u s t e r i n gm e t h o d w es t i l lp r e s e n ta r e d u c t i o n a p p r o a c ha c c o r d i n gt ot h ei n c r e a s e ds e q u e n c eo fi n d e p e n d e n ta t l r i b u t e s u n d e rt h ec o n c e p t i o no f i n d i s c e m i b i l i t yr e l a t i o n ，t h em e a n i n g f u lf e a t u r e s a r ec o l l e c t e d ，t h ed e c i s i o nt a b l ei ss i m p l i f i e d a n dt h em i n i m u md e c i s i o nr u l e sa r ed e d u c e d u n d e rc l a s s i f i c a t i o ns t e p ，w ep u tf o r w a r da n o r i g i n a lc o l o ri n s p e c t i o ni m a g e sc l a s s i f i c a t i o nm e t h o d ，m a r k i n gac o l o ri n s p e c t i o ni m a g e sb o t h a tl o w e ra n du p p e ra p p r o x i m a t i o n t h e nt h ec o l o ri n s p e c t i o ni m a g e sc l a s s i f i c a t i o ni sf i n i s h e d ， a n dt h er e s t i l ti so u t p u t t e d k e y w o r d s ：t h e c h a r a c t e r i z a t i o no f t c mc o l o ri n s p e c t i o n ，m a c h i n ev i s i o n ，r o u g hs e t i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：矗f ；奇 日期：z 办 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名 前菏 导师签名：? 乒蠢彳露。 日期：2 谚多 第1 章绪论 第1 章绪论 1 1 中医色诊客观化的研究背景与意义 1 1 1 中医诊断客观化研究的背景与意义 中医药是中华民族在与疾病长期斗争的过程中积累的宝贵财富，其有效的 实践和丰富的知识中蕴含着深厚的科学内涵，是中华民族优秀文化的重要组成 部分，为中华民族的繁衍昌盛和人类健康做出了不可磨灭的贡献。在继承发扬 中医药优势特色的基础上，充分利用现代科学技术，推动中医药现代化和国际 化，以满足时代发展和民众日益增长的医疗保健需求，是历史赋予我们的责任。 现代科技发展为中医药传承创新提供了有力支撑。随着科学技术的迅速发 展，新理论、新技术、新方法不断产生。2 l 世纪以信息科学、电子科学、生命 科学、生物技术、材料科学、复杂科学和系统科学为前沿的世界科学技术迅猛 发展，自然科学与人文科学问相互交叉、渗透、融合，新兴学科不断产生，不 断增长的知识、大量的数据库、分析工具和技术，为证实和阐明中医药理论的 科学内涵及关键问题的解决提供了新的方法和可能，为中医药的跨越式发展提 供了可能。 中医药创新发展的基本任务是：继承、创新、现代化、国际化。提高中医 药医疗服务能力和产业技术水平是中医药自身发展的需求。研发中医诊疗技术 与专用仪器设备，提高中医诊疗水平是推进中医药现代化发展的主要任务之一。 国家己将中医诊疗技术研究定为优先发展的领域，具体包括：开展中医诊疗技 术研究；研制具有中医特点的诊疗仪器设备；探索中医四诊客观化、规范化方 法【1 1 。 1 1 2 中医色诊研究的意义与方法 色诊，又称望色，是使医生通过观察病人全身皮肤色泽变化来诊察病情的 方法，临床一般以望面部色泽变化为主。它是中医的独特诊法，可以为病症的 定性定位及预后提供一定的诊断依据，具有重要的诊断意义，因而始终为历代 中医学家所重视 7 1 。 难经：“望而知之谓之神望而知之者，望见其五色以 知其病。”千金翼方：。上医察色、次医听声、下医脉候所以善为医者， 必须明于五色，乃可决生死、定狐疑。”均推崇色诊为很高明的诊法。 北京工业大学工学硕士学位论文 望面部色泽之所以能够判断疾病，其原理是因为面部是脏腑气血之外荣， 又为经脉所聚，故面部的变化与脏腑病变息息相关。其次，面部皮肤薄嫩，体 内血气盛衰变化最易通过面部色泽显露出来。此外，病人面部也方便医生观察。 素问脉要精微论日：“夫精明五色者，气之华也”。可见色泽为脏腑气血 之外荣，灵枢邪气脏腑病形篇指出：“十二经脉，三百六十五络，其血气 皆上于面而走空窍”。故望面部色泽可以测知脏腑气血之盛衰【8 】【9 j 【1 0 i 1 1 n 。 观察面部色泽对于疾病的判断具有十分重要的意义，可归纳以下几个方面。 ( 1 ) 判断气血的盛衰。面部是观察人体气血变化的窗口，体内气血的盛衰 在面部反映最及时而明显。例如，面色红润光泽，为气血充盛；面色淡白无华， 为气血不足；面色晦暗青紫，多属气血瘀滞等。 ( 2 ) 识别病邪的性质。肌体感受不同病邪，会引起体内不同的病理变化， 反映在面部就会出现不同的色泽改变。如面部色赤多为热邪，色白多为寒邪， 色青紫多为气滞血瘀，面目色黄鲜明为湿热熏蒸等。 ( 3 ) 确定疾病的部位。面部具有“全息”现象，蕴藏着大量的脏腑生理病 理信息，观察面部不同部位的色泽变化，可以诊察相应脏腑的病变。 ( 4 ) 预测疾病的轻重与转归。凡五色明亮润泽、含蓄不露者，称为善色， 是脏腑气血充足，精神健旺，能够上荣于面的表现；即使有病，病情也较轻， 预后良好。凡五色晦暗枯槁、真色暴露者，称为恶色，表明气血匮乏，脏腑精 神衰败，不能上荣于面，主病深重，预后较差。 根据内经记载，具体的审查方法有两种。 ( 1 ) 按照五色与五脏的对应关系诊察：即青为肝色，赤为心色，黄为脾色， 白为肺色，黑为肾色。 ( 2 ) 按照颜面的脏腑分部位诊察：颜面的脏腑分部法有两种。其一为灵 枢五色划分法：先将面部划分为不同的部位并给予命名，即前额庭、 颜，眉间阙，鼻明堂，颊侧藩，耳门蔽等，如图1 - 1 所示， 然后规定脏腑在面部的分属，如图1 2 所示。其二为 素问刺热篇划分法： 即左颊候肝，右颊候肺，额候心，鼻候脾，颏候肾。 面色可分为常色和病色两大类。常色，即健康人面部的常见色泽。中国人 属黄种人，正常面色是红黄隐隐、明润( 明亮润泽) 含蓄( 红黄之色隐藏于光 泽之间，皮肤之内) 。这是人体精充神旺、气血津液充足、脏腑功能正常的表现。 病色，即人体在疾病状态下面部出现的色泽。除常色之外，一切反常的色泽均 属病色。 第1 章绪论 图1 - 1 明堂藩蔽图 f i g1 - 11 ) i a g r a mo f m i n gt a n gf a nb i 病态面色大致可分为青、赤、黄、 性质的疾病。 图1 - 2 面部色诊分属部位图 f i g1 - 2o r g a n sm a p p i n gi nc o l o ri n s p c c t i o n 白、黑五种，分别提示不同脏腑和不同 ( 1 ) 青色，较常色更青者。总属经脉瘀滞，气血运行不畅，外现于面部所 致。主瘀血、肝病、寒症、病症、惊风。 ( 2 ) 赤色，较常色更红者。多因热盛而脉络扩张，面部气血充盈所致，亦 可见于虚阳浮越。主热证，亦见于戴阳证。 ( 3 ) 黄色，较常色更黄者。多由脾虚不运，气血不足，面部失荣，或湿邪 内蕴所致。主脾虚，湿证。 ( 4 ) 白色，较常色更白者。多由气虚血少，或阳气虚弱，无力行血上充于 面部脉络所致。主虚寒、气血不足、失血。 ( 5 ) 黑色，较常色更黑者。多因肾阳虚衰，血失温养，脉络拘急，血行不 畅，或肾精亏虚，面部失荣所致。主肾虚、寒证、水饮、血瘀。 中医色诊学的理论技术自成体系，2 0 0 0 年来积累了丰富的经验，但由于历 史条件的限制，一直停滞在靠直观目测、用语言描述的感官水平，受医师经验 多少和语言表达能力所左右，主观性强、明确性差，难于掌握。 因此，对中医色诊的客观化、定量化、标准化进行研究，对于中医辩证规 范化及中医色诊临床、教学、科研手段的现代化，解决制约发挥中医特色优势 的重大基础科学问题，具有重要的理论价值和实际意义。 北京工业大学工学硕士学位论文 1 2 色诊客观化的研究进展 1 2 1 研究进展 早在1 9 8 8 年，谈正卿提出中医医学工程的概念，即把现代自然科学技术和 工程技术的原理和方法与中医学密切结合起来，其中提出了中医辨证旌治的人 工智能化【1 2 1 。在该思想的指导下，研究人员利用各种光电仪器设备采集光信号， 然后把光信号转为电信号，输入到电子计算机，经计算机分析处理而取得病人 色诊客观定量结果 2 1 1 3 4 。 ( 1 ) 色差计的应用 胡丕丽利用日本产c p 6 r - 1 0 0 1 d b 型携带式测色色差仪，测定2 1 7 例五脏病 患者面色，与正常组比较，五脏病面色均偏晦暗，以肝病组最暗黑，心病组最 偏红，脾病组面黄少华，肾病组面色苍白而黄，肺病组则面色稍红l 】。 蔡光先利用c p 6 r - 1 1 0 z d p 型携带式色差计分别检测了健康人的面部色泽、 对病理五色的定量计测及常色的色度测定。他提出，正常面部色泽，光泽度和 红光方面，女性普遍高于男性，男女都有随年龄的增加而减小的趋势。黄光， 男性普遍高于女性，而且男女都有随年龄的增加而增加的趋势。科学定量地证 明了人体面部色泽在春夏秋冬之间有一定变化的理论是正确的【“儿”】。 ( 2 ) 光电血流容积仪的使用 胡志希等人应用g d 3 型光电血流容积面诊仪与p c l a b 生物机能系统匹配， 观察额部、左颊、右颊、鼻头、下颌的血流容积指标及三类偏色的血流容积指 标情况。他的研究表明，健康人颜面五部微血管分布和开放的数量及小血管顺 应性的差异影响了不同部位血流容积参数的变化，提示鼻头与二颊血管丰富； 血管弹性好；血流量大，故血管容积较大，而额部和下颊皮下组织较少，微血 管分布和开放的数量较少，故血管容积较少。印证了“心华于面”；“鼻分属于 脾”；“体表一内脏相关”的中医理论【1 6 】【切。 袁肇凯应用b c - 4 型定量式光电血管容积仪对4 4 7 例5 类病理面色忠者和 4 0 侧面色红黄明润的健康人的面颊进行检测分析。结果表明，面部病理5 色与 正常面色在h b r a b ；t t a g 、t a b t a g 、h e h b 和 t a e - t a b t a 9 5 项参数比较均有 显著性差别( 均p 0 0 5 或p 0 0 1 ) ；各病理面色组之间比较，上述各项参数也 有显著差别。其结论是5 类病理面色均具有相应的光电血管容积图参数特刎1 8 1 。 ( 3 ) 红外热像仪的应用 陈振湘利用红外热像仪对阴阳寒热证患者、脾胃病患者进行亟部温度检测。 提出临床上寒象越重，面部温度越低，该仪器可作为阴阳寒热辨证的客观指标 第1 章绪论 之一；而脾胃病中脾胃虚寒证和脾胃湿热证患者红外面图的明暗度都异常，虚 寒证暗区占优势【1 9 1 。 张世亮等利用红外线成像技术，对3 1 例中医辨证属于阳亢型或阳虚型的高 血压病患者面部温度进行了研究，发现阳亢型患者面部平均温度明显高于阳虚 型患者的面部平均温度，且二者有非常显著的差异冽。 吴敏等选用红外热像仪对7 0 0 名学龄期健康儿童面部红外热象望诊，发现 正常学龄期儿童在男女性别之间面部温度均值比较无显著差异，在面部的红外 热象谱上具有明显的规律性；健康面色以淡黄淡白透红为主，色泽润泽，额部 色泽偏黄m i 王鸿谟等使用瑞典a g a 7 8 2 红外热像仪摄取4 6 例健康青年红外面图，通 过数理分析，发现面温与阳气呈正相关的多种现象。故依据中医学理论提出： 凡不符合正常值范围者为病态，高于上限者可考虑为实热阳证，低于下限者可 考虑为虚寒阴证【5 】网。 1 2 2 机器视觉用于色诊客观化的优势 机器视觉可以简单地理解为用视觉传感器代替人的眼睛，用计算机代替人 的大脑，从而完成对周围环境和目标的感知、识别和理解。其硬件组成主要包 括计算机、视觉传感器( 模拟图像信号转换为数字信号) 、光源等。其基本原理 是利用视觉传感器获得物体的二维图像信息，通过信号转换将图像信息转变成 计算机能接受的数字图像，进行处理并加以理解，最终获得用于决策的结论。 机器视觉是一门新兴的发展迅速的学科，上世纪八十年代以来，机器视觉 的研究已经历了从实险室走向实际应用的发展阶段。从简单的二值图像处理到 高分辨率多灰度的图像处理，从一般的二维信息处理到三维视觉机理以及模型 和算法的研究都取得了很大的进展。而计算机工业水平的飞速提高以及数字图 像处理、模式识别和人工智能等学科的发展，更促进了机器视觉系统的实用化 和涉足许多复杂视觉过程的研究。 综上所述，在各种色诊客观化的方法中，机器视觉方法能够比较全面地反 映面部的情况，符合中医色诊的习惯，便于色诊图像的采集与保存，具有较好 的实用价值。它能够充分利用计算机的资源，实现色诊图像的显示、处理、分 析、存储、管理等，具有很大的灵活性，也便于软硬件的升级换代，使系统的 性能不断提高。另一方面，机器视觉技术的应用非常广泛，长期持续为信息处 理领域的研究热点，已形成了很多实用性的研究成果。因此，采用基于机器视 觉的方法进行色诊客观化的研究，能够集成现代信息处理技术，广泛借鉴其它 领域的研究和应用成果，具有较好的先进性和可行性。 北京工业大学工学硕士学位论文 1 3 论文的研究内容 本论文的研究重点集中在以下两方面： ( 1 ) 中医色诊图像采集系统 在详细分析人类视觉系统的基础上，系统地阐述了机器视觉理论的基础知 识，深入地比较了机器视觉与人类视觉的异同。对m a r r 视觉计算理论和色度学 中有关颜色模型及其转换的理论作了必要的总结。 基于机器视觉理论，结合色诊图像采集自身的特点，分析了中医色诊图像 采集的系统需求，设计了中医色诊图像采集系统框图。 根据光源的显色性、色温、发光强度等影响成像质量的因素，选择d 6 5 光 源作为中医色诊图像采集系统的选用光源。通过对四种照明和观测条件的比较， 选择4 5 ，0 几何条件，实现了中医色诊图像采集光学环境的标准化。 通过充分的市场调研和详细的技术性能比较，确定了视觉传感器的类型及 传输接口。选择c m o s 图像传感器和u s b 2 0 传输接口，满足了中医色诊图像 采集系统对图像质量和传输速度的要求，完成整个采集系统的搭建和调试，实 现了系统的小型化和便携性。 简要介绍了系统软件的处理流程，操作软件完成色诊图像的采集，通过手 工分割方式获得了中医色诊图像样本。 ( 2 ) 粗糙集用于中医色诊分析 系统地阐述了粗糙集理论的基础知识，对信息系统、信息系统的约简和决 策规则发现算法作了较为深入的归纳和总结。 基于粗糙集理论，按照机器视觉的一般方法，结合色诊图像分类自身的特 点，设计了粗糙集用于色诊图像分类的整体研究框图。 为了增加样本数量，对全体色诊图像样本采取“切块”处理：根据统计的 色诊图像样本属性值分布情况设计量化梯度，对色诊图像样本各属性进行归一 化处理；对全体色诊图像样本采用k - 均值聚类算法求取各类色诊图像代表点。 建立全体色诊图像样本决策表；提出了一种按独立属性个数递增的顺序进 行约简的方法，完成了对全体色诊图像样本决策表的约简：求取了全体色诊图 像样本核值，且核值数目最少；获得了全体色诊图像样本约简规则，并通过试 验选取了最优的最小决策算法。 提出了一种基于粗糙集理论，对待测样本在上、下近似集分别打分的综合 分类识别方法，获得了预期的分类识别效果；前期工作中曾提出了一种对待测 样本根据识别难度逐轮分类识别的方法，但分类识别效果欠佳，文中对此结果 进行了较为详细的分析。 第1 章绪论 1 4 论文的结构安排 论文共有五章，安排如下： 第1 章绪论。分绍中医色诊客观化研究的背景与意义，概括了中医色诊诊 断一般方法。对色诊客观化的研究进展进行了总结，并分析了机器视觉用于色 诊客观化的优势。 第2 章机器视觉理论。在详细分析人类视觉系统的基础上，系统地阐述了 机器视觉理论的基础知识，深入地比较了机器视觉与人类视觉的异同。对m a r t 视觉计算理论和色度学中有关颜色模型及其转换的理论作了必要的总结。 第3 章粗糙集理论。系统地阐述了粗糙集理论的基础知识，对信息系统、 信息系统的约简和决策规则发现算法作了较为深入的归纳和总结。 第4 章中医色诊图像采集系统。在第二章机器视觉理论的基础上，分析了 中医色诊图像采集系统的需求，设计了中医色诊图像采集系统框图。通过光源 和照明观测条件的比较选择，建立了标准化的光学环境。通过充分的市场调研 和详细的技术性能比较，确定了视觉传感器及传输接口的类型，完成整个采集 系统的搭建和调试。简要介绍了系统软件的处理流程，通过手工分割方式获得 了中医色诊图像样本。 第5 章粗糙集用于中医色诊分析。在第三章粗糙集理论的基础上，结合机 器视觉的一般方法，设计了粗糙集用于色诊图像分类的整体研究框图。通过对 全体色诊图像样本的预处理，建立了全体色诊图像样本决策表，完成了属性约 简、求取了核值、获得了全体约简规则及最小决策算法。提出了一种基于粗糙 集理论，对待测样本在上、下近似集分别打分的综合分类识别方法。 最后对全文进行了总结，并对今后的工作进行展望。 北京工业大学工学硕士学位论文 第2 章机器视觉理论 人类在征服自然、改造自然和推动社会进步的过程中，面临着自身能力、 能量的局限性，因而发明和创造了许多机器来辅助或代替人类完成任务。智能 仪器，包括智能机器人，是这种机器最理想的形式，也是人类科学研究中所面 临的最大挑战之一。智能仪器是指这样一种系统，它能模拟人类的功能，能感 知外部世界并有效地解决人所能解决的问题。人类感知外部世界主要通过视觉、 触觉、听觉和嗅觉等感觉器官，其中8 0 的信息是由视觉获取的，这既说明视 觉信息量巨大，也表明人类对视觉信息有较高的利用率。人类视觉过程可看作 是一个复杂的从感觉( 感受到的是对3 d 世界之2 d 投影得到的图像) 到知觉 ( 由2 d 图像认知3 d 世界内容和含义) 的过程，视觉的最终目的从狭义上说 是要对场景做出对观察者有意义的解释和描述，从广义上讲，还有基于这些解 释和描述并根据周围的环境和观察者的意愿制定出行为规划。因此，对于智能 仪器来说，赋予机器以人类视觉功能对发展智能仪器是极其重要的，也由此形 成了一门新的学私卜一机器视觉。机器视觉的发展不仅将大大推动智能系统的 发展，也将拓宽计算机与各种智能仪器的研究范围和应用领域。机器视觉与人 类视觉密切相关，对人类视觉有一个正确的认识将对机器视觉的研究非常有益， 为此我们将先介绍人类视觉。 2 1 人类视觉 2 1 1 人类视觉系统 人的眼睛可以分辨出只有几十个光子的微弱光线，可以判断出垂直线不到 1 度的倾斜，可以引导人们穿过拥挤的路口，还可以认出图画中物体的名称等。 总之眼睛具有许多功能，中国人甚至还有“眼见为实”的谚语。当然，这里所 说的眼睛事实上是指眼脑系统田】洲。眼脑系统在完成上述这些视觉功能时涉及 不同的视觉信息处理过程。人的视觉处理过程的特点，是一个从低到高的分层 结构。例如，从一幅图画中认出图中的物体就需要不同层次的信息处理。首先 要分辨出表示物体的线条，这涉及低层的视觉信息处理，根据以往的知识和经 验，经过符号解释识别物体的类别就涉及高层的处理。对人类视觉的研究就是 试图分辨这些层次，弄清各个层次所起的作用，为此要进行各种实验研究。在 这里我们所感兴趣的是对人类视觉进行的心理物理学( p s y c h o p h y s i c s ) 和神经 - s - 第2 章机器视觉理论 生理学( n c u r o p h y s i o l o g y ) 实验，以及这些实验结果对机器视觉研究的影响。 为了便于区分这两种实验的研究领域，我们来分析一下眼睛和大脑细胞对输入 刺激的响应情况。如图2 1 所示，生物视觉系统的研究可分成二个层次。第一 层是关于单个神经细胞的特性。它研究当受到某种输入信号的刺激时单个细胞 的反应模式。一般来说，神经生理学主要研究单个或一小簇神经细胞的行为。 这时通常要实验量测神经细胞对输入信号所作的编码输出。其中可能包括输出 编码信号的空间位置、作用频率、响应幅度等。当然，这些神经细胞是相互联 系，共同配合产生输出的，特别在高层的视觉处理中更是这样的。但要研究神 经网络中的这些细胞是如何相互影响和作用是非常困难的。神经网络对视觉信 息处理的作用是生物视觉系统研究中的第二个层次。对这个层次的研究仅仅是 建立在发现输入信息与感知输出之间对应关系的基础上，这就是经典的黑箱实 验方法。这第二个研究层次就是心理物理学的研究范围嘲嘲。 图2 - 1 生物视觉系统的研究层次 f i g2 - 1r e s e a r c hl e v e l so f b i o l o g y v 培i o n 我们可以把人类视觉系统看成一个有生命的光学变换器和信息处理系统。 眼睛就是光学变换器，并能进行部分处理工作。事实上在进化阶段上越是低级 的生物，它们的眼睛越担负更多的处理功能。为便于说明可把人类视觉系统分 成三部分，如图2 2 所示。这三部分都相当复杂，但相比而言，第一部分是光 学系统，由于有关的神经活动最少，因此最为简单。第二部分是视网膜，它把 光信号转变成电信号，并进行某些细胞一级的处理。第一部分和第二两部分都 在眼睛里。最后一部分是视觉通路，它实质上是代表从视网膜到大脑皮层的视 觉通路上所完成的复杂处理的统称。 图2 - 2 人类视觉系统组成 f i g2 - 2c o m p o n e to f h u m a nx r m i o n 孕 北京工业大学工学硕士学位论文 2 1 2 眼球的光学系统 人眼的外形接近球形，是一个直径为2 4 毫米的球状体，又称为眼球。眼球 壁由巩膜、脉络膜和视网膜组成，如图2 - 3 所示。巩膜在眼球壁最外面，它主 要起着巩固、保护眼球的作用。巩膜前面有六分之一是透明的，这部分称为角 膜。角膜厚度约为l 毫米，直径为1 1 毫米，它好象是眼睛的玻璃窗户。光线由 角膜射入眼内。 缉黎 夕 i l 光- p 蛐 i i t 1 蝴 辩 l 边； l 。 t 斟 图2 - 3 人眼模式图 f i g2 - 3s t r u c t u r eo f h u m a ne y e 脉络膜紧贴巩膜，起输送养料、滋养眼睛的作用。脉络膜最前面的环状部 分为虹膜。眼的颜色由虹膜中的色素决定。虹膜中央有一个小圆孔，叫做瞳孔。 瞳孔能控制进入眼内的光量，它可随光线的强弱而扩大或缩小，起照相机光圈 的作用。 虹膜后面为水晶体，它是透明的胶状体，并富有弹性。它将光线聚焦到视 网膜上。角膜与虹膜之间的空问为前房，位于虹膜和水晶体之间的空间为后房。 这两个房都充满水样液。水晶体后面的空间充满着叫玻璃体的液体。 眼球的第三层是视网膜，约占眼球内表面的2 3 。它含有感光细胞( 杆体细 胞和锥体细胞) 。从眼睛的构造可知，它的光路是由以下几部分组成：角膜、水 样液、虹膜、瞳孔、水晶体和玻璃体等。光线通过角膜进入眼球，然后经过水 样液到达虹膜。虹膜上的瞳孔随着光线的强度变化它的孔径大小( 从2 毫米到 8 毫米) 。强光时缩小、弱光时扩大。光线通过瞳孔后经过水晶体和玻璃体最后 到达视网膜。水晶体和玻璃体各有不同的折射率，以确定在视网膜上得到清晰 的成像。眼睛的感光系统就是视网膜，它如同照相机的底片。 第2 章机器视觉理论 2 2 机器视觉 2 2 1 机器视觉概念 机器视觉主要研究用计算机来模拟人的视觉功能，从客观事物的图像中提 取信息，进行处理并加以理解，最终用于实际检测、测量和控制。一个典型的 机器视觉应用系统包括光源、光学成像系统、图像捕捉系统、图像数字化模块、 数字图像处理模块、智能判断决策模块和机械控制执行模块，如图2 - 4 所示。 首先采用摄像机或其它图像拍摄装置将目标转换成图像信号，然后转变成数字 化信号传送给专用的图像处理系统，根据像素分布、亮度和颜色等信息，进行 各种运算来抽取目标的特征，根据预设的容许度和其它条件输出判断结果。 图2 - 4 典型机器视觉系统结构 f i g2 - 4s t r u c t u r eo f m a c h i n ev i s i o ns y s t e m 机器视觉主要有两类研究方法：一类是仿生学的方法，参照人类视觉系统 的结构原理，建立相应的处理模块完成类似的功能和工作；另一类是工程的方 法，从分析人类视觉过程的功能入手，并不去刻意模拟人类视觉系统的内部结 构，而仅考虑系统的输入和输出，并采用任何现有的可行的手段实现系统功能。 机器视觉的研究耳标可归纳成两种，它们互相联系补充。第一个目标是建 成机器视觉系统，完成各种视觉任务。换句话说就是使计算机能借助各种视觉 传感器( 如c c d 、c m o s 图像传感器等) 获取场景的图像，而感知和恢复3 - d 环境中的几何性质、姿态结构、运动情况、相互位置等，并对客观场景进行识 别、描述、解释，进而做出决断。第二个研究目标是把该研究作为探索人脑视 觉工作机理的手段，进一步加深对人脑视觉的掌握和理解( 计算神经科学) ，主 要研究的是生物学机理。这里要指出的一点是在机器视觉系统中，计算机起代 替人脑的作用，但并不意味着计算机必须按人类视觉的方法完成视觉信息的处 理。机器视觉可以而且应该根据计算机系统的特点来进行视觉信息的处理。但 是，人类视觉系统是迄今为止，人们所知道的功能最强大和完善的视觉系统， 可以说对视觉机理的研究和了解还远落后于对视觉信息处理的研究和掌握。机 北京工业大学工学硕士学位论文 器视觉是一个相当新而且发展十分迅速的研究领域，并成为计算机科学的重要 研究领域之一。 有不少学科的研究目标与机器视觉相近或与此有关。这些学科包括图像处 理、模式识别或图像识别、景物分析、图像理解等。由于历史发展或领域本身 的特点这些学科互有差别，但又有某种程度的相互重叠。 ( 1 ) 图像处理 图像处理技术把输入图像转换成具有所希望特性的另一幅图像。例如，可 通过处理使输出图像有较高的信噪比，或通过增强处理突出图像的细节，以便 于操作员的检验。在机器视觉研究中经常利用图像处理技术进行预处理和特征 提取。 ( 2 ) 模式识别( 图像识别) 模式识别技术根据从图像抽取的统计特性或结构信息，把图像分成预定的 类别。例如，文字识别或指纹识别。在机器视觉中模式识别技术经常用于对图 像中的某些部分( 例如分割区域) 的识别和分类。 ( 3 ) 图像理解( 景物分析) 给定一幅图像，图像理解程序不仅描述图像本身，而且描述和解释图像所 代表的景物，以便对图像代表的内容做出决定。在人工智能视觉研究的初期经 常使用景物分析这个术语，以强调二维图像与三维景物之间的区别。图像理解 除了需要复杂的图像处理以外，还需要具有关于景物成像的物理规律的知识以 及与景物内容有关的知识。 在建立机器视觉系统时需要用到上述学科中的有关技术，但机器视觉研究 的内容要比这些学科更为广泛。机器视觉的研究与人类视觉的研究密切相关。 为实现建立与人的视觉系统相类似的通用机器视觉系统的目标，需要建立 人类视觉的计算理论。 2 2 2 机器视觉与人类视觉的比较 目前人们所建立的各种视觉系统绝大多数是只适用于某一特定环境或应用 场合的专用系统，而要建立一个可与人类的视觉系统相比拟的通用视觉系统是 非常困难的。主要原因有以下几点： ( 1 ) 图像对景物的约束不充分。首先是图像本身不能提供足够的信息来恢 复景物，其次是当把三维景物投影成二维图像时丧失了深度信息。因此，需要 附加的约束才能解决从图像恢复景物时的多义性。 ( 2 ) 多种因索在图像中相互混淆。物体的外表受到材料的性质、空气条件、 光源角度、背景光照、传感器角度和特性等因素的影响。所有这些因素都归结 第2 章机器视觉理论 到一个单一的测量，即像素的灰度。要确定各种因素对像素灰度的作用大小是 很困难的。 ( 3 ) 理解自然景物要求大量知识。例如，要用到阴影、纹理、立体视觉、 物体大小的知识，关于物体的专门知识或通用知识，可能还有关于物体间关系 的知识等。由于所需的知识量极大，难以简单地用人工进行输入，可能要求通 过自动知识获取方法来建立。 ( 4 ) 人类虽然自己就是视觉的专家，但他又不同于人的问题求解过程，难 以说出自己是如何看见事物，从而给机器视觉的研究提供直接的指导。 强调机器视觉研究与人类视觉研究之间的紧密关系，并不意味着机器视觉 系统要机械地模仿人类视觉系统。因为生物视觉系统是生存竞争中进化的产物， 带有由此而来的优点和局限性。影响生物或人类视觉系统的因素有： ( 1 ) 能否根据距离的远近对不同的物体，特别是对不同的生物做出不同反 应的能力应该是视觉系统发展中的重要准则。视觉系统的优点在于不与环境直 接接触就可以做出响应。如果视觉系统不能反应距离远近，那么就使视觉系统 的这个优点受到严重限制。 ( 2 ) 应用视觉的初等生物体需要有能力自动地对环境的刺激做出响应。理 解能力是进化的更高阶段中感知过程的结果。 ( 3 ) 感觉机制必然是在足以确保生存或对生存有利的基础上发展起来的。 因此不能认为这些机制是利用了从数学或计算机观点来看的最优解。所以有必 要具体分析人类视觉系统的特点。人类视觉系统大致有以下特点：具有高分辨 率，可立体观察，优越的识别能力和灵活的推理能力，可灵活地根据各种视觉 线索进行推理。 在机器视觉系统中如果在计算中保持物体的刚性假设就可以避免一些不可 靠的感觉。虽然人类视觉中的近似有时会造成错误，但比单纯应用刚性假设可 能有以下优点： ( 1 ) 这样的近似使系统不至于过分偏向于刚体运动的感知，不然就会反过 来影响对非刚体的感知。 ( 2 ) 人类视觉系统所应用的启发式感知的过程对生理系统来说可能要比采 用通用的刚性物体假设简便。 ( 3 ) 人类视觉系统对几何问题不采用严格求解方法的原因是这样可以更为 迅速地求解。对动物的生存来说，一个可迅速地探测到潜在危险的近似求解方 法，比一个虽然可准确识别但费时过多的方法要有用得多。 除了以上特点以外，人类视觉系统有分辨率高、识别能力优越、能进行灵 活的推理等优点，以及在根据外部成像推论物体三维形状或姿态时会产生严重 北京工业大学工学硕士学位论文 错误的弱点。综上所述，从建立通用的机器视觉系统的角度来看，关键点不是 机械地模仿人类视觉系统，而是通过对人类视觉系统的研究发现是什么因素使 人类视觉系统的性能如此之好，并且把它结合到机器视觉系统中去。为了便于 理解，现将机器视觉与人类视觉对比，如表2 1 、表2 - 2 所示。 表2 - 1 机器视觉与人类视觉能力比较 t a b l e2 - 1c a p a b i l i t yc o m p a r i s o nb e t w e e nm a c h i n ev i s i o na n dh u m a n 、r l s i o n 能力机器视觉人类视觉 测距能力非常局限定量估计 定方向定量计算定量估计 琏明分析定量分析，但受限制定量分析 检测边界区域 对噪声比较敏感定量、定性分析 图像形状受分割、噪声制约高度发达 图像结构需要专用软件，能力有限高度发达 阴影初级水平高度发达 二维解释 对分割完善的目标能较好解释高度发达 三维解释非常低级高度发达 总的能力最适于结构环境的定量测量最适于复杂的、非结构化环境的定量解释 表2 2 机器视觉与人类视觉性能标准比较 t a b l e2 - 2p e r f o r m a n c ec o m p a r i s o nb e t w e e nm a c h i n ev i s i o na n dh u m a nv l s i o n 性能标准机器视觉人类视觉 分辩率能力非常局限定量估计 处理速度每帧零点儿秒图像定量估计 处理方式串行处理，部分并行处理每只眼睛每秒处理( 实 时) 1 0 1 0 空间数据 视觉功能二维三维立体视觉很难自然形式三维立体视觉 感光范围