（计算机应用技术专业论文）基于临床舌像的客观化舌诊数字系统关键技术研究.pdf

摘要 舌诊是望诊的主要内容之一，最具有中医特色的传统诊断方法。舌像也是反 映人体生理功能和病理变化最敏感的指标，在中医诊疗疾病过程中具有重要的应 用价值。近十年随着信息技术的发展，以计算机图像分析技术为主要手段，舌诊 客观化检测方法正在进行一种全新的尝试。 本文在舌苔舌质分离、颜色识别与裂纹分析方面作了一些有益的尝试，对于 前人的工作做了适当的总结。 首先，集中讨论了图像的采集过程中的数字舌像的标准采集、图像的预处理 阶段，简要介绍了舌像拍摄的硬件选取以及舌像预处理的相关问题。接着完成舌 体目标的分割，即将舌像从原始图像中分离，并进一步完成舌体与舌苔的区域分 割和舌尖、舌边、舌中、舌根的部位划分，针对舌苔与舌质的分离，详细讨论了 实现的若干种方法，对各种方法进行比较，并给出分析数据和结果。舌诊信息分 析主要进行了颜色信息分析与识别、裂纹提取与分析理( 属于纹理分析) ：针对 舌苔与舌质的颜色识别，分析了图像处理常用的颜色模型的适用性，并就l a b 颜色模型给出识别方法和结果；对于裂纹分析，主要讨论了尝试进行识别、提取 与分析的过程。 本文对舌像的研究工作的主要内容及创新主要包括以下三点： ( 1 ) 舌苔与舌质的分离。在同课题组同学舌体提取的基础上，通过比较以 下方法：阈值分割、自动阈值、模糊聚类、纯分裂算法、分裂合并，讨论自动舌 苔与舌质分离的实用性、分析各方法的结果、准确度以及适用情况； ( 2 ) 舌苔与舌质的颜色分析。基于舌苔舌质的分离结果，从常用颜色空问 入手，讨论适用于舌苔舌质颜色分析的颜色模型，并提出判定对各苔色、舌色隶 属度的计算公式； ( 3 ) 对舌面纹理之一的裂纹进行了分析，提出用检测器判定裂纹存在性、 提取器进行提取、并计算可见指数、深浅度指数以便定量地给出相关指标。裂纹 存在性指数和可见指数、深浅度指数是对裂纹定量描述的有益尝试。 关键词：图像分割：舌苔舌质分离；颜色分析；裂纹 a b s t r a c t t o n g u ed i a g n o s i si sam a j o rc o n t e n to fc h i n e s et r a d i t i o n a lm e d i c i n e ，a n di st h e m o s tc h a r a c t e r i s t i cd i a g n o s i sm e t h o d t o n g u ei m a g ec a nr e f l e c th u m a nb o d y s p h y s i o l o g i c a lf u n c t i o n sa n dp a t h o l o g i c a l f e a t u r ek e e n l y , t h u sh a sa ni m p o r t a n t a p p l i c a t i o nv a l u e w i t l lt h ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , a n db a s e do na d i g i t a li m a g ep r o c e s s i n gk n o w l e d g e ，r e s e a r c ho nt o n g u ed i a g n o s i si su n d e r g o i n g b r a n dn e wt r i a l t h i st h e s i sf o c u so ns o m en e w t h o u g h t sa b o u ts e p a r a t i o no ft o n g u ea n df u r , c o l o r r e c o g n i t i o n ，f i s s u r ed e t e c t i o n ，a n da l s oi n t r o d u c t i o na n ds u m m a r yo fp r e d e c e s s o r s w o r k s f i r s to fa l l ，t h i sa r t i c l ei n t r o d u c e st o n g u ei m a g ec a p t u r i n gp r o c e d u r e ，i n c l u d i n g s t a n d a r dc a p t u r i n gh a r d w a r ec h o i c e ，t h e c a p t u r i n g o p e r a t i o na n dt o n g u ei m a g e p r e p r o c e s s i n g 。t h e ni tg i v e ss e v e r a lk e yp o i n t so ft o n g u ee x t r a c t i o n ，w h i c hm e a n st o g e tt h et o n g u e sm a j o rp a r tf r o mo r i g i n a li m a g e ，a n dr e g i o nd i v i s i o n ，s e p a r a t i o no f t o n g u ea n df u r i te n u m e r a t e ss e v e r a lw a y st od ot h es e p a r a t i o ni nd e t a i l s ，c o m p a r e e a c hm e t h o dw i t ho t h e r sa n dl i s t sf i n a lc o m p a r i s o nr e s u l t s b a s e d0 1 1t h i ss e p a r a t i o n r e s u l t ，t h i sa r t i c l ee x p l o r e sf u r t h e rw i t hc o l o ra n a l y s i s ，f i s s u r ed e t e c t i o na n da n a l y s i s w i 氇t h ec o l o ra n a l y s i s ，b a s e do nf r e q u e n t l yu s e dc o l o rm o d e l ，i ta n a l y s e st h e i r e f f e c t i v e n e s sa n dl i s t sc a l c u l a t i o nr e s u l t s ，a n dd e t a i l sa n a l y s i s 谢t hl a bc o l o rm o d e l w i t ht h ef i s s u r ed e t e c t i o n ，i ti n t r o d u c e sa n a l g o r i t h mw h i c hh a s ac r e a t i v ep e r s p e c t i v e b yu s i n gc o m p r i s e sd e t e c t o r , e x t r a c t o ra n da n a l y z e rt om e a s u r ef i s s u r eq u a n t i t a t i v e l y t h em a i nc o n t e n t sa n di n n o v a t i o no ft h i st h e s i sm a i n l yc o n t a i n st h ef o l l o w i n g t h e r ep a r t s ： ( 1 ) s e p a r a t i o no ft o n g u ea n df u r b a s e du p o nc o l l e a g u e sw o r ko ft o n g u e e x t r a c t i o n ，t h i sp a p e re n u m e r a t e st h ef o l l o w i n gm e t h o d ：t h e s h o l d i n g ，a u t ot h e s h o l d i n g ， f u z z yc l u s t e r i n g ，r e g i o ns p l i t t i n g ，r e g i o ns p l i t t i n ga n dm e r g i n g ，a n dc o m p a r e se a c h m e t h o d 、桥me a c ho t h e r , a n dd i s c u s s e se a c hm e t h o d s p r a c t i c a b i l i t y ( 2 ) c o l o ra n a l y s i so ft o n g u ea n df u r b a s e do nf r e q u e n t l yu s e dc o l o rm o d e l ，t h i s p a p e rg i v e st h es u b j e c t i o ni n d e xf o r m u l a , w h i c hi su s e dt od i s t i n g u i s hs i m i l a r i t yt o d i f f e r e n tt o n g u ea n df u rc o l o rc a t e g o r i e s ( 3 ) f i s s u r ed e t e c t i o n t h i sp a p e ri n t r o d u c e sa na l g o r i t h mw h i c hu s e saf a s t d e t e c t o rt oj u d g ei ft h e r ei sf i s s u r eo nt h et o n g u eo rn o tf i r s t ，f o rt h o s ei m a g e sw h i c h i i i h a v ef i s s u r e ，am o d i f i e dr e g i o ng r o w i n go p e r a t o rb a s e do nc o n f i d e n c ec o n n e c t e d c o u l de x t r a c tf i s s u r er e g i o no u t ，f i n a l l y , a na n a l y z e rc a l c u l a t e sf v i ( f i s s u r ev i s i b i l i t y i n d e x ) a n df d i ( f i s s u r ed e p t hi n d e x ) t op r e s e n t sf i s s u r ep r o p e r t i e s 。 k e y w o r d s ：i m a g es e g m e n t a t i o n ；s e p a r a t i o no ft o n g u ea n df u r ；c o l o ra n a l y s i s ； f i s s u r e 图片索引 图1 1 舌诊信息计算机识别总体框架7 图2 1 入库舌像的构图1 2 图2 - 2e x i f 头部信息1 4 图2 3 典型舌图像。1 4 图2 - 4 图2 3 对应的e x i f 信息1 5 图2 5 新建m a t l 曲d e p l o y 项眉1 7 图2 6 设置工程属性1 8 图2 7w r a p p e r 类。2 0 图2 8 未提取舌像界面2 0 图2 - 9 提取结果界面2 l 图3 1 阂值法待分离舌像2 6 图3 2 闽值法分离结栗。2 6 图3 3 舌像及其对应豹r 、g 、b 灰度匿2 7 图3 4 双峰法计算方法。2 8 图3 5 双峰法待分离舌像2 9 图3 - 6 双峰法分离结果。2 9 图3 7 大津法待分离舌像3l 图3 8 大津法分离结采3 l 图3 - 9 分裂合并法待分离舌像3 4 图3 1 0 分裂合并法分离结果3 4 图3 1 l 聚类方法待分离舌像3 7 图3 1 2 聚类方法分离结果3 8 图3 1 3 已提取的舌体3 8 图3 1 4 阈值法分离结果3 9 图3 1 5 区域分裂合并方法分离结果3 9 图3 16 模糊聚类方法分离结果4 0 图4 1 进行颜色分析的舌像一4 4 图4 2 舌质颜色特征点在r g b 空间中的分布4 5 x i i i 图4 3 麦克焱韦颜色三角4 7 图4 4 舌质颜色特征点在麦克斯韦三角的分布4 8 图4 5 特征点在l a b 模型的分布4 9 图4 - 6 聚类方法待分离舌像51 图4 7 聚类方法分离结果5l 图5 1 裂纹检测、提取及分析的流程5 3 图5 ，2 舌面各部位划分5 4 图5 3 裂纹舌像，舌中部位的裂纹存在指数识别结果5 5 图5 ，4 非裂纹舌，舌中部位的裂纹存在指数识别结果5 6 图5 5 非裂纹舌，裂纹不存在指数识别结果- - 0 5 3 7 0 5 7 图5 - 6 裂纹舌，裂纹不存在指数识剐结栗- - - 1 2 3 1 3 5 7 图5 7 受到舌边缘影响而识别错误5 8 图5 堪裂纹舌、裂纹种子区域与区域生长的计算结果6 0 表格索引 表格1 1 舌像信息源的信息分类及主要包括内容5 表格4 1r g b 模型下得到的舌质颜色特征点统计数据4 5 表格4 2 舌质颜色特征点在麦克斯韦三角的分布数据4 7 表格4 3 舌质颜色特征点在h i s 模型的分布4 8 表格4 - 4 舌质颜色特征点在l a b 模型的分布数据4 9 表格4 5 舌苔颜色特征点在l a b 模型的分布5 0 表格4 6 隶属度计算结果5 1 表格5 1 裂纹存在指数试验结果5 6 表格5 2 裂纹不存在指数试验结果5 7 表格5 3 裂纹特征试验结果6 0 厦门大学学位论文原创性声明 兹呈交的学位论文，是本人在导师指导下独立完成的研究成果。 本人在论文写作中参考的其他个人或集体的研究成果，均在文中以明 确方式标明。本人依法享有和承担由此论文而产生的权利和责任。 声明入( 签名) ：爱7 良 岬年l ；月矿日 厦门大学学位论文著作权使用声明 本人完全了解厦门大学有关保留、使用学位论文的规定。厦门大 学有权保留并向国家主管部门或其指定机构送交论文的纸质版和电 子版，有权将学位论文用于非赢利目的的少量复制并允许论文进入学 校图书馆被查阅，有权将学位论文的内容编入有关数据库进行检索， 有权将学位论文的标题和摘要汇编出版。保密的学位论文在解密后适 用本规定。 本学位论文属于 l 、保密() ，在年解密詹适用本授权书。 2 、不保密( ( 请在以上相应括号内打“4 打) 作者签名：疑瓤 导师签名：f 日期：中易月调 醐节钼 第一章绪论 中医学具有二千多年的丰富实践经验，形成了独特的理论体系，具有疾病认 知综合性、认知手段主观性、诊疗个性化的特点。随着现代科技的发展，中医进 行现代化已是必然趋势，其中诊疗手段技术豹客瘸化、标准化成为中医现代化的 主要内容之一【1 】【2 】。 信惑技术的高速发展是当代科技发展的主要特征。在传统医学诊疗方面，临 床诊疗的标准化、规范化问题，已经成为限制中医药现代化的主要瓶颈之一，如 何利用现代信息技术，实现中医诊疗的标准化、规范纯，已经成为中医和信息投 术领域共同关注的研究内容。近年来国内外已经展开传统医学诊疗的信息化，研 究的爵的是借助计算机和信息技术促迸中医诊疗的规范蠢：和标准化1 3 。 1 传统医学的数字化 计算机技术在已经在医学诸多领域成功应用，在传统医学领域也得到了广泛 的研究与应用：辅助教学、医疗管理、电子病历、文献数据、朗络通讯等。诊疗 技术的研究，则是近年来随着人工智能研究瓶发展起来的面向临床诊疗的新兴研 究领域。将中医诊疗方法，应用计算机技术进行客观化、标准化研究，其研究依 据为： 一、传统医学对疾病的诊断是入脑的智力活动，符合人工智能的研究问题： 其核心问题是对疾病的认知和推理； 二、个性化不等于“无规则仡：传统医学对疾病的认识具有独自的“规则 知识”： 三、始于7 0 年代的各种研究也证明了其可行性。研究的另一个特点是对信 息技术的依赖性，这也将是传统诊疗方法借助信息技术的发展实现飞跃的重要先 决条件。 目前中医诊疗技术现代化的主要研究内容有：临床“四诊”症状信息的标准 化采集与分析；临床疗效的标准化、信息化评价：中医远程诊疗系统；l 临床决策 支持系统( d s s ) 和专家诊疗系统( e s ) 。主要研究内容从方法上可分为信息采集 和信息处理两方面，其中信息采集是现阶段研究的关键内容。主要的采集方法是 2 基予峪臻舌蒙的客鼹纯舌诊数字系统关键技本磷究 基于仿生视觉、听觉、嗅觉等进行临床信息采集，在信息分析与处理方面则涉及 人工智能领域中鲁然语言理解、机器视觉、逻辑推理、机器学习、模式识别等多 个研究领域。计算机技术的会入，使得传统医学从主观依赖性强、经验医学模式 的特点，逐步向客观化、标准化、现代化和更加系统、规范、科学的方向转变， 也为传统医学真正意义上的走向世界奠定重要基础。 中医诊疗技术现代化研究具有较大的跨学科研究性质，对计算机信息技术的 依赖性强，现阶段的研究仍处于探索阶段。研究的最终目的不是推翻传统诊疗方 法，丽是以传统医学理论为指导，不断完善传统医学模式，最终实现传统医学现 代化，促进传统医学随系统、规范、科学的方囱发展，完成传统医学走向世界的 进程。 1 2 机器视觉在中医望诊研究中的优势 图像信息处理( i m a g ei n f o r m a t i o np r o c e s s i n g ) 是人类视觉延续的重要手段， 并在某种程度上延伸了人类视觉器官的功能。数字图像处理( d i g i t a li m a g e p r o c e s s i n g ) 是霹前图像信息处理的主要手段之一。人类在接受的信患中有7 0 以上来源予视觉 4 1 ，在疾病信息的获取方蕊视觉是最重要的获取途径之一，医生 通过视觉对患者的各种疾病表现进行观察、分析，并结合其他手段最终对疾病做 出诊断。在传统医学的“望闻问切”四诊中，望诊作为疾病视觉信息的诊察手段 被誉为“四诊之首”睁】。 传统医学诊疗的显著特点就是主观依赖性强，同时由于视觉本身所具有的特 性，因此望诊在视觉表现上具有以下特点： ( 1 ) 属性特征描述与分类的相对性。传统的望诊依赖于主观经验，结合个 体因素差异，造成不同属性特征、分类定义模糊，分类的相邻属性之间容易出现 混淆。比如：疾病颜色特征的分类，红、淡红、淡白等颜色，介于属性分类之间 的界线范围往往难于界定。 ( 2 ) 视觉识别的主、客体差异性。视觉特征依赖于人( 医生 的主观判断， 不可避免的具有主观差异性。客观上，除了病理因素外，还存在着个体体质差异 等诸多因素，所以在视觉表现上是诸多因素的综合反映。 ( 3 ) 疾病在视觉特征上的复杂性。盎于疾病本身具夜复杂性，加之视觉又 第一章绪论 3 受颜色特征、空间特性、时间特性、形状感觉等多种因素影响，致使病理状态下 的视觉表现具有高度复杂性，所以常常需要视觉和其他信息综合，才畿对疾病做 出正确的判断。 传统望诊方法的特点导致在诊疗过程中缺乏客观魄定量标准，医生借助主观 定性判断，甚至导致某些传统诊法“只可意会，不可言传”1 6 j 。因此，传统的视 觉望诊模糊量化、缺乏标准为中医诊疗技术的现代化带来了极大的困难，借助现 代信息技术改变这一现状成为研究的必然。 应用机器视觉对传统的中医诊断方法进行研究，可以弥补传统诊断方法的不 足，具有一定的优势。应用计算机进行临床辅助诊疗其有一定的可行性，除了具 有客凌化和标准化外，在实际操作上也有一定的优势，对于提高整体诊疗水平、 远程诊疗、资源优势共享等方面均具有积极作用。因此，应用计算机视觉原理和 图像技术，建立望诊信息的客观、量化识别方法，实现传统诊法的客观化和定量 化，对中医现代化具有重要意义【刁。 。3 舌诊的专家系统的研究内容与现状 舌诊是望诊的主要内容之一，最具有中医特色的传统诊断方法。舌像也是反 映人体生理功能和病理变化最敏感的指标，在中医诊疗疾病过程中具有重要的应 用价值，被历代医家所重视。舌诊的历史悠久，起源可以追溯到距今三千年以前， 在殷墟出土的甲骨文上的记载【8 j 。 传统的舌诊方法主要是通过医生目测观察舌像，语言文字描述舌像、经验辨 析舌像，并要求在短时间内做出判断，其诊断结果既受医生的知识水平、思维能 力和诊断技能的限制，又受光线、温度等外部客观条件的影响，缺乏客观评价标 准。这些不利因素严重地制约了舌诊的研究和应用的进一步发展。因此，舌诊客 观化研究一直是中医四诊客观化研究的主要内容之一。随着中医现代化研究的进 一步开展，以现代科学技术手段研究舌诊原理、提高舌诊临床应用价值，使其更 加定量化、客观化、标准化、规范化，已成为舌诊研究的主要方向【9 】【1 们。 自八十年代初期以来，许多中医和其他学科的研究人员致力于舌诊客观化检 测方法的研究l l h ，尤其近十年随着信息技术的发展，以计算机图像分析技术为主 要手段，舌诊客观化检测方法正在进行一种全新的尝试，并在实践中逐渐显示逝 4基于临床舌敷的客观化舌诊数字系统关键技术研究 优越性【溺。 1 3 。1采集方法 舌图像的采集方法随着科技的发展和研究的深入而不断改进，从最初使用彩 色摄像枫获取模拟信号，发展到数码相机、数码摄像枫直接摄取数字信号。从较 粗糙地控制拍摄环境，到采用暗室、国际照明协会c i e 标准光源、控制照明角度 和亮度以及患者l 审舌姿势等，不断细化，图像质量和稳定性不断德到提高，这为 后续图像的处理和识别奠定了良好的基础。但目前对相机的拍摄状态控制的报道 较少，实际上相机的快门、光霞、曝光、解析度等的不同设定均会给图像质量翻 稳定性带来较大影响。另外，当前报道的舌像采集方法各不相同，而又缺少对所 拍摄图像的质量的评价，导致无法判断各种方法的优劣渊。 因此有必要在严格控制舌像采集条件的基础上，对关键环节采用正交设计等 科学研究方法，并引入墨像质量评价，筛选出高标准、统一、实用的图像采集条 件。 薹3 2舌图像分割方法研究 图像的分割是计算机图像处理的一个经典课题。而将舌体图像从含有面部的 图像中分割出来，是进行舌像识别的前提。早期舌图像识别多采用手工分割。这 种方法需要专业人员的参与，且费力费时。 实现自动分割的算法主要有闽值法、边缘检测、模糊聚类、马尔科夫随机场 模型等。阈值法对噪声敏感，边缘检测、模糊聚类、马尔科夫随机场模型等方法 的运算复杂度较高，并且均未考虑图形的形态特征。 随着塑像分割技术的发展，舌像研究中的图像分割也经历了从人工分割逐渐 向半自动、自动分割的过渡，但目前舌体分割的结果还不是非常令人满意。由于 舌质颜色存在与面部对比较好，僵是与嘴滕颜色高度接近的关系，因此如何将矮 二者准确区分便成为本研究的难点和重点。现在看来，单纯靠简单的图像二值化 难以获得令人满意的分割结果；而基于舌体是一个较规则的器官( 具有特定的形 状) 所采用的数学形态学的分割方法可获得较好的舌边界，但遗憾的是可能丢失 了大量的边缘细节信息。因此，后续的研究方向可以考虑从多焦度入乎，综合使 用多种分割方法，取长补短，以提高分割效果相信随着图像分割技术的发展，分 第一章绪论 割的精度和准确性将不断提高。 1 3 。3 舌像模式识别 舌像模式识别的主要工作内容包括如下几个方面：舌苔、舌质分离；舌苔、 舌质的颜色识别、舌苔润燥分析等等，蜀翦舌像模式识别研究仍主要集中在舌的 颜色领域，多利用模糊原理。通过聚类分析和神经网络等手段实现对舌色、舌苔 的定性检验。近年的研究方向也逐渐向颜色以外的方面拓展，比如纹理分析、舌 苔润燥分橱、兹体歪斜分析以及生物传热学分析。相信随着研究的深入，模式识 别将遍及舌像研究的备个方面，并最终实现各项指标的定量化，丽提取尽可能多 的信息，实现谮诊内容的综合判别【1 4 】【1 5 】。 研究促进了中医舌诊客观化的进程，但在具体研究方法、内容等方面还存在 着一些问题，主要表现为：( 1 ) 有待更完善的多学科融合：研究缺乏阀题针对性， 方法与应用脱节，没能完整体瑰舌诊的基本思想；( 2 ) 缺乏统一标准：研究仍停 留在方法探讨上，没能就采集环境、颜色、纹理、形态等舌像内容提出确切、统 的标准；( 3 ) 由于研究处于起步阶段：舌像信息的综合处理尚缺乏系统性，临 床应用不足湖h 7 1 。 1 4 舌诊研究的几个关键环节 根据舌像信息源进行分类，数字化舌诊系统需要分析解决的闯题可以分类成 区域、颜色、纹理、形状、动态五大类，五大类内容涵盖了中医舌诊的要求和其 体内容，见下表。 表格1 ，l 舌像信息源的慧息分类及主要包括内容 分类 主要内容 1 舌质、舌苔的区域分布； 区域信息 2 舌体尖、边、中、根的区域划分。 l 。舌色：淡囱、淡红、红、绛、青紫； 颜色信息 2 苔色：薄瞧、自、淡黄、黄、灰黑。 纹理信息 1 舌质纹理：老嫩； 6基于临床舌象的客观化舌诊数字系统关键技术研究 2 舌苔纹理：厚薄、腻腐、燥糙、剥落、润燥； 3 特殊纹理：点刺、瘀点、瘀斑、裂纹、齿痕。 1 胖瘦； 形状信息 2 舌下络脉( 静脉) 。 动态信息歪斜、萎软、僵硬、吐弄、震颤等 舌像的图像分析与识别研究关键主要在以下三个环节： 一、标准化采集条件研究，这是整个研究的重要前提。舌像分析方法和结果 是否准确，稳定可靠的数据来源是必须的前提，只有建立严格、稳定、可重复性 强的采集条件，采集到的数据源才具有分析的实用性和可行性。采集条件主要涉 及：采集环境、光源条件和c c d 图像设备三方面。 二、舌像的分类标准与数据库的建立，这是舌像特征分析的重要依据。机器 视觉分析的最终目标是要符合人的视觉特征，机器对舌像特征的诊断判别也是要 首先依据建立的分类标准、以及在标准条件下得到的数据库。分类标准和数据库 要依赖诊疗专家和计算方法来共同完成。由于某些特征的主观性较强，所以建立 准确、统一的分类标准就尤其重要，建立统一分类标准也是后期方法评价的需要。 三、特征的提取与分类算法的实现，这是实现舌诊客观化的主要方法。舌诊 的内容丰富，包括颜色、纹理、形态、动态等多方面内容，同时还存在某些诊断 特征较难量化，因此选择最优的特征和算法是研究面临的另一个关键点，也是关 系到整个舌像分析效果优劣的直接因素。 1 5 数字化舌诊系统的框架设计 将传统舌诊内容按照信息特征进行重新归纳有利于提高研究针对性，对于问 题的提出和解决也更加明确，研究总体设计如下图所示： 第一章绪论7 图 1 舌诊傣息计算枫识别总体框架 鹜像的采集过程主要实现舌像数字图像的标准采集；图像的预处理阶段主要 完成舌像识别目标的分割，羲像从原始图像中分离，并进一步完成舌体与舌苔的 区域分割和舌尖、舌边、舌中、舌搬的部位划分；舌诊信息分析主要进行了颜色 信息分析与识别、纹理信息的分析与识别，其中颜色信息包括舌色、苔色两部分， 纹理分析包括舌质纹理、舌苔纹理和特殊纹理形态的点刺、瘀点等；在其他信息 方面就舌体的齿痕、裂纹等内容进行了探讨。舌诊内容除了二维图像信息外，还 有包含三维立体信息、动态信息等，本文主要对舌像二维图像特征进行计算机分 析识别。 1 。6 本文的研究工作及创薪之处 本文对舌像的研究工作的主要内容及剑耨主要包括以下三点： ( 1 ) 舌苔与舌质的分离。在闻课题组同学舌体提取的基础上，通过比较以 下方法：阈值分割、自动阈值、模糊聚类、纯分裂算法、分裂合并，讨论自动舌 苔与番震分离的实用性、分析各方法的结果、准确度以及适用情况； ( 2 ) 舌苔与舌质的颜色分析。基于舌苔舌质的分离结果，从常用颜色空间 入手，讨论适用于舌苔舌质颜色分析的颜色模型，并提出判定对各苔色、舌色隶 属度的计算公式； ( 3 ) 对舌面纹理之一的裂纹进行了分析，提出用检测器判定裂纹存在性、 8 萋子临床舌象鳃客蕊傀舌诊数字系绕关键鼓本礤究 提取器进行提取、并计算可见指数、深浅度指数以便定量地给出相关指标。裂纹 存在性指数和可见指数、深浅度指数是对裂纹定量描述的有益尝试。 1 7 本文的组织结构 本文将主要从以下几个部分进行阐述： 第一章为绪论。概要介绍有关课题的研究背景和研究现状。 第二章简要介绍舌像拍摄的硬件选取以及舌像预处理的相关问题，并介绍相 关编程实现方面的工作。 第三章针对舌苔与舌质的分离，详细讨论了实现的若干种方法，对各种方法 进行比较，并给出分析数据和结果。 第四章针对舌苔与舌质的颜色识别，分析了图像处理常用的颜色模型的适用 性，并就l a b 颜色模型给出识别方法和结果。 第五章针对舌纹理之的裂纹，讨论了对其识别、提取、分析的过程。 最后是总结和展望，总结本文的工作，并提出进一步深入研究、改进的一些 构想。 第二章采集硬件、预处理及编程实现 2 1 舌像图像的标准采集条件研究 舌像的采集条件是影响舌诊计算机客观化研究的关键环节之一【1 】【2 】，随着舌 诊客观化研究的深入，舌像的采集条件已经不可避免的成为亟需解决的问题。建 立稳定客观的观测环境，将舌像信息的分析建立在可靠的科学数据与图像分析技 术的基础上，已成为国内外进行舌诊客观化研究的重点内容之一。目前，舌像的 客观化研究中采集条件主要包括：采集环境、光源以及图像采集c c d ( c h a r g e c o u p l e dd e v i c e 电子耦合器件) 设备三个因素。由于目前各研究单位在 环境、光源和c c d 设备上均不尽相同，所以在各自研究中得到舌像图像也不尽 相同。如何建立一套客观、标准的采集条件，已经成为影响舌像分析的重要因素。 标准化是信息共享的重要前提，建立一套客观、标准的采集环境，不仅可以缩小 系统误差得到准确而稳定的舌像图像，为后续图像分析提供准确的数据基础，而 且有利于建立起中医舌诊的标准舌像图像数据库，在资源共享的基础上使舌像的 分析与研究更具有可比性。 图像采集需要考虑如下几个方面： 一、自然光源。传统的舌像观测都是在自然光下进行的，但由于自然光变化 范围较大，对于c c d 采集设备来说，寻求栩对稳定的自然光条件是很必要的。 拍摄图像时的色温和照度是影响采集的主要光学因素。 二、人工光源。人工光源相对手自然光具有稳定性强的特点，是近年来舌像 采集主臻采用的光源。人工光源选取的主要依据：高显色性，即显色指数r a 大 予8 0 ，色湿k5 0 0 0 到7 0 0 0 之间。另铃，还需要考虑光源的架设、空间放置( 开 放式或是密室环境) 等等。 三、采集硬件。采集硬件在连接土p c 翳，要求露以获取连续视频流，在使 用者给如确认信号后，将当前视频流中的某一帧图像截取出来进行分析，根据这 一要求可以用于苕像采集的设备分为如下凡类：p c 摄像头、d v ( 数码摄像机) 以 及d c ( 数码相机) 。下面讨论这三类设备的适用性： p c 摄像头是墨翦最便宣的可以用于在p c 软件端获取舌像酶设备，僵是鉴 于其定位，大部分设备采用c m o s 器件，识别的图像噪点多，严重影响识别； 1 0基于临床舌象的客观化舌诊数字系统关键技术研究 目前有产商开发高端的监视设备，图像质量远超一般的p c 用摄像头，但价格相 对d c 就没有太大优势了，由于无法对这类高湍检视摄像头实际测试，所以不对 其做评论。 d v 的价格是三类设备中最贵的，但是能很好的满足获取设想的要求，从代 码编写的角度出发，基于微软d i r e c t s h o w 来开发视频获取、后处理软件，实际 难度与为摄像头设备编写代码相当。 d c 的市场成熟度日渐提高，随着越来越多用户选用数码相机，两千元以上 的d c 即可很好地满足日常光下获取静态舌像图片的要求。如果要像d v 那样可 以从视频流中获取静态帧，那么目前常见的方法是通过视频输出功能( 如a v 端 子) 将其连接电视卡，这种方法的有几个显而易见的严重缺点： ( 1 ) d c 一般不会具备i e e e l 3 9 4 接口，所以通过a v 端子连接电视卡，数 码信号需要数模调制转换成模拟信号，从电视卡接受的信号流再通过模数转换， 转换成数字信号，这样将导致图像的质量下降： ( 2 ) d c 的镜片、电路设计有别于d v ，不是为了连续长时间获得视频而设 计，长时间使用弓f 起设备发热会导致寿命缩短。 综上分析，如果实现拍摄、后期进行分析，最适合的设备是d c ，如果要求 设备连接p c ，在视频流中监视并适时获取静态帧，最适合的设备是d v 。 在这个方面，耳前主要有如下几个课题组进行了相关的研究： 上海中医药大学。我们的舌图像来源由上海中医药大学提供，由于学科的专 业性，上海中医药大学的备位老师、同学们已经在舌像方面做了大量的工作，他 们使用的相关硬件设备及采集标准将在下文详细进行介绍。 北索工业大学。北京工业大学信号信息处理实验室研制了数字化中医舌像分 析仪，其拍摄舌图的光源为两只o s r a m 全光谱的l 1 8 p 7 2 b i o l ud 6 5 0 0 光源， 显色指数r a = 9 6 ，色湿为6 5 0 0 k 照明，几何条件力4 5 度，照相设备为尼康4 5 0 0 ( 4 1 0 万像素) ，拍摄要求是：事前训练体检者掌握正确的伸舌姿势，拍摄时体检者自 然将舌 枣出，遇l 枣舌过度用力或时阂。 2 。2 舌像采集硬件详细说明 我们分析的舌像资料主要来源于上海中医药大学，上海中医药大学的老师和 第二章采集硬件、预处理殿编程实现 同学们经过不断的实验，目前确定使用的硬件设备主要有： l 、光源条件 ( 】) 自然光：采光条件良好的室内自然光。 ( 2 ) 入工光源：本实验分别采用以下四种光源： o s r a my p z 2 2 0 2 3 。3 u p r e 2 7 ( 简称o s r a m l ) ； o s r a my p z 2 2 0 2 3 3 u r l ( 简称o s r a m 2 ) ： n a t i o n a ly p z 2 2 0 18 3 u ( 6 7 0 0 k ) e 2 7 ( 简称n a t i o n a l ) ； p h i l i p sy p z 2 2 0 1 8 3 u r r d ( 6 5 0 0 k ) ( 简称p h i l i p s ) 。 ( 3 ) 睹室：应用人工光源照明采集图像是在密闭的睹室中进行。为了适予 临床应用，我们自行设计了1 5 m * 1 5 m 2 。0 m 大小的可折叠便携式移动暗室，咯 室主体采用铝合金支架，内层采用黑色吸光布，外罩银色反光蠢。 ( 4 ) 光路安排：4 5 0 ( 照射拍摄) 。 2 、光源测试设备 ( 1 ) 上海新秸电子l x 1 0 1 l u xm e t e r 数字光度表，测量范围：0 - - 5 0 ，0 0 0 l x ( 勒克斯) ； ( 2 ) 复量大学电光源研究所d o n a n 2 0 0 型快速光谱仅。 3 、图像采集设备 ( 1 ) 主要采用如下三种c c d 设备： f u j i f i l m 的f i n e p i x 1 3 0 0 数码相机( 简称f u j i1 3 0 0 ) 作为图像采集设备， 最大分辨率为1 2 8 0 9 6 0 ，6 种白平衡模式( 自动a u t o ，白炽灯t u n g s t e n ，荧光 灯f l u o r e s c e n t l 、2 、3 ，晴天d a y l i g h t ，阴天s h a d e ) ，自动对焦，0 0 7 m 至无限： c a s i o 3 0 0 0 e x 数码相机( 简称c a s i o3 0 0 0 ) ，最大分辨率为2 0 4 8 x 1 5 3 6 ， 六种自平衡模式( 自动a u t o 、吕光d a y l i g h t 、濒天s h a d e 、荧光灯f l u o r e s c e n t 、 自炽灯t u n g s t e n 、手动m a n u a l ) ，自动对焦，0 0 6 m 至无限； p a n a s o n i cn v - g s 7 0 ( 简称g s7 0 ) 数码摄像机，最大分辨率1 5 3 6 x 1 1 5 2 ， 四种白平衡模式( 自动a u t o 、臼光d a y l i g h t 、自炽灯t u n g s t e n 、手动m a n u a l ) ， 自动对焦，0 0 2 m 至无限。 采集图像时相机均采用三脚架固定。 考虑到图像尺寸可比性，原始最后图像均处理成1 0 2 4 7 6 8 分辨率，文件格 基于l 晦床舌教的客观化舌诊数字系统关键技术研究 式宰口g 。 显示器选用s o n ym u l t i s c a n2 0 0 s ft r i n t r o n 高分辨率显示器；图像显示卡选 用七彩虹黜圆e o n9 6 0 0p r o 计算机选爰p 42 。8 g 主机。 ( 2 ) 标准色板与白平衡 标准色扳为t h ek o d a kq 6 0 t mc o l o ri n p u tt a r g e t ；自平衡时采用多林牌鞠 克a 4 纸为标白；拍摄均用白纸板为底和背景。 4 、舌像采集方法与对象 实验选择5 位正常人作为舌像采集对象，分别在不同光源下、不同相机模式 下进行舌像图像采集。被测者采取坐位，面对自然光线或人工光源，律舌时尽量 张口，将舌体伸出口外，舌体放松，舌面平展，舌尖自然下垂。 2 3 舌像的预处理 符合入库要求的舌像应该具有如下的构图： 箨一3 0 0 _ 图2 - 1 入库舌像的构图 舌体位子图中部，上下左右留有适当空闯，鼻、下巴不疲占太大比例； 根据原始图片的尺寸或质量，最后的舌像图采用如下的解析度：大图6 4 0 x 4 8 0 ( 4 ：3 ) ，中等尺寸4 0 0 x 4 0 0 ( i ：1 ) ，以及小尺寸3 0 0 x 2 0 0 ( 3 ：2 ) 。 2 4 颜色校正 由予取像时客观条件( y 6 照、明暗等等) 对数字化舌诊中的颜色分析有重要 的影响，所以颜色校正就成为预处理中很重要的一环f 1 壤1 9 1 。 确保颜色保真的一种思路是使用标准比色卡。对于上文提到的标准光源，是 下|撇l|l上 第二章采集硬件、预处理及编程实现 接下来的算法设计的标准，如果待检测的舌像不符合硬件采集条件，那么分析出 来的舌像的结果可能有较大差距，采用标准比色卡，可以最大限度的排除取像环 境的差异，通过色彩校正和自平衡获得接近标准光源下的采集结果。 采臻毖色卡的优点在予可以在一张图像内借助比色卡的定位实现色彩的校 正；其缺点也显露易见：( 1 ) 拍摄受到一定的限制，如果是使用d v 设备获取舌 像，那么每次拍摄前应进行比色校正，因为不同时间、季节对会对拍摄地点的室 内环境产生影响；如果是采用d c 拍摄，拍摄每张图片中有助手在一旁协助手持 比色卡；( 2 ) 需要考虑既有的没有采用比色卡的图像的处理。 对于已经存在的、没有使用眈色卡的舌像图片，还是有方法可以进行颜色校 正的操作，这是因为当前的数码相枫拍摄的静态图片都支持e x i f 信息。e x i f 是 英文e x c h a n g e a b l ei m a g ef i l e ( 可交换图像文件) 的缩写，最初由日本电子工业 发展协会( j e i d a j a p a ne l e c t r o n i ci n d u s t r yd e v e l o p m e n ta s s o c i a t i o n ) 制订，目 前的最新版本是2 2 1 版。i s o 国际标准化组织正在制订的相机文件设计标准 ( d c f d e