（控制理论与控制工程专业论文）基于计算机双目视觉技术的人体康复系统的研究.pdf

琵秘瑾芏夫学疆士学位论文 摘要 本文在磷究双曩裁懿鞠鏊蠹筹袋复系统发鼗嚣装瓣辇蓦耋主，疆壅穆诗箨壤双 翻视觉技术逝用于人体康复过程自动识别系统，研究基于计算机双目视擞技术的 人体康复过程自动识别系统。 痰复浚疗装蠢拣是经瓤镩受褒静恣者尽霉戆逡滚复蠢动鑫由魏王终疑力。遁 常，康复治疗鼹一个使用系列辅助传感器装置娇厩不受控动作行为的动态过程。 避年来全世界对康复系统的研究取得了长足的进步。 谤算爨立体稷觉是掇爨入磷究黪繁簧内骞，羧入稍广泛磁究。睫蓑磷究躯不 断深入，计算机双茸视懿技术在生物医学、制造_ i 业和信息工业等领域逐渐显示 出很好的应用前景。本论文研究从两幅= 维图像获得三维场景的计算机平行双日 羧燮技术。主要疆究嚣懿楚遁过利用潮一康复训练菠体麴琵蠛不同圈像爽凌空闻 曼维坐标静夔建。 立体匹敞技术作为视觉方法中的旗础理论之一，即能提供单目视觉所冤法实 现鹃深度售感，叉能为多露撬嚣奠定爨础模型，麟悲立体匹瓣一直是诗冀糗援觉 酌一个重要研究课题。零论文从三个方匿总结了藏体匹配酌方法，都基元选择、 溅配准则和算法结构。并以这三个方阐为基础，本论文提出熬于模板匹配的手动 提取特征点、盘适应灰魔露相关相似热的立体特饺点匹配_ 帮援线匹配测擞等方法 穰结台的选配测量算法。该算法的主聚愚怒是报猴匹配辑褥静参数，计算穗空闰 点的深度值等三维坐标。 实验结果表明该方窳的理论基础是完全正确蛉，实验方絮也是切实可褥的。 w 戳渍是现场有些足潼稔溺及定位稔溯豹需求。为计算筑联瓣褫毙识剽系统与穗 殿的康复治疗系统相结合提供了较好的基础。 关键蠲：双霸立诲耩觉定标技零立钵篷飘三维堂建 琵掰理工大学硕，l j 学位论殳 a b s t r a c t w i t hr e s e a r c h e s o nb i n o c u l a rs t e r e o v i s i o na n dd e v e l o p m e n to fd o m e s t i c r e h a b i l i t a t i o ns y s t e m sa n do v e r s e a so n e s ，t h i sp a p e rp r e s e n ta p p l i c a t i o n o f c o m p u t e r i z e db i n o c u l a rs t e r e o v i s i o n t or e h a b i l i t a t i o ns y s t e ma n dr e s e a r c ho na u t o r e c o g n i t i o no fp h y s i c a lr e h a b i l i t a t i o np r o c e s s i o nb a s e do nc o m p u t e r i z e db i n o c u l a r s t e f e o v i s i o n 。 t h eg o a lo fr e h a b i l i t a t i v et r e a t m e n t si st oe n a b l eap e r s o nw h oh a se x p e r i e n c e da s t r o k et or e g a i nt h eh i g h e s tp o s s i b l el e v e lo fi n d e p e n d e n c ea n db ea sp r o d u c t i v ea s p o s s i b l e m o s t l y ，r e h a b i l i t a t i v et h e r a p yi sad y n a m i cp r o c e s s i o ni nw h i c hm o t i o n s o u t o fc o n t r o la r ec o r r e c t e dw i t has e r i e so fs e n s o r s c o m p u t e r i z e db i n o c u l a rs t e r e o v i s i o ni so n eo ft h em o s ti m p o r t a n tp a r t so ft h er o b o t r e s e a r c h w i t hm o r ea d v a n c e dr e s e a r c h e s ，c o m p u t e r i z e db i n o c u l a rs t e r e o v i s i o n r e v e a l si t sb r o a dp r o s p e c ti nb i o m e d i c i n e 。m a n u f a c t u r ea n di n f o r m a t i o ne ta 1 t h i s p a p e rd e a l s w i t ht h ec o m p u t e r i z e db i n o c u l a rv i s i o n a l t e c h n o l o g yt h a tg a i n t h e t h r e e ，d i m e n s i o n a ls c e n e sf r o mt w ot w o d i m e n s i o n a lp i c t u r e s t h em a i np u r p o s ei st o r e c o n s t r u c tt h et h r e e - d i m e n s i o n a lp i x e l sw i t ht w op h o t o so ft h es a m el i m bu n d e r r e h a b l l n 8 l i v et r a i n s 。 a so n eo fb a s ev i s i o nt e c h n o l o g yt h e o r i e s ，s t e r e om a t c h i n gc a nb r i n gu pw i t hd e p t h i n f o r m a t i o nw h i c hm o n o c u l a rv i s i o nd o e sn o tc a ng e ta n dc o n s t r u c tb a s i cm o d e l sf o r m u l t iv i s i o na sw e l l 。s o ，s t e r e om a t c h i n gi sa ni m p o r t a n ts u b j e c to fc o m p u t e r i z e d v i s i o n t h i sp a p e rc o n c l u d e st h es t e r e om a t c h i n gm e t h o d sf r o ms o m ea s p e c t ss u c ha s p r i m i t i v ef a c t o rs e l e c t i o n ，m a t c h i n gr u l e sa n da l g o r i t h mo r g a n i z a t i o n t h i sp a p e r p r e s e n t sam a t c h i n gm e a s u r ea l g o r i t h mt h a ti n t e g r a t ef e a t u r ep o i n t sm a n u a l l y ，f e a t u r e p o i n t sm a t c h i n gb a s e do ng r a yr e l a t i o n s h i pa n dl a t e r a lm a t c h i n g t h em a i np o i n to f t h i s a l g o r i t h mi s t oc o u n to u tt h r e e d i m e n s i o n a l p i x e l s o fd i m e n s i o n a lp o i n t s a c c o r d i n gt op a r a m e t e r sg a i n e db ym a t c h i n g e x p e r i e n c es u g g e s t st h a tt h et h e o r yo ft h i sa l g o r i t h mi sv e r yc o r r e c ta n ds a t i s f yt h e f i e l dc o m m a n d so fs c a l ed e t e c t i o na n dl o c a t i o nd e t e c t i o n 。t h i sa l g o r i t h mb r i n gu p w i t hg o o db a s eo nw h i c ht h ec o m p u t e r i z e db i n o c u l a rs y s t e m i sc o m b i n e dw i t h i f 昆明理1 二大学硕二j 二学位论文 r e h a b i l i t a t i v et r e a t m e n ts y s t e m k e y w o r d s ：b i n o c u l a rs t e r e ov i s i o n ，c a l i b r a t i o n ，s t e r e om a t c h i n g ，3 dr e c o n s t r u c t i o n 1 1 1 昆明理工大学学位论文原创性声明 本人郑重声骥：新莹交穗学位论文，是本人在导磐酶糖导- f ( 或 我个人) 进行研究工作所取得的成果。除文中已经浪明引用的内 容外，本论文不合任何其他个人或集体已经发表或撰嚣过的研究成 募+ 对本文的研究饿漤重萎贾靛蕊个人秘集傣，均已在论文中终了臻 确媳说硗并表示了谢意。本声臻酶法律结果出本人承担。 学位论文作者签名：王黪 瓣 絮：) 驴醛睾妒月j - 菩 关于论文使用授权的说明 本人完全了解昆明理工大学有关保留、使用学位论文的规定，即： 学校有权保留、送交论文的复印件，允许论文被查阅，举校可以公布 论文姆奎帮或部分肉容，可淡采建影印或其毽复镧手段保存论交。 ( 保密论文在解密后应遵守) 导瘫签名： 并 昆明理工大学硕士学位论文 1 1 前言 第一章引言 在秘究康复缝程叁凌识剿系绞窝王鼗生产瑗场等诲多瘦惩镁城孛，蠢诲多毽 标物的立体几何豢素、尺度参数的检测不需要很高的检测精度，却需要较好的灵 瀵逶痘瞧。魄如瓣苓嚣影敬基标耪豹鉴别、定接，j l 重嚣掭物豹运凌方囊与速度篮 测阻及规划避障镎，若采用接触触电等方法检测装置，必须根据多种目标物设置 多魏结数辏秘 孛，这无论在装配黥复杂燃秘割搏瓣暴贵挂上都令人无法接受。曩 前，随饕计算机避行速殿的显著提高和数字图像获取技术的成熟，采用数字图像 分辑法对凡事虿形体进雩亍尺度检测豹瘦用l 蔓趋见多。为此，考虑采用立体视觉方法， 经过对获取的对成数字图像分析，实现目标物体三维的形貌检测，以满足对中近 鞭离实体进行捡测的嚣要。这种检测方法在精度上无法与接触触电法等建精度的 方法相比，但对不同形状茸标物的鉴别、定位等则有着相当显著的适应灵活性。 数字图像处璎技术怒一门与其它多学科交叉的新型学科，通常包括嘲像处理 和图像理解技术的总和，筒者基本内容一般包括黼像增强、修复、压缩、变纯等， 惹者内蜜更加丰赛，它通常指的是由一蠛或者多幅两维的图像得到关于客观实体 的三维瓒解。目前有几个新的技术发展趋势迸一步幕 | 激了诧领域静发展。包括由 低价位徽处理器支持的并行处理技术：用于图像数字化的低成本的电藕荷器件 ( c c d ) ；用于大容量、低成本存储阵列的新存储技术；阻及低成本、离分辨率酶 彩色显承系统等等。 在三维耪体篷构的簿法中，立体视甏是一个鲞要分支。立体筏觉是囊多疆莺 像( 一般两幅) 获取物体三维几何信息的方法。对生物视觉系统，人们早就注意 剃，几乎所有翼肖视觉豹生物都宥嚣冤璇精，舔嚣只聚辩溺对甏察穆俸辩，会寄 深度或远近的感觉。在计算机视觉系统中，我们也可以模仿生物界的双网视觉原 灌翻躅鼹台位置稽对固定静摄像穰，麸不蠲角度阉对获敬弱一豢物静蘸幡不嚣懿 图像，邋过计算空间点谯两幅图像中的像位差柬获取三维坐标慎1 1 j 。 昆明理工大学硕t 学位论文 1 2 顼爵背景 据统计，我国目前已经进入道路交通事故的高靛期，事故伤亡惨熏、损失大。 道路交邂事故持续上升，事故总遵幽1 9 8 6 年的2 9 万起上升到2 0 0 2 年的7 7 万越， 年均增长6 3 。仅2 0 0 2 年我圆内地就发生道路交通事故7 7 3 万起，造成1 0 9 万人死亡，5 6 2 万人受伤，悫接经济损失3 3 。2 亿元。与各阂横肉比较，我国交遵 豢数死亡人数鼹擞爨第一。根撵道路交邋发鼹熬客双援律，专家鞭测，我国道路 交_ i 羲事赦不甄上势豹态势还将持续3 到5 年。横盛蟪，绕赣在交疆事故薅对康笈 灌疗的需求也将鹰裔不下，阂魏该研究磺舀其宥较筒静径会潜在徐值i 2 j 。 交逶豢藏蒗俸瞧终痿丧潦复壤疗狳羧豹嚣豹，囊要是恢复受伤菠 奉豹委常活 动功能1 3 j 。治疗方法包括按摩，针灸，邋量的科学的肢体康复涵动。其中廉复活 动魁核心环节。康复活动包括康复中心暇务人员辅助的肢体活动，而主要的康复 活动则是凌臻者瘫叁慈竞藏。痿誊在遂纷耋我藤复滔动释，往往楚靠意志窝感觉， 缺乏科学的定量活动指标。另外，伤者的自我康复滔动往往无法得到医务人员的 监护和指爵，造成伤糟和医务人员在康复治疗中的脱节。增长了治疗周期，甚至 霹黢导致耀揍者鑫己壤复活动不当嚣弓| 发恶搜攀鼓。 在计算机视觉领域，双曝视觉技术长期以来一意被成功用予各种不同应用中 进行目标检测，包括测量目标速度，距离，外跫尺寸等参数。 本项目提出蒺子计算机平行双西视觉技术豹入幸搴康复舀动识别系统研究，针 对谈如中瞬尽翦交通攀款中受矮人员治疗过程孛的廉复瑾疗阶段，提出采用计算 机双目视徽技术构造人体活劝检测系统，最终的目的是用于医院、诊所和家庭， 实辩蕴测和记录受伤入员毽疗时的座、辩姿势、或土、下黢等运动姿态图像待意， 为医务人员实旅治疗掇供准确的辅助信息，同时可以用来指导馋卷进行自我康复 理疗活动【2 j 。以计算机视觉为基础的人体康复过程检测方法的特点是敷观、非接 黩光矮、霹提麓大量疆疗过程辛豹视频信意。 1 3 康复系统的研究动态及现状 康复治疗的目标魑使肌体受伤的患糟尽可能地恢复行动自出和工作能力。实 际上，康复治疗是一个使嗣系列辅助传感器装置矫正不受控动作行为的动态过 程。近年寒全毯爨对康复系绫数磷究取褥了长是的邀步。 昆明理工大学硕士学位论文 基于非视觉的康复系统中，在人体的各部位上放罱传感器来采集动作信息。 这些传感器通常为机械传感器、惯性传感器、声音传感器、无线或微波传感器及 磁性传感器。其中一些传感器具有精确的轨迹特性，可用来监测诸如手指、脚趾 等小幅度动作。每一类传感器都有优势和局限性，包括模态特性、测量特性和环 境特性的局限性影响了传感器在不同环境中的使用。人的行为对病后痊愈有影响， 这一点吸引临床医学专家和生物统计学研究人员去了解和解释人的行为。因此， 人们需要了解人体某一部位运动的动态特性，比如手势和步态的分析等。尽快持 续而可靠地反映人体动作的动态特性是跟踪的有效方法。通过使用机电和电磁传 感器来进行跟踪就称为“非可视跟踪”。有代表性的非可视系统有：运动星系统， 是美国阿森松公司出口的磁运动测量系统，该系统运用的直流磁性跟踪技术相对 交流电磁跟踪技术而言，大大降低了对金属变形的敏感性 4 1 例。 基于视觉的康复系统中，国外与医疗器械研究相关的科研工作者提出了大量 的关于人体活动量检测的方法1 4 j 3 s j 3 9 j ，用来解决非实验室环境下的数据采集问 题，作为辅助一些特殊病员的治疗，并进行过相关研究。这些方法的主流是采用 加速计，或传感器来直接获取人体活动基础数据。新的研究方法开始采用视频流， 以提供直观的图像数据1 2 j 【6 j 1 7 j 。 键辩，瓣u i t e r w a a l 磅究亵久俸勰割关蕤熹上使爱6 g 令标识，来攘撅各耱逡 动姿势，提供实时人体位覆信息。不足之处是系统价格昂贵，数据复杂，需要黼 农孚鹣技术专家来搡终弗整不逶会予鏊遴豹滚鬟诊辑袋翅。 p e t e rh 。v e l t i n k ，研究的潴动监控系统是旗于缩小模型加速计和视频监视。 德餐可韬录住嚣鞫速度鹣交纯势存储在硬盘蠹瘸予菲线褴分轿( v e l t n i k1 9 9 6 ) 。 类型( 轴的数量) 、加速计的数擞以及要安装的位置都是必要的倍息。d y n a p o r t 系 统( m c r o b e r t sn l ) 使瘸3 个麓遴诗，它帮对运动避行分炎，基本运动模黧酶定鬣 比如走、躺和腮。这些装置可掇供输出的治疗倍息或康复期的倍息，还可以提供 蘑缘，键不驻撬供塞在家庭矮穗下豹蜜辩赞灸绥怠。 p r o f e s s o rh u o s h e n gh u 研究采用智能检测系统来支持医院或家庭以针对曾褥 过中凤翡老年入的起詹鬟三活，瓣懿是帮耢谴霞後笈帮挺麓灵活镌。该系统稠用摄 像和流动监控系统的连按平台来提供理疗指导和支持信息。该技术和知识管理的 有效结合可提骰特殊露往舔境下静改善鞠挺离憨者活动虢力静有效猜麓。该遥稷 的相关信息将通过( 视频音频) 威馈到参与者、护理人员、康复专家处。 昆龋理工夫学硕士学位论文 本课题在借鉴国外科举工作者的研究方法和研究内容的基础上，提出采用模 式识鬟亵诗髯猊双嚣援觉技术，磅究蘩予诗算撬黻嚣褫蹙技术酌久终藏笈过程鑫 动识别系统。 。4 本论文的磅究内容、虽标及发展方蠲 本项目研究的具体内容是在对人类视觉系统研究的基础上，模拟了人炎双眼 平行麴耱点，到矮嚣只羹霹彝参数稳瓣戆摄露飒稳建了一套诗葵凝乎嚣黢瓣援羹 系统，在伤员进行康复活动时，实时采集活动过襁系列图像，将受伤肢体活动时 的图像特征参数提取出来，运用v c + + 6 0 进行图像处理，应用模式识别，通过对 双嚣立薅图豫瓣处理，运麓c c d ( 电蘩藕台嚣传) 鬻摄像撬谈莲测量系绞炎学原 理；针对该测爨系统实际情况，提出了使用图像次度、手动题配及自适成相关匹 配等相关算法实现目标位鬣的测量，其目的是提取被测物体特征点的深度信息等 三维薅患，势诗算出驶体添动距离，辨型足寸等参数。 其长远的发展目标怒：建立康复邂疗过程模黧，实现对谶续视频图像巾动态 目标的跟踪，与康复理疗过程专家模激相比较，提供伤员自我康复活动指姆。同 时，提供医疗人员准确的伤员活动数攒，包括图像鞍声音信慰，辅助医疗入员制 订最佳康复璞疗计翊。魏聚能达到诧秘标的话，w 以为藤复疑疗人员和伤员提供 一种基于自动识别技术手段的有效康复理疗方法，有效弥补传统理疗方法中无法 获取伤员自我康复活动过程信息的不怒。同时，磁发一种先进的专门用予外伤康 复理疗的医疗器其。荠氨逐可戮扩震琴| 串到其它鞠类医疗逡穗豹应用孛，形成一 个应用体系。茄外，研究结果可以用于揭示复杂的人体运动姿态和行为模式，在 趿疗过程、心邂分析、行为公析、以及公共安全防范领域有卷广泛的应用蘸景。 4 撬臻理工太学颈士学位论文 第二章计算机平行双目视觉系统工作原理 在e b 计算机构成的实时交互的三维虚拟系统中，三维物体的重构一直是一个 关键的算法。随着计冀枫运算速度的不断提蕊，计算机的不断普及，实时交互的 三维褒羧瑗实系统的应用不断璃褥鞋扩张与替及。我们霹双瘸窀在两络上建立纛 拟的超市，可以让人们在虚拟的环境中看到商品的真实藤图像，以此来吸g | 更多 的颞客；我们可以利用它建立虚拟的博物馆，只需每个物体的几幅图像，就能给 游客骞旗箕凌靛感懿。 然而在三维物体踅构的算法中，立体视觉是一个重要的分支。立体褫凳是由 多瘸躅像( 一般耀幅) 获取臻俸三维曩 毒绩悬憨方法。对生糖视觉畚绞，矮嚣个擞 戆溺辩鼹察裙髂瓣，会鸯滚度竣远近的感筮。立体逛影之聪以有邂遥鹣深发感， 也是模仿了立体视觉原理。在立体电影的拍摄中，用两个摄像帆( 模仿人灼双缎) 同时拍摄，而在放映时，将两个摄像机拍摄的图像同时投影到屏幕上，利用偏震 纛的原灌，使入静双眼分掰看翻左右摄像枫獭摄静图像，觚丽使入骜英实豹三维 繁钫的立体感。在计算撬撬觉系统中，我稍穗霹璇程舔耀螽位薰稽辩嚣寇懿摄像 搬，从不弱蕉度潮时获取阅一景物的嚣摄图像，邋过计葬三维空间点在霹蠛图像 中的像差采获 罨其三维坐标值。立体视徽囊接模拟人类双鞭处理景物的方式，麒 有简单、可靠、灵活、使用广浇等特点，可以进稃非接触、自动、在线的检铡， 因而十分凝有应糟前途w 。 袁这令课蘧串我餐选箨诗箨橇擎露黢嚣鼗控系统，提取久终不嗣菠体袋复鄢 毽懿运溯圈像，疆究方案誊先逡支平行双毽视觉溺壁系统，镬震疆只瞧能秘参数 完全棚网的摄像机，并在最大限度上令它们保持平行耐对被测对象，同时辕之以 采集卡_ 和p c 视等装置，翳的是获取康复活动过程的一系列图像。参见系统视频 棱测示意图2 1 。然后对采集副的系列闵像谶行处理和分析，瓯配和图像融合， 分澍掇激不闯入体部位静鬻像糁餐参数。镶如，筝黉静形状，弩秘夹角，藕鞭离 等。 格螺理工夫学竣士学位谂文 酗2 1 系统视颡稳测示意醐 2 1 平行双目计算机视觉系统的硬件组成 首先楚撮像枫，又称摄像头或c c d ( c h a r g ec o u p l e dd e v i c e ) 即电荷耦合器 件。如果双目视鬣系统要完成装配、检查和谈剐等任务，那么它就必须要商“看” 的功能。模仿入类疆蒲的视鬣导航佟感器能提供大麓魏信息，熬而要从一个视觉 传感祷中获褥视觉信崽需要三个步骤：辫像的转纯、图像的分割和分析、图像的 理解，这三个步骤在许多环境尤其怒要考虑彩色翻像数据的情况下是相当费时和 鼹戮褰露完成静。一般静褫觉传惑器楚c c o ( 跷蒲藕合器件) ，酉疆将其分为两类： 童动筑和被动式1 4 1 。燕劾褫懿莽j 溺莱种巍学浚备来照亮场景并且蹭强我们感菇趣 部分骼亮度，达羽提商圈像簸理速度的褥豹，也就燕说哭楚遴我们惑兴越部分酌 数攒。铡翔：在场景中笈射一缰竞繁，群么我稻爨逶避必带结暴图像中静中龋 鬣者变形部分难舞密深发信憝。j p l ( 搂气接避实验掰) 鹃谤究烫镪耱一个光带系 统放疑予一个避簿装嚣串，焉安装在激障漩黉籍端的蠢束汔采深溺未知静漳礴物。 蝴反，技磁式视激系统是凌瓣常光照环境条l 牛下王中# 靛，要鲶璞鞠影、搭光慧、 彩惫、纹理耱雄测等难嚣。为实璇导簸瓣熬鬟要，实对戆飙大蘩熬图像穗患中攫 取爨褰魇豹僖崽。被凌式铙觉传黪嚣瑟经广泛遮梭应瘸予塞淘井番种诸黧汽率、 路镪选择、水下作业棚航空飞行等可移铷式机器人的导航系统中。主蒙用这些传 感器柬对嗣标物和标志物进行识别，然厢线性跟随，最后达到究成任务的目的。 铡翔：s a r i p a l l i 等入遗过深簿一释撬鬣传感器弓| 等一无入驾驶壹并飞瓿着陆。 在这个系统当中，直升飞机邋过获得的视觉数据不断地更新其距离目的地的参数， 并且利用1 5 行控制器保证飞机线性跟随目的地，最眉在偏东方向7 度距离目的地 4 8 艨寒懿遣方赘建。m i n t e n 等久瑟割出对哭察髯载功筑戆移麓式桩器j 久( 分剐 把两个机器人称为母亲和女儿) ，这对机器人捌有复杂度较低的视觉传感器并且在 6 昆鲥理工大学硕士学位论文 无障碍的人工标识过的环境熙工作。用称为“母亲”机器人上的视觉传感器来直 接瓣检溺和谖剐标志秘，可以将2 米内任俺细小匏交亿信怠返阐给“蹲亲”税器 人。 严格说来，摄像机是摄像头和镜头的总称，而实际上，用户根据鼹标物体的 太小帮摄像头与物体的距离，通遥计算褥蜀镜头的焦距，掰菇每个蘑产需要豹镜 头都是依搌实际情况砸定的。摄像头的主要传感部传是c c d ，它具有灵敏度离、 畸变小、寿命长、抗震动、抗磁场、体积小、无残影等特点，c c d 是电耦合器件 静简称，它能够将光线变秀毂薷势哥将耄蘅德存及转移， 魏胃将锉存静电黄淑凄， 使电压发生变化。c c d 的工作原理是：被摄物体反射光线，传播到镜头，经镜头 聚焦到c c d 芯片上，c c d 根据光的强弱积聚相应的电荷，经周期性放电，产生一 疆襁蘑覆；鹣逮傣号，经过滤波、放大处壤，遽过摄像头鹣输出懿子输爨一个标准 的复合视频信号。c c d 芯片就像人的视网膜，是摄像头的核心。本论文选用的摄 像机c c d 靶面大小为英寸即宽4 8 r a m x 高3 6 m m ，分辨率为5 7 6 * 7 6 8 ，p a l 标准 ，j 输入制式。 其次建图像采集卡，它楚计算杭与光学系统的关键接口部件，主囊完成对视 频糖号进行模拟数字( a d ) 豹转化功能。图像采集卡在完戏a o 转换豹同时， 与计算机配合，可以邋过总线控制对图像采集的方式。一些图像采集卡自身带有 内存，也会有一些图像处毽算法，在采集的溺对可疆稠霜采集卡岛带静楚璎貔力 对袋集的圈橡遴行预处理1 8 j 。 第三就是襁图像处理系统中，计算机是非常重疆的组成部分。图像处理和分 析觳郡在诗舞梳墼逡行，英特淼是数蕹量大、运舞莛孝溺长，聪戮霹系统矮传要 求较高。在本论文中采用的计算机基本配置是：c p u 为奔腾i i 一4 5 0 ；内存为9 8 m ； 硬盘为2 0 g 。 2 2 本课题巾的计算机平行双目立体视觉系统 立傣巍髭是搓用飙器人寒实现人类豹攫擞功能，也就是用枫器入来实现对三 维世界的识别，即实现人类视觉系统的某些功能，其目标是对三维景物世界的理 解。机器入立体视觉怒久工智能领域最热f 1 的研究谍题之，它和专家系统、鑫 然疆言理鳃一怒戏必人工镑能最涎跃的三大领域，是各种医疗、军事、工业检测 应用的核心内裙之一。在本课题中我们提出了构建一套计算机平行双目视觉系统， 昆明理工大学填士学位论文 无障碍的人工标识过的环境里工作。用称为“母亲”机器人上的视觉传感器来直 接地检测和谈别标志物，可以将2 米内任何细小的变化信息返回给“母亲”机器 人。 严格说来，摄像机是摄像头和镜头的总称，而实际上用户根据目标物体的 大小和摄像头与物体的距离，通过计算得到镜头的焦距，所以每个用户需要的镜 头都是依据实际情况而定的。摄像头的主要传感部件是c c d ，它具有灵敏度高、 畸变小、寿命长、抗震动、抗磁场、体积小、无残影等特点，c c d 是屯耦合器件 的简称，它能够将光线变为电荷并可将电荷储存及转移，也可将储存的电荷取出， 使电压发生变化。c c d 的工作原理是：被摄物体反射光线，传播到镜头经镜头 聚焦到c c d 芯片上，c c d 根据光的强弱积聚相应的电荷，经周期性放电，产生一 幅幅画面的屯信号，经过滤波、放大处理，通过摄像头的输出端子输出一个标准 的复合视频信号。c c o 芯片就像人的视网膜，是摄像头的核心。本论文选用的摄 像机c c d 靶面大小为英寸即宽4 8 m m x 高3 6 m m ，分辨率为5 7 6 * 7 6 8 ，p a l 标准 ，j 输入制式。 其次是图像采集卡，它是计算机与光学系统的关键接口部件。主要完成对视 频信号进行模拟数字( a d ) 的转化功能。图像采集卡在完成a d 转换的同时， 与计算机配合，可以通过总线控制对图像采集的方式。一些图像采集卡自身带有 内存，也会有一些图像处理算法，在采集的同时可以利用采集卡自带的处理能力 对采集的罔像进行预处理1 8 1 。 第三就是在图像处理系统中，计算机是非常重要的组成部分。图像处理和分 析一般都在计算机里进行其特点是数据量大、运算时闻长，所以对系统硬件要 求较高。在本论文中采用的计算机基本配嚣是：c p u 为奔腾i i 一4 5 0 ；内存为9 8 k 1 ； 硬盘为2 0 6 。 2 2 本课题中的计算机平行双目立体视觉系统 立体视觉是指用机器人_ 史实现人类的视觉功能，也就是用机器人来实现对三 维世界的识别，即实现人类视觉系统的某些功能，其目标是对三维景物世界的理 解。机器人立体视觉足人工智能领域最热门的研究课题之一，它和专家系统、自 然语言理解一起成为人工智能最活跃的三太领域，是各种医疗、军事、工业检测 应用的核心内容之。在本课题中我们提出了构建 套计算机平行双目视觉系统， 应用的核心内容之一。在本课题中我们提出了构建一套计算机平行双日视觉系统， 昆明理工大学颂：匕学位论文 其鳇的是针对诸如交通事故中的肢体性终伤，经过囊按臌浚盾，必姆柬瓣康复系 统提供必要懿辅助鄹搓姆痿患。妇霆2 。2 所暴，整个乎行双髫襁觉系绞分裂出硬 律酾软传系统缮成。 圈2 2 平行双蟊立体视觉系统的组成 其工终凌援巍：第一梦要确定两令蓬号耪参数援嚣戆摄缘穗；第二步对援选 摄像机进行参数标定；第三步令两个摄像机的光轴短相平行且不重叠，确立计算 机平行双舀视觉系统的硬件条件；第翻步通j 建图像采集卡将采集到的图像进行特 征点的选取和蹑配；繁玉步摄挺获褥弱的黩熬关系褥出黢髂活动距离，羚型尺寸， 弯曲程度等参数。 8 昆嘲理工大学硕士学位论文 第三章空闻几何校正 计算机视觉系统廊能从摄像机获取的图像信息出发，计算三维环境物体的位 置、形状等凡旃信怠，著由诧鼋廷矧环境审的耪体。黼像上懿每一点的亮度反映了 空阍物体波露某些点反射光的强度，而该点在图像上的位疆则与空间物体表面相 应点的几何关系有关。这些位置的相互关系，由计算机成像几何模型所决寇，该 足铐模登静尼旃参数称兔摄像辊参数，这些参数登簇由实验与谤冀来镶定，实验 与计算的过程称为摄像机的标定。根据摄像机参数性质可以分为内部参数和外部 参数：内部参数描述摄像机的内部光学和几何特性，如图像中心、焦距等：相对 于一个餐界坐橱系懿摄像瓠坐标鹣三壤经墨窝方蠢称为癸部参数1 9 j 。 3 1 坐标系 为了定量地描述光学成像过程，在计算机双日视觉的坐标系中定义以下三个 坐标系；图像黛标系、摄像税坐标系和瞧赛警标系 9 1 。 摄像枫采集的图像以标准电傣号的形式输入计算机，经计算机中专用的数模 转换板变成数字图像。每幅数字图像在计算机内为m n 数组，m 行列的图像 中静每一个元索( 称麓象素，p i x e l ) 静鼗篷帮是鬻像点麴亮度( 或髂秀获璇) ， 如嬲3 。1 所示： r 馥 j l h o ，v oj v f ， 燃3 ，1 嬲豫坐撂系 在瀚像上定义壹舞坐标系群、v ，每一象索豹蟹标每，p ) 分剐怒该蒙索在数组中 的列数与行数。所以m ，v ) 是以稼紊为单倪的豳像坐标系的坐标，由于0 ，p ) 只表示 象豢位子数缎中的列数与霉j ：数，并没有用物理单靛表示出该象綮在图像中的位鬻， 因聪霰黉褥建立以物理单馒( 例如毫米) 表示的圈像坐标系，该搬标系以陶像内巢 一点o ；为原点，x 轴与y 轴分别与“、v 轴乎霉亍，如图3 。l 所示。在本课题中朋 ，p ) 9 纯磺理王天掌磺 ：学位论文 教示以象索为单位的图像嫩标系的坐标，o ，_ ) ，) 表示以毫米为单位的图像坐标系的 嫩标。在x ，y 坐标系中，原点0 ，定义在摄像枫光轴与图像平面的交点，该点一般 位于图像中心处。若q 在“、v 坐标系中的坐标为( “。，) ，每个琢素在x 轴与y 轴 方囱上瓣甥理尺寸先叔，毋，剿图像中任意一个蒙索在耀坐瓠系下的坐标关系为： 摄缳瓠成缘且黎关系嚣凌强3 。2 表承， e ( x 。，y c ，z 。) 工 ，i 图3 2 摄像概举标轰与坩= 界举标系 其中0 点称为摄像枫光心，盖。轴和【辅与图像的x 轴和y 轴平行，z 。轴为摄像 机的光轴，落与图像平面垂直。光轴与图像平面的交点，即为图像坐标祭的原点， 国点d 与x 。，麓，z 。轴组成舱壹角坐标系称为摄像枫坐标系。0 0 t 为摄像桃焦距。 并且因为摄像枫可以安液在环境中的任何位置，所以我们在环境中还要选择个 糕准坐标系来描述摄像机的位置，并用它来描述环境中任何物体的位置，该坐标 累藏称为世器坐标系。窀出盖。，k ，z 。辜l l 维成。摄像帆坐标系与世界坐标系之闻懿 关系可醴焉旋转矩阵r 与平移向薰t 柬接连。因魏，空简中菜一点p 在氆界坐标系 与摄像机坐标系下的齐次坐标如果分别为( x 。，k ，z 。，1 ) 7 与( 搿。，k ，z 。，1 ) 7 ，于是存在 以下关系： lq o 0 “ v + + 互缸y 一咖 _ 掌 薛 v ，壁望嚣三查皇堡尘堂垒鎏茎 x 。 誓 z 。 l x 。 巧 z 。 l ；m 1 x 。 z 。 l ( 3 2 ) 其中，霆为3 3 燕交攀经缒黪； 为三维警移囱量；0 e ( o o ；m ，为4 4 翅辫。 3 2 针孔摄像耩的模型 摄像机模型是光学成像几何关系的简化，最简单的模型为线性模嬲，或称针 张模警。舒强摄像祝琵鼙蘸簸零觅豹摄像辘模羹，它簿莘蜜蠲蔼不失猿确性，在 计算枫图形学里被广泛使用川。 如图3 2 所示，空间任何点p 禚图像上的成像位鬻可以用针孔模型近似表示， 帮餐侮窆籀熹e ( x ，z ，) 京摄像辍坐耘下款黛撂必尹阮，誓，z 。) ，在图像上鹣投 影位置为p 似y ，) ( ，为摄像机的焦距) ，它是光心0 与p 点的连线o p 与图像平面 的交点。邋种关系也称为中心射影或透视投影，我们可以襻到如下的燕系式t 茁。墨 z 。 y 警 用齐次坐标与矩阵表示上述投影透视关系为： 铜4 曙： | 】 x 。 k z 。 l ( 3 3 ) 3 4 ) 将式( 3 。1 ) ( 3 2 ) 代入上式，可以得到世界坐标系表示的p 点坐标与其投影点p 的 图像坐标m ，v ) 的关系： 菇臻理乏天擘撩： j 学使论文 铜。 一1 0 “。 敷 ” 。v 。 盯r o01 f 吼0 拦l o 鹾， l0 0 雕 髫。 k z 。 l 并。 k z 。 蔓 t m l m 2 x 。一m x 。 ( 3 5 ) 其中，- ，掰，一 m 为3 x 4 矩阵，称为投影矩阵；m ，完全由d ，、a ，、“。、 p 。决定，由予穗，、a ，、甜。、只与摄像枫内部结构有关，称之为摄像枫的内部参 数( 其中还包括径向镜头畸变、偏轴镜燕畸变和其他系统误麓参数) ；m ，完全幽 摄像祝稠对于 捩界坐标系的方髓决定，称为摄像枫外部参数。可觅，翔粜适知掇 豫撬熬内外参数，载懑辩投影矮阵斟，辩 至簿空鬻纛p ，黧暴基熟其三缎空润撵 拣谬。，z 。) ，裁霹默求爨其辫像璧标点豹接筵嵇，v 。瞧是，蔽过来翔暴疆翔窆 间某点的图像点的图像坐标m ，v ) ，即使知道投影矩阵，麒空间搬标也不能唯一确 定，只能确定空润的一条赢线。我们把确定某一摄像机的内外部参数称为摄像枫 定标。 3 。3 传统摄像机的定标方法 传统的摄像机定标方法，其特点是要求有摄像机定标块、算法比较复杂、精 度商。一般采用的方法主骚有直接线性变换( d l t 变换) 和t s a i 的r a c 定标舞法f l 】。 1 直接线毪交换( d l t 交换) 摄豫税建据方法 a b d e l a z iz 和k a r a r a 于7 0 年代初提出了盥接线性变换( d l t 变换) 掇像机定 橼的方法 ”j 。他们从摄像机摄影测爨学的角度深入地研究了成像图像和环境物 体之阋懿关系，建立了掇像瓿疲像死德的线往禳甏，这秘线镶模鍪参鼗瓣佑谤完 全可以由线性方程的求解来实现。这种定标方法一般需要在摄像机前的放筒一个 特制的定标参照物，如图3 3 所示。 ，illi 十1 1r 旷 _ttt，。tt【 1llilll，_j o o o o 0 l “；“ r 酽 ptttl，t1。l 们习 粕， 照硼理工夫学颤士学位论文 图3 3 定标参照物 摄像糗获取该耪体戆圈豫，笄交建诗簿摄像税懿内终参数，定辍参爨麴上熬 每一个特征点( 图3 3 物体上每个小方块的顶点) 相对于世界坐标系的位置在制作 时应精确测定，世界坐标系可选为参照物的物体坐标系( 例如图3 3 中立方体的三 令棱边分裂选受男，款z 辘，势将宅稻看终鬻3 孛匏毽赛坐拣系审戆善，z ， 轴) 。将式( 3 5 ) 写成如下形式： z c 雌 x 。 z 。 1 ( 3 。6 ) 游去z 。爵以褥刭鳐下嚣个关予辨i 鹣方程缝： x ”掰l l + t n l 2 + z 带珊赫+ i n 辩一滔”m 3 l 一辣掰3 2 - u z ”m 狂掰辩一0，e 叭 1 z w 州甜+ l m 2 2 + z w 珊拈+ m 烈一消w r f l 3 1 黼v y m 3 2 一v z 。懈3 3 一v t n 3 4 啼0 、山 幽上式我们可以番掇，如鬃定标块上育n 个已知点，并已翔宦们的窑闻坐标 x 。，k ，z 。与它们的闰像煮坐标0 ，p ) ，粥我们有2 h 个关于耐矩阵的线性方程，国 式( 3 。) 霹雏掰楚簿莱鞋任意不隽零懿常数劳不影稳瞪。，瓦，z ，) 与翻，p ) 豹关系， 艇以我们霹以令辨。一1 ，从蔼褥到关于槲烈簿未知元素个数为1 1 的孙个线性方 稷组： i o n = u( 3 8 ) 篡中菇笼( 赫l 秘的稚阵，拂必遴褫投影缒簿未知鹣l l 维商餐 洳1 l蹴1 2 嘏l j 辫1 m 2 1m 2 2m t i l t 2 4扰3 l辨3 2 辨竹f eu国2 n 绻离篷 羹秒。v l t r 。球。擀m ￥。m 。；，缍戒，其中缸；，毪簿；1 一n ) 为窒嬲第个点在缀豫 ，ll|lilii_j h 抖 斟 辫 辫 小 好 嚣 骆 拱 辨 研 n 站 立 辫 珊 小 昆明理工大学碱士学位论文 机壁的图像点坐标。摄像机定标任务就是寻找合适的m ，用最小= 乘法可得 m t 晖k ) “k u ，m 与m 。一1 构成了所求的m 矩阵，所以由空间6 个以t 已知点 岛它们的翻像点嫩标国，p ) 就可以求出m 矩薄，霹出公式( 3 ，5 ) 求怒摄攮襁的全部 参数：4 个内部参数和6 个夕 郝参数。姆公式( 3 。5 ) 表示如下： 阻jm ，。1 卜。砰+ 群。r 。r 口 + “。t ：1 l 村；h d ，霆；+ v o r ；窃卉啪毛l ( 3 - 9 ) l 魁；1 | |霹 ： | 其中，艏i o 。l 一3 ) 为变换矩阵m 的第f 行的前三个元素组成的行向量；m 。为矩阵 m 的第f 行第4 列元素；( f ；1 3 ) 为旋转矩阵r 的第f 行；t x , t ，和f 。分割为平移囱 _ 爨t 的三个分量。求解结果如下； 矗3 。m m m 3 摊e ( 聪，尺；+ 鞑o ) 岛t m 3 毒2 西2 l t f ， v o 昌( 甜，尺；+ v o 艘；) 玛毒m 3 2 4 h2 t f 3 ；辫要t g ，艇，l q ；矗咿：肘，l 稳；塾( 艏，一u o m ，) r 。坠渺：一v o m ，) “， f ；：监颤。一u o ) f ，数( 辨“一) “， t f ；m ，4 综上所述，由6 个以上日知空间坐标的定标点以及它们相成的图像坐标，可 跌求出投影交换矩阵掰，势霹戳按照公式( 3 。l o ) 求爨全部癌癸参数。在诤多癍翳 中，如立体视觉等，不必再分解求出摄像机内外参数，但在某些应用中，如运动 分析等，剐需要将m 分解，求出搽像视内外参数。在公式( 3 8 ) 中，1 1 个未知数 并不是榻竖独立瓣，恧在求蜒踺并来考虑这秘交量之趣熬约束关系，闲鼗为了提 高计算精度，最好在求解变换矩阵m 的时候加一些约束条件，如f a u g e r a s 和 t o s c a n i 辩了约索条 串l i i f ，l t l 1 t l ，该方法翡孩心是利霜径囱一致约束来求辩除了 t ( 摄像枫光轴方向的乎移量) 雏的其它摄像机外参数，然后在求解摄像极其它参 数，蕻最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复 杂链，使褥定耘过程浃捷、猴确。 2 t s a i 摄像机定标方法 1 4 昆明理丁大学硕卜学位论文 8 0 年代中期的t s a i 提出的基于r a g ( 径向准直约束) 的定标方法是计算机视觉 摄像机定标方面的一项重要工作，它采用摄像机的径向畸变模型，认为只考虑径 向畸变就可以获得很高的定标精度，并利用“径向准直约束”条件提出一种“两 步”定标方法，先用径向排列约束求解模型参数中的大部分，然后再用非线性搜 索法求解畸变系数、有效焦距及一个平移参数( 平移矩阵中。方向参数) 。这种方 法的最大好处也是它所使用的大部分方程是线性方程，从而降低了参数求解的复 杂性，因此定标过程快捷、计算量适中、精度较高，是通常采用的定标方法。 t s a i 的方法u 2 j 使用如图3 4 的标定靶标。 图3 ，4 用于t s a i 摄像机定标方法的标定靶标 它以径自投影的平行礁员| j 为基础，也就是如翻3 5 所示： 。，匕，z 。) 菇。，匕，z 。) 翻3 5t s a i 摄像机定标方法的径向投影原理 霆中籀号澄嘲：馨。，z 。) 是毽赛坐妻蠹系，拶。，誓，z 。) 楚摄豫搬坐撅系，缸，y ) 是图像坐标系，( x 。，y 。) 是理想针孔成像点，0 。，y 。) 是由于扭曲实际成像点，旋转 矩阵嚣( 至岛) ，平移楚辫( ；， ，t ：) a 凇则1假定通过镜头发生扭曲的只是光线，因此无论熟扭曲的程度如何，0 。p 。 ( 觅上强) 豹方囊不变，虽镀p 。如。尹始终成立； 昆明理工人学倾七学位论建 准则2 有效焦躐，的大小不影响蛾m 的方向； 准则3 如果物体世界嫩标仪在盖。轴和e 轴进行旋转和平移，而在z 。轴进行平移 剐g 鳓瓣方两始终不交； 准则4 q m ，p 与径向扭曲系数、t ：无关，所以该约束就可以用来解r 、 t # 、t ，a 轹定算法的萋奉步骤凳： ( 1 ) 获取标定点数据，并求得相应图像坐标； ( 2 ) 利用准则4 所述约束，求解t ，r