（计算机软件与理论专业论文）基于机器视觉的电子白板系统研究.pdf

摘要 在教学和会议中，为了更好地表达自己的思想和与其他人进行沟通，人们常常需 要能够书写并显示的交互设备，传统的媒介包括黑板、缎张等。随着信息技术的飞速 发展，计算机支持的多媒体大屏幕投影逐渐取代了传统的黑板，成为教学和会议主流。 但是大屏幕只能用于显示信息，如果需要对显示内容进行标注或是操作，还只能借助 于鼠标和键盘。针对这个缺陷，电子白板得到了开发和应用。将机器视觉理论应用于 电子自板领域，用户可以使用手指或特制交互笔方便鸯接地在显示设备上操作或书写。 本文所研究的基于机器视觉的电子白板系统在双摄像头定位点原理的基础上，给 如了罂摄像头定位的算法，在普通的平板显示器上实现触摸功能，从丽使电子自板的 交互性褥以实现，是交互式电子岛板领域中一个崭新的发展方向。 本文采用枫器视觉的相关理论，解决了电子自板系统中所涉及的三个主要问题， 并完成了相关实验，具体内容如下i l 首先采用摄像头标定方法获取摄像头参数。然后对摄像头所采集的图像进行处 理。将双摄像头定位坐标的原理扩展到四摄像头，结合摄像头参数计算出触摸点在屏 幕上的物理坐标。 2 。给出了一种矢量法解决了点的物理坐标到屏幕显示坐标的转换，同时去除漂移 点和干扰点。 3 分析了基于机器视觉的电子自板系统结构和软件工作流程。 文章的最后总结了基于机器视觉的电子白板系统的特点，指出其不足和有待解决 的问题，并对电子自板的发展作出了展望。 硕士研究生王国防( 计算机软件与理论) 指导教师予忠清研究员 关键词：机器视觉；交互式电子自板；双尽视觉；坐标转换 a b s t r a c t i no r d e rt oe x p r e s so n e si d e am o r ec l e a r l ya n dc o m m u n i c a t ew i t ho t h e r sm o r e e f f e c t i v e l yi nt e a c h i n go rc o n f e r e n c e ，w eu s u a l l yt e n dt od r a wo nt h es u r f a c eo fi n t e r a c t i v e d e v i c ew h e r et h ed a t aa r ed i s p l a y e d t r a d i t i o n a lm e d i af o rs u c hk i n do fd e v i c e si n c l u d e s b l a c k b o a r d s ，p a p e ra n ds oo n a l o n gw i t ht h ef a s td e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y , l a r g et i l e dd i s p l a y ss u p p o r t e db yc o m p u t e rp r o j e c t i o nt e c h n o l o g yh a v eg r a d u a h yt a k e nt h e p l a c eo fb l a c k b o a r d s ，a n db e c o m et h em a i n s t r e a mi nt e a c h i n ga n dc o n f e r e n c e h o w e v e r , i f w ew a n tt oi n t e r a c tw i t ht h ed i s p l a y e dd a t a ，w eh a v et ot u r nt om o u s ea n dk e y b o a r d u s e r s a t t e n t i o nt o g e t h e rw i t ht h eb o d ym u s tm o v ea m o n gd e v i c e s ，w h i c hi sv e r ya w k w a r d a i m i n g a ts o l v i n gt h ep r o b l e m ，t o u c hs e n s i t i v et e c h n o l o g yh a sb e e nd e v e l o p e d ，w h i c hm a k e si tq u i c k a n dc o n v e n i e n tf o ru s e r st oi n t e r a c tw i t ht h ed i s p l a y e dd a t ad i r e c t l yw i t hf i n g e r so rs p e c i a l l y d e s i g n e ds t y l u s e s t h ep a p e rr e s e a r c h e st h ee l e c t r o n i cw h i t e b o a r db a s e do nm a c h i n ev i s i o n 。p r e s e n t s f o u r - c a m e r ad e t e c t i n gp o i n tm e t h o db a s e do nb i n o c u l a rv i s i o nt h e o r ya n da c h i e v e s t o u c h s c r e e nf u n c t i o no nc o m m o nf l a t - s c r e e nt v ss oa st oa c h i e v et h ei n t e r a c t i v ea b i l i t y r w i l lb e c o m ean e wd e v e l o p m e n td i r e c t i o ni nt h ei n t e r a c t i v ew h i t e b o a r df i e l d t h i sp a p e ra d o p t sm a c h i n ev i s i o nt h e o r y , r e s e a r c h e st h r e ec o r ep r o b l e m sr e l a t e dt ot h e e l e c t r o n i cw h i t e b o a r da n df i n i s h e ss o m ee x p e r i m e n t s 1 1 l em a j o rw o r ko ft h i sp a p e ri sa s f o l l o w s ： 1 f i r s to fa l l ，g e tt h em a i np a r a m e t e r so ft h ec a m e r au s i n gc a m e r ac a l i b r a t i o nm a t h o d t h e np r o c e s st h ei m a g ef r o mt h ec a m e r a ，a n du s ef o u rc a m e r a st oc a l c u l a t et h ep h y s i c a l c o o r d i n a t eb a s e do nt h ec a m e r ap a r a m e t e r sa n dt h et h e o r yo f2 - c a m e r ad e t e c t i n gp o i n t 2 p r o p o s e sav e c t o ra l g o r i t h m t oa c h i e v et h ec o o r d i n a t ec o n v e r s i o nb e t w e e n t o u c h s c r e e na n dm o n i t o r a tt h es a m et i m e ，r e m o v et h ed r i f t i n gp o i n t sa n dd i s t u r b i n gp o i n t s 3 a n a l y s e st h es t r u c t u r eo ft h es y s t e ma n d s o f t w a r ew o r k i n gp r o c e s s t h el a s tp a r to ft h i sp a p e rs u m m a r i z e st h ec h a r a c t e r i s t i c so fe l e c t r o n i cw h i t e b o a r db a s e d o nm a c h i n ev i s i o n ，p o i n t so u ti t ss h o r t a g e sa n dp r o b l e m st ob es o l v e d ，a l s oi tm a k e sa n e x p e c t a t i o no ne l e c t r o n i cw h i t e b o a r d g r a d u a t es t u d e n t ：g u o f a n gw a n g ( c o m p u t e rs o f t w a r ea n dt h e o r y ) d i r e c t e db yp r o f z h o n g q i n gy u k e yw o r d s ：m a c h i n ev i s i o n ；i n t e r a c t i v ew h i t e b o a r d ；b i n o c u l a rv i s i o n ；c o o r d i n a t e c o n v e r s i o n 学位论文独创性声明 学位论文独创性声明 本人声明，所呈交的学位论文系本人在导师指导下独立完成的研究成果。文中依法 引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法律意义上已属于他 人的任何形式的研究成果，也不包含本人已用于其他学位申请的论文或成果。 本人如违反上述声明，愿意承担由此引发的一切责任和后果。 论文作者签名：盈、幻跆 日期：朋缉，月1 2 b 学位论文知识产权权属声明 本人在导师指导下所完成的学位论文及相关的职务作品，知识产权归属学校。学校 享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本人离校后发表或 使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为青岛大学。 本学位论文属于： 保密口，在年解密后适用于本声明。 不保密日。 ( 请在以上方框内打“ ) 论文作者签名： 强国觞 日期：70 08 年：尹月j 2 日 导师签名： ( 本声明的 日期：动口彦年，月1 2 日 所有，未经许可，任何单位及任何个人不得擅自使用) 4 9 第一章绪论 1 1 课题背景 第一章绪论 在会议、教学和讨论中，人们往往需要使用能够书写并显示的交互介质或设备来更 好地表达自己的思想和其他人进行沟通，其中最传统的交互介质有纸张、黑板等。随 着信息技术的飞速发展，计算机支持的多媒体投影【l 】方式越来越多地取代了传统的黑板 书写，并逐渐成为高校教学、高级会议的主流。多媒体投影虽然解决了教室会议室粉 尘污染、书写板书费时费力等缺点，但仍然存在无法克服的局限和弊端。大多数时候， 投影显示屏只能用来显示信息，如果需要做笔记、进行标注，还是只能借助于键盘和 鼠标。当然这样可以进行交互式的展示和讨论，但是却没有传统的黑板那么直接。不 能直接在显示界面上进行书写和操作成了多媒体投影的一大弱点。 针对多媒体投影的这个弱点，直接交互的交互式电子白板( i n t e r a c t i v e w h i t e b o a r d ) 口儿列得到了开发。电子白板所采用的触摸技术多种多样，可以电容式的，也可以是电感 式的，但是它们的目的是一样的，就是允许用户不通过鼠标键盘直接在显示界面上进 行书写和操作。这样就大大提高了用户的工作效率，使人机交互变得更加简单直接。 然而现有的触摸技术也存在一定的缺陷。目前大部分的电子白板采用触摸屏对坐 标进行定位，该方式比较直观，技术也比较成熟，但成本太高。触摸屏【4 】主要有电阻式 和电磁式两种，对于电阻式触摸屏，普通笔就可以使用，用任何峰硬物体触摸都能实 现定位，而电磁式或采用其他方式的电子白板使用的笔则必须是专用的。而对于直接 使用投影屏幕作为输入板的系统来说，只有使用红外或者表面声波的触摸屏才能实现。 但从目前的触摸屏技术发展来看，表面声波触摸屏不能做到超大屏幕，而尽管红外触 摸屏可以做到大尺寸，但价格昂贵，不易实现。为了满足这种需求，将机器视觉理论 应用到电子白板定位技术的方法越来越受到重视。目前，国际上仅有加拿大的s m a r t 公司率先采用该理论，使用摄像头定位的方法对新一代的电子白板产品进行研究，而 国内这方面的研究却十分匮乏。 1 。2 国内外研究现状 1 2 1 电子白板的出现及发展 上世纪9 0 年代中后期，随着计算机技术的飞速发展，以计算机、投影、视频展示 台、中控系统组成的新的多媒体交互工具日益普及，将声音、图像、文字、视频整合 为一体的多媒体课件走进了课堂及会议室。根据科学的教学方法、教学规律制作的课 件更有效地为听众酿造良好的学习氛围，再加上有着海量信息的i n t e r n e t 的接入，课堂 青岛人学硕士学位论文 教学变得更加丰富多彩。随着数字投影、数字展示台、数字讲台的出现【5 】，由计算机辅 助教学( c a i ) 发展而来的数字化学习，使课堂教学开始迈入一个新的时期一一“数字时 代”。 然而此时我们又面临一个新的问题，多媒体课件生动的演示效果确实吸引着听众 专注地投入学习，另一方面，却让教授者束缚在计算机的鼠标、键盘范围之内。教授 者利用先进的多媒体技术进行教学，大部分时间坐在电脑屏幕的后面，课堂中面对面 的互动交流越来越少。如何才能使教授者脱离鼠标、键盘的束缚，再次站到神圣的讲 台上，使信息技术与教授者的个人魅力完美结合。 随着信息技术和电子定位技术的不断发展，电子白板应运而生。电子白板充分利 用了信息化教育的特点，在结合现代教学与传统教学的特点的基础上，充分发挥白板 在教学中的作用，真正将信息化带进了普通课堂和公司会议等活动当中。由于电子白 板无任何粉尘污染、无用水需求、节电性能突出、安全稳定，大大改进了教授者的工 作条件，提高了教学效率，进一步推动着课堂教学的数字化进程。与此同时，为满足 远程教学和远程会议的需要，还出现了相应的网络电子白板。 电子白板是结合国际先进技术及多年的实践经验，采用了多项先进技术的高科技 产品，具有良好的兼容性和实用性。它集书写、记忆、储存、打印、控制、演示等功 能于一体【6 】，当与计算机连接，配合任何型号的投影机使用时，即实现人机合一、人机 交流，师生可以共同参与，从而创造一个生动活泼的教学环境，有利于培养学生的综 合素质和能力【7 j 。 当前市面上可以看到的电子白板按照投影显示的类型可以分为：应用于前投影系 统的电子白板和应用于背投影系统的电子白板。按照输入方式分可以分为间接书写式 和直接书写式。电子白板需要一个信息屏，可以用来感知用户的输入。间接式电子白 板带有特殊的感应屏来感应笔触，直接书写式则直接用投影机的屏幕作为信息输入屏。 当代投影显示技术的发展方向是大屏幕、高分辨率、平板化以及高亮度，这使得投影 屏幕满足了作为电子白板输入屏的条件，所以直接书写式的电子白板是当前电子白板 发展的一个重要方向。而按照不同的定位方式，电子白板又可以分为触摸屏式、红外 以及声纳定位式和激光扫描式等等。鉴于上述几种方式的成本较高且受诸多条件的限 制，人们纷纷找寻具有可靠精度的低成本的定位方式。 本课题采用机器视觉【8 】的理论，使用摄像头来实现触摸笔的坐标定位，是一种崭新 的电子白板定位技术。国际上已经有部分科研机构和公司等投入到这种电子白板定位 技术的研究，并推出了相关的产品等，但国内对该技术的研究却相对比较少。 1 2 2 电子白板的基本功能 随着电子白板技术的成熟和进一步普及，电子白板的功能也不断增强。电子白板 2 第一章绪论 的基本功能包括“交互 、“实时记录 、“标注 、“远程会议 、“管理等多种功能。 1 ) 交互功能：即自板在交互模式下可以控制w i n d o w s 应用。当使用者启动该系统 的电子白板控制软件后，就可以利用电子笔在白板上进行控制操作。教师在教学中需 要在屏幕上边书写边讲解时，无须再回过头来操作计算机键盘，避免了顾此失彼、手 忙脚乱、分散学生的注意力等情况，让教师的个人魅力再次在课堂上充分展现。 2 ) 实时记录功能：电子白板控制软件可实时纪录教师使用电子笔在屏幕上的移动 轨迹以及自板上的所有内容，录制成电子档后就可以进行课后回放。这样就帮助学生 省去记笔记的时间，使学生不会因为集中精力抄写笔记而忽略了重要的讲解，有更多 的时闻进行真正的学习，学生不再是录音机。 3 ) 标注功能；标注功能是演讲、授课最实用的工作模式，这种模式下使用者用 支电子笔就可以在屏幕上对己有的课件进行注释，并且可以自由更换笔的颜色，任意 擦写。这样就打破了教师在使用课件教学时的固定模式，使教师在教学时产生的智慧 火花得以记录保存。 4 ) 远程会议：利用“远程会议 的功能，再结合视频会议软件就可以很方便地进 行远程教学，使多点能共享一个教学画面。 同步，还可以看到主教室的授课者的图像。 式进行保存以利于最大程度的信息共享。 远端的教室不仅可以与主教室的课程进度 在该系统中所有的操作都能以电子档的形 5 ) 管理：交互式电子白板可将屏幕上的板书内容储存下来，并可以随时调出进行 重复讲解、补充修改、重点强调，以加深学生印象。当教师写满一屏不需要保存时， 只需轻轻一击，满板文字、图形即刻被“擦掉”，省时省力，又无任何消耗和污染，真 正属于绝对环保型的教学硬件。 随着多媒体计算机技术的不断发展，电子白板的功能将更加丰富。 1 3 本文主要研究内容 本课题的主要工作包含以下几个方面： 1 了解电子白板的发展现状、不同分类及主要功能等。 2 熟悉不同种类的电子白板定位方法，并作出性能比较。 3 熟悉机器视觉理论及摄像头标定、参数获取和图像采集方面的相关知识。 4 研究机器视觉理论在电予白板定位技术中的应用方法，将双摄像头定位点的方 法扩展到四嚣以满足电子自板的实际需求。 5 研究误差处理算法，包括去除漂移点和干扰点等。提出矢量方法用于触摸屏幕 和显示屏幕间的坐标转换。 6 研究系统结构以及电子白板软件的工作流程。 3 青岛大学硕上学位论文 第二章电子白板技术理论 2 1 电子白板技术概述 2 1 1 电子白板的分类 1 交互式电子白板 交互式电子白板由普通白板发展而来。我们通常所说的电子白板即交互式电子白 板。它融合了尖端电子技术、软件技术等多种高科技手段研发而得，它应用感应原理， 结合计算机，打印机，实现无纸化办公及教学。本文所研究基于机器视觉的电子白板 系统就是一类新型的交互式电子白板。 交互式电子白板8 删( 也有人称之为互动白板或交互白板) 是电子白板( e l e c t r o n i c w h i t e b o a r d ) 及感应笔等附件( 硬件) 与白板操作系统( 软件) 的集成。它集书写、记忆、 储存、打印、控制、演示等功能于一体，当与计算机连接，配合投影机使用时，即变 成一块超大触摸屏和显示屏，用手指代替鼠标、键盘和笔，实现人机合一。人机交流 屏幕上所显示的内容可随意圈点、注释、修改，并可储存打印。交互白板硬件系统的 核心组件包括触摸屏幕及其附属输入设备如鼠标笔、投影设备和计算机系统。其中安 装了电子白板软件的计算机系统则负责对传入的电子笔位置和运动信号进行运算处 理，转换成对计算机程序和内部对象的操作，并将运算结果转换成计算机图形，最后 将图形在白板屏幕上显示出来。白板软件【l o 】是否强大易用在相当程度上决定了整个交 互式电子白板的优劣。 2 网络电子白板 网络电子白板【1 1 】【1 2 1 是对传统意义上电子白板，即交互式电子白板概念的一个扩展。 作为计算机支持的协同工作( c s c w ) 系统【1 3 】的一个重要的交流工具，网络电子白板是 一类基本的c s c w 应用。所谓网络电子白板是指一个虚拟共享区域，支持分布式环境 中的群体中的协作者在各计算机上都有一个对白板的视图，可以观看同一内容、讨论 同一问题以及在线方案设计【1 4 】。白板数据是共享数据，当一个协作者修改了其中的数 据之后，就要把修改立即通知给其他协作者，让他们及时更新自己的白板视图，即所 谓的“你见即我见 ( w y s i w i s ) 。这充分体现了协同系统的同步交互能力、多用户同 步感知能力以及图像、图形、文本等多种方式交互的能力，有利于用户协同工作的进 行。目前它己成为c s c w 系统设计中的一个不可缺少的工具。 在远程教育系统中，网络电子白板是在i n t e r n e t 环境中为进行教学的教师和学生提 供文本和图形共享的工作空间，它允许多个远程参与者在他们各自的计算机显示器上 来观看同一内容的窗口，每个参与者都可以使用简单的绘图工具来标注白板或输入文 4 第二章电了白板技术理论 本。在计算机屏幕上，它可以简单仿真实际的黑板。一般地，绘图功能既包括自动绘 制规则几何物体( 如圆、线、箭头等) ，也包括徒手作图功能。文本一般通过基本单词 编辑器输入，也允许作简单的注释。所有的参与者都可以在其上书写，而且文本或创 作的图形对象通常还能被移动擦除，有时还可以被修改( 即替换) 、尺寸变换、取消等。 当参与者完成标注自板或输入文本后，辩通过i n t e m e t 同步传递到其他的自板中。这样， 多个远程参与者都可以同步观看白板中的内容，从而实现了传统教室中黑板的功能。 潮络电子皇扳主要实现在即时逶信环境下图形会话模式的实现以及图形特征信怠 的采集、打包、传输和远程图形恢复的原理与实现。根据系统需求，网络电子白板的 功能与w i n d o w s 提供的绘图板的功能相似，因此在程序设计和开发时一般将电子魏板 的界面设计成w i n d o w s 绘图板类似的界面，方便用户的使用。 图2 1 网络电子白板系统功能结构图 网络电子自板所实现的主要功能有： 1 ) 电子白板共享内容的同步显示 用户以鼠标移动在电子宣板中进行各种操作时，接收方的电予自板会始终保持着 与用户的白板同步，用户在白板上所做的任何行为都会反映到接收方的电子白板客户 5 青岛大学硕士学位论文 端上。 2 ) 在线同步作业 系统允许通信双方同时对电子白板进行操作，效果如同现实生活中的两个人同时 在同一块黑板上书写。 3 ) 常用的绘图功能 系统中实现了基本的绘图功能，如绘制直线、绘制圆形、绘制矩形、橡皮擦、清 屏等功能。 网络电子白板系统的功能模块可以分为服务器端和客户端两大类，其中服务器端 主要进行的功能操作有处理用户登录，处理用户呼叫和处理用户下线；客户端主要进 行的功能操作有用户登录，呼叫好友，发送消息等。系统的功能结构如图2 1 。 总体来说，目前网络电子白板( 包括其他c s c w ) 在理论上仍然还没有成熟的协同 描述方法和形式化理论，问世应用产品无论在功能上还是在性能上都需要不断改讲。 2 1 2 电子白板定位技术研究 常见的交互式电子白板定位技术可以分成两大类：被动型和主动型【1 7 】【1 8 】。被动的 触摸系统不需要特殊的触点去激活触摸表面，用户完全可以用手指或其他物体完成交 互工作。而主动的触摸系统则需要特殊的装置去接触触摸表面，最常用的交互装置是 特制的电源供电的交互笔。下面分别介绍几种常用的电子白板定位技术。 1 电阻膜技术 电阻膜技术原理是：电子白板基本结构是由多层膜组成，包括水平线电阻膜、绝 缘网格、导电膜、垂直电阻膜等，组合膜与使用区域大小相同。工作原理是在电阻膜 上加一个固定的电压，在没有外力作用下，导电膜不接触电阻膜，没有电压被测得， 不会有定位的信息反应。当用硬物压在电阻膜的某一点时，电流通过导电膜被测试电 路读取，就像从一个电位器中测试到一个变动的电压，这个电压与触摸点的位置有关。 根据从水平和垂直方向读取的电压，可以换算为触摸点的x ，y 方向位置。电阻式触摸 屏采用网格扫描方式实现，特点是有物体压住膜的表面时，可以反应出物体压住的位 置。 技术的优劣势分析： 优势：1 、定位相对准确。 2 、无需专用笔即可实现触摸操作。 劣势：1 、书写较吃力，力度不够字迹显示不出来。 2 、怕划伤，一旦有划伤，就不能使用。 3 、反应速度较慢。 4 、无法实现超大面积。 6 第二章电子白板技术理论 主要使用厂家：美国：p o l y v i s o n 、i n t e r a c t i v et e c h 。 目前此技术的产品市场占有率呈快速下滑趋势，国内较少厂家采用此技术。 2 电磁感应技术 电磁感应式的工作原理是：电磁波是可以通过空气和绝缘物体进行传播，电磁感 应式是采用一支可以发射电磁波的笔，水平垂直两个方向排歹| l 的接收线圈膜组成，膜 的大小与显示区域相同。定位原理是，发射电磁波的笔按间歇方式发射电磁波，当笔 靠近接收线圈的膜时，线圈上会感应到笔发射的电磁波。离笔最近的线圈组感应到的 电动势越离，根据水平方向和垂直方向感应到的电动势，通过计算可以获得笔所在的x 、 ￥坐标位置。 技术的优劣势分析： 优势：l 、定位相对准确。 2 、书写过程中有压感，郯根据书写的轻重不同，笔迹的粗细会不同。 3 、显示区域的均匀度较好。 劣势：1 、必须使用专用笔才能书写，不能做触摸操作。不方便教学管理。 2 、 反应速度不够快，即书写的笔过去之后笔迹才出现。 3 、怕划伤，一旦中间如现划伤整块板就可能不熊用了。 4 、难以实现超大面积的版面制作。 采用此项技术的主要厂家： 英国；p r o m e t h e a n 和g t c o 。 加拿大：s m a r t 。 美国：n u m o n i c s 。 中国：巨龙、天士博等。 这是一项早期电子自板常用的技术，目前市场份额相对稳定。 3 红外线感应技术 红外技术的原理是：由密布在显示区四周红外接收和发射对管形成水平和垂直方 向的扫描网格，形成一个扫描平面网，当有可以阻挡红外光的物体阻挡住网格中的菜 对水平和垂直红外扫描线时，就可以透过被隰挡的水平和垂直方向的红外线位置确定 x ，y 坐标，实现坐标的定位。 技术的优劣势分析： 优势：l 、定位准确、精度较高。 2 、无需专用笔、可用手指、教鞭等进行书写或触摸操作。 3 、 不怕划伤，即便板中有任何划伤也不影响操作使用。 4 、使用寿命较长。 7 青岛大学硕士学位论文 5 、反应速度较快。 6 、造价较低。 劣势：1 、无压感反应( 可用软件弥补) 。 2 、可能受强红外光的影响。 采用此项技术的主要厂家： 美国：3 m 。 英国：s a h a r a 和l u i d i a 。 日本：h i t a c h i 。 中国：鸿合。 根据国际权威市场调查机构的分析报告，在世界市场上红外技术的交互式电子白 板技术的产品2 0 0 5 年占9 ，2 0 0 6 年占世界市场份额的1 7 4 ，应用呈快速增长的势头。 被越来越多的用户所接受，成为教育行业喜欢的产品。在中央电视台一套每天早晨8 点的“朝闻天下”节目中就是使用红外技术的交互式大屏幕产品。 4 表面声波感应技术 超声波技术的原理是：利用超声波的传输速度较慢的特性，根据超声波发射到接 收时间计算出发射点到接收点的距离。使用在平面定位上的原理采用的是在屏幕的一 边放置两个按固定距离分布的超声接收装置，用于定位的笔是一个超声波发射器，当 笔移动在屏幕的表面时，所发射的超声波沿屏幕表面被接收器检测到，由收到超声波 的时间可以换算出笔与两个接收器的距离。采用三点定位的原理，即根据三角形已知 三个边长可以确定笔所在的顶点原理，计算出笔所在的位置坐标。是一种测距定位模 式。 技术的优劣势分析： 优势：l 、定位相对准确。 2 、适应性强，可在不同面积的设备上使用。 劣势：1 、定位精度不均匀。 2 、受温度影响较大。 3 、需用专用笔书写。 采用此技术的主要厂家： h i t a c h i 、i b e a m 等。 此技术目前市场份额呈下降趋势。 5 机器视觉技术 机器视觉技术的基本原理是：依据人眼视觉定位的原理，在平面上安装两个图像 传感器件，并使两个图像传感器的光轴平行于安装平面且相交于空间中的某一点，如 8 第二章电子白板技术理论 果使用的是线阵图像传感器就形成了一个平行子安装平丽的扫描平面，如果使用的是 面阵图像传感器的话，取其中的一行或几行像素点也可以形成扫描平面。在两个图像 传感器的视场交汇区中，任何穿过扫描平面的物体都会在两个图像传感器上成像，不 同的物体位置会导致不同的成像位置。这样就可以通过物体在两个图像传感器上的成 像位置得剑了物体在平面上的实际位置坐标。再经过一定的坐标转换算法将实际位置 坐标转换为屏幕显示坐标在显示屏幕上显示输出。理论上来说，仅使用两个摄像头就 可以实现点的定位，但在实际使用中，为了扩大视角，去除富点以及增强识别精度， 通常会使用两个以上摄像头来进行定位。 匿2 。2 光电感应技术原理匿 技术优劣性分析： 优势：l 、定位相对准确。 2 、适应性强，可在不同面积的设备上使用。 3 、识别速度快。 劣势：1 、显示屏幕要求严格，需平板显示器。 2 、受光线强度影响较大。 采用此技术的主要厂家：加拿大的s m a r tb o a r d 。 9 青岛大学硕士学位论文 这是一项崭新的电子白板定位技术， 有加拿大的s m a r t 公司推出了相关产品， 好的推广。 6 多种定位技术比较 国内对该技术的研究十分匮乏。由于目前仅 使得该产品的价格十分昂贵，并没有得到较 综上所述，交互式电子白板采用不同的定位方式，则会有不同的特点和性能。表 2 1 将上面的文字内容进行总结和对比： 表2 1 交互式电子白板定位技术参数对照表 技术方式电阻电磁感应 红外 超声波机器视觉 基本传感方式 面面线点点 专用笔不需要需要不需要需要不需要 矩阵扫描方式是是是 否否 表面覆膜是是 否否否 使用耗材无电池无电池无 使用寿命中长长长长 响应速度慢中快 由 快 多级压感是是 否否否 主材料电阻膜带线圈的膜红外发射超声检测器光电传感器 接收l e d 定位算法依据( x ，y )( x ，y )( x ，y )距离角度 定位精度算法模拟电压计算插值计算插值计算距离换算角度换算 发展前景差良好 差 好 2 2 机器视觉理论 2 2 1 机器视觉概述 机器视觉( m a c h i n ev i s i o n ) 【1 9 】【2 0 】，又称计算机视觉或人工视觉，是用计算机模拟人 眼的视觉功能，从图像或图像序列中提取信息，对客观世界的三维景物和物体进行形 态和运动识别。机器视觉研究的目的之一，就是要寻找人类视觉规律，从而开发出从 图像输入到自然景物分析的图像理解系统。机器视觉利用各种成像系统代替视觉器官 作为输入手段，由计算机来代替大脑完成处理和解释。机器视觉的最终目标是使计算 机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。目前人们努力的 1 0 第二章电子白板技术理论 中期目标是建立一种视觉系统，这种视觉系统能依据视觉敏感和反馈以某种程度的智 能完成一定的任务。 机器视觉是一个信息处理系统，它是一个根据图像发现景物中有什么物体和物体 在什么地方的过程，也就是从图像得到对观察者有用的符号描述的过程。对于机器视 觉系统来说，输入是表示三维场景投影的灰度阵列，希望的输出是对图像所代表景物 的符号描述。这些描述的确切本质取决于观察的目标和期望，通常包括物体的类别、 物体间的关系、物体的表面空间结构、表面物理特性以及光源位置等信息。从输入图 像得到景物描述之间存在巨大的间隙，需要经过一系列的信息处理和理解过程。对这 个过程本质的认识是揭开视觉之谜的关键，但遗憾的是目前我们对这些还远未了解清 楚。在视觉的信息处理机制的理论当中，最为完善和系统的是m a r r ( 马尔) 视觉计算理 论。m a r r 视觉计算理论把视觉看作一个信息处理系统，并把该系统分为三个层次，即： 计算理论层次、表示与算法层次和硬件实现层次。计算理论层次研究视觉系统的目的 和策略、研究系统的输入和输出、怎样由系统的输入求出系统的输出；表示与算法层 次研究输入输出信息的表示、计算理论所对应的功能的算法实现以及一种表示如何变 换成另一种表示；硬件实现层次研究用硬件实现上述表示和算法的问题，比如计算机 体系结构及具体的计算装置及其细节。在这三个层次中，从信息处理的角度看，最重 要的是计算理论层次，只有正确理解了待解决问题的本质，才有助于理解并创造算法。 2 2 2 机器视觉的应用 机器视觉是在2 0 世纪5 0 年代从统计模式识别开始发展的，虽然到现在才短短的5 0 年，但机器视觉技术己广泛地应用于科研、工农业生产、军事、商业和家用等各个方 面。可以说，需要人类视觉的场合几乎都需要机器视觉。而且，在某些方面，机器视 觉比人类视觉更具有优越性：机器视觉不会有人眼的疲劳，机器视觉比人眼有更高的 精度和更快的速度，特别是在一些人类无法感知的场合，借助红外线、紫外线、x 射线、 超声波等探测技术，机器视觉更具优越性。 一个典型的工业机器视觉应用系统【2 l 】通常包括光源、光学系统、图像捕捉系统、 图像数字化和图像处理模块、智能识别和判断决策模块和机械控制执行模块。如图2 7 所示，被测目标在光源的照射下，采用摄像机或其它的图像拍摄装置，将目标转化为 图像信号，经过数字化和一定的图像处理送入智能识别和决策系统，根据图像的像素 分布、亮度和颜色等信息，按照一定的算法将目标的某些特征提取出来，根据预先设 定的容许度和判别条件输出判别结果。 下面是一些机器视觉的典型应用： l 、工业检测和装配中的应用； 2 、移动机器人导航； 1 1 青岛大学硕上学位论文 3 、医学中的应用； 4 、监控、安全鉴别和交通管理中的应用； 5 、遥感图像分析。 图2 3 机器视觉应用系统 2 2 3 摄像头标定简介 摄像机标定【2 2 】就是确定摄像机内外参数的过程，这些参数定量地描述了空间物体 表面某点的三维几何位置与其在图像中对应点之间的互相关系。随着计算机立体视觉 应用的不断普及，摄像机标定技术作为立体视觉系统不可缺少的前提和基础部分受到 国内外学者的广泛关注。 摄像机标定方法主要可以分为摄像机自标定方法、传统标定方法和基于主动视觉 的摄像机标定方法三大类。 l 、摄像机自标定方法 摄像机自标定方法不依赖于标定参照物，其利用获得的多帧图像信息综合分析而 得到摄像机的内外参数。这种方法标定过程复杂，不宜用于实时性要求较高的场合， 并且其最大的不足是鲁棒性不足。摄像机自标定方法主要用在对精度要求不高的场合， 如通讯和虚拟现实等场合。 2 、摄像机传统标定方法 摄像机传统标定方法是在一定的摄像机模型下，在一定的实验条件下，利用形状 和尺寸己知的标定物，经过对其图像进行处理，并利用数学变换和计算方法来计算摄 像机内外参数。该标定方法的算法复杂，精度高。标定计算的复杂度与摄像机成像几 何模型的复杂性有关。在传统的标定方法中，由t s a i t 2 3 】提出的基于径向排列约束( r a d i a l 第二章电子白板技术理论 a l i g n m e n tc o n s t r a i n t ，r a c ) ，即在只考虑径向畸变的情况下，像点至光轴的径向直线， 平行于物点至光轴的径向直线的“两步法”是目前应用较多、精度较高的标定方法。 该方法首先根据径向准直约束求解出大部分模型参数，然后通过非线性搜索方法求解 畸变系数和有效焦距等参数。该方法虽然简便，快捷，但是仅仅考虑了径向畸变，对 于切向畸变较大的场合( 如鱼眼镜头) 就不再适用。在此基础上，张正友提出的平面模 板两步法【2 4 】首先利用线性和非线性方法求取内外参数的初值，然后再解非线性最小化 方程，来对内外参数求精。该方法更是具有模板制作容易，标定简单，精度较高的优 点，目前被广泛使用。本文采用这种方法对摄像头进行标定，从而进一步获取摄像头 参数。 3 基于主动视觉的摄像机标定方法 基于主动视觉的摄像机标定方法就是根据自主地控制摄像机来获取的图像数据线 性地求解摄像机的模型参数。这种标定方法的主要优点是由于在标定过程中已知了关 于摄像机的运动信息( 包括诸如摄像机在平台坐标系下朝某一方向平移某一给定量、摄 像机的平移运动相互正交等定量信息，以及摄像机仅作纯平移运动或仅作旋转运动等 定性信息) ，因此一般来说，摄像机的模型参数可以线性求解，且计算简单、鲁棒性较 高。但是该方法需要使用高精度主动视觉平台进行摄像机标定，系统的成本较高。 2 2 4 基于机器视觉的电子白板定位技术 基于机器视觉的电子白板系统由数字摄像头和图像处理两大模块组成。系统可以 使用两个摄像头也可以使用多个摄像头。摄像头用于扫描交互板面并进行拍摄，如果 摄像头的线性工作区有物体进入，图像处理程序就会从图像中识别出物体并计算物体 和边框所成的角度【2 5 1 。 当然仅仅使用一个摄像头获取的角度是无法定位出物体的准确位置，别的摄像头 也需要各自检测物体获取角度，两个摄像头就可以准确地定位一个物体。两个摄像头 和物体这三者构成一个三角形，摄像头间的距离是己知的，也就是三角形的一边已知， 只要得到三角形的两个角，就可以确定物体的位置。如果使用四个摄像头，那么每两 个摄像头可以作为一组，共分成四组，每组摄像头各自确定物体的坐标，然后把所得 的所有坐标进行平均，提高定位的精度。 目前，加拿大的s m a r t 公司【2 6 】已经率先将该技术应用到电子白板的开发中来，提出 了受专利保护的d v i t 技术【2 7 1 ，但其技术的基本原理依旧是机器视觉理论。 1 3 青岛大学磺士学位论文 第三章电子白板定位关键技术 3 1 物理坐标的计算 3 1 1 摄像头定位点基本原理 隧常生活中，人们用双眼观察物体，物体在两个眼睛中各成一个像，远近不同或 是方位不同的物体在眼睛中成像的位置不同，人们可以根据物体的成像位簧推断出物 体的远近方位，也就是可以确定物体的位置。 为了实现二维平面上物体的定位，我们可以依据入h 艮视觉定位的原理汹】，在这平 面上安装两个摄像头，模拟人的两个眼睛。两个摄像头的光轴平行于安装平面且相交 于空间中的某一点，如果使用的是线阵摄像头这样就形成了一个平行于安装平面的扫 描平面，如果使用的是面阵摄像头取其中的一行或几行像素点也可以形成扫描平面。 只要在两个摄像头的视场交汇区中f 2 9 】f 3 们，任何穿过扫描平面的物体都会在两个摄像头 上成像，物体位置不同成像的位置也不同。这样我们就可以通过物体在两个摄像头上 的成像位置得到物体在平面上的实际位置。 y ：d l ) - 歹 ， ，1l b基 、x ， _ 南 一 心、h 2 ， ， ，- 一 图3 1 双摄像头物体定位基本原理 1 4 第三章电予翻板定位关键技术 要检测并定位交互笔的位置，首先要处理摄像头采集的图像。取图像中一个固定 的带状区域处理，经过差运算、滤波平滑、二值化以后，就可以得到纯黑自图像，图 像中的白色区域就是交互笔所处的位置。从左到右依次检测自色区域的起始像素点序 号和终止像素点序号，平均羼就可以褥到交互笔成像的中心的光敏元序号，然后统计 两个摄像头中的中心点个数。 如图3 1 中所示，在平面直角坐标系中，一个摄像头( c c d l ) 的中心点s 位于 坐标系的原点o ，主光轴鸱t 与x 轴正方向所成的角度为，也就是摄像头仰角为。 另一摄像头( c c d 2 ) 中心点冀健子x 轴砸半轴上，主光轴飚与x 轴负方向所成的角 度为扁。两个摄像头中心点之闽的距离s 篷= d o ，两条主光轴鹧和避相交于平面 上的尹点。用最简单的小孔成像模型简化摄像头成像过程，物体m 进入扫描平面时， 在两个摄像头中成像的圭光线分别为m a 和m b ，且分别于x 轴相交于么和廖。物体彤 在两个摄像头上成像中心点的光敏元序号分别为强和惕，像高分别为鱼和豫。我们假 设从摄像头背后向主光轴正方向看，c c d 上最右侧的光敏元序号0 ，从右到左依次增 大；成像在主光轴右边的像高为正，成像在主光轴左边的像高为负，以c c d l 为例， 从摄像头背焉向s p 方向着，物体鲋的像在主光轴左侧，因焉像高霸为负，同理c c d 2 中像高及也为负。m a 与x 轴正方向所成的角度为口，m b 与x 轴负方向所成的角度为 夕，m a 与光轴吗的夹角为苁，m b 与光轴鹏的夹角为圪。摄像头的镜头的焦距为 f ，c c d 横向光敏元总个数为n ( 也就是横向分辨率为n ) ，光敏元间隔为。从 图3 1 的几何关系可以得到图像中心点的光敏元序号到物理坐标的变换： 磊= 一臻) 恐= 吲 以= 一争 恐2 亨 考鑫大学矮士学链论文 聪2 a o 一苁 p p o 七? t j = d o 坝嚣一骂s l n o fs l n ，js i n f l c o s a 。，s i n 双 x = d 一+ ，工 s i n ( a 十) 。s i i l 口 y ：d s i n a s i n f l 。 s i n ( a 十) 反过来我们可以从物理坐标m ( x ，y ) 得到图像中心点的光敏元序号： 瓴：f ( y c o s a ：o - x s i n _ a o ) y s m n o 七x c o s a 一j 及：f ( y c o s 7 0 + x s i n 7 0 - d o s i n _ f l o ) 。 嫔3 一d o ) c o s 3 七 一y c o s 3 - ( 1 ) 3 - ( 2 ) 如果物理坐标上给出以坐标m ( x ，y ) 为中心半径为r 的一个圆形区域，我们也可以 相应得到