（计算机应用技术专业论文）基于视频检索技术的公路景观信息管理系统的研究.pdf

摘要 摘要 目前，随着我国公路建设发展迅速，对于公路建设与生态环境协调发展的要求也不 断的提高。但是公路生态景观恢复评价建设任务繁重，传统的恢复评价模式和手段已经 明显不能适应要求。公路景观信息管理系统就是结合公路改造和旅游开发遇到的生态环 境问题，拟从生态景观理论、构成要素、存在问题和解决方法入手，建立旅游公路景观 信息管理系统，采用数据库管理技术和视频数据库管理技术进行公路景观信息管理，协 调好公路交通与生态环境的关系，规划好沿线的旅游经济，促进公路与旅游、资源、环 境保护协调发展，走可持续发展之路。本论文将国内外先进的视频检索技术，视频数据 库管理技术和普通的数据库管理技术应用到公路景观信息管理系统中，实现公路生态景 观评价恢复建设所需信息管理的一体化、自动化、规范化和丰富化。 本论文首先通过介绍视频检索技术中的关键技术视频分段技术和关键帧的提取的典 型方法，根据公路生态景观视频数据的格式确定采用的分段技术和关键帧提取方法。其 次根据视频数据库的基本结构特征以及现有的典型数据模型，提出了适合本项目需要的 公路景观信息视频数据库的视频数据模型。并在此基础上建立了一个结合公路生态景观 属性数据和空间数据的公路景观视频数据库管理系统。本论文首次把视频检索技术，视 频数据库管理技术和普通的数据库管理技术应用到公路景观信息管理系统应用。把智能 化的公路景观信息系统应用到公路生态景观评价及恢复中，这方面的研究在国内具有一 定的先进性。本论文不仅具有较高的可用性、安全性、可扩展性和可靠性，还拓展了应 用领域，具有定的创新性。 关键词视频检索；视频数据库；景观信息管理 东：l 匕牛， i 业人学顺i j 学论文 a b s t r ac t a tp r e s e n t ，i sr a p i da l o n gw i t ho u rc o u n l r yh i g h w a yc o n s t r u c t i o nd e v e l o p m e n t ，r e g a r d j n g h i g h w a yc o n s t r u c t i o n a n de c o l o g i c a le n v i r o n m e n tc o o r d i n a t e dd e v e l o p n l e n tr e q u e s ca l s o u n c e a s i n ge n h a n c e m e n t b u ti h er o a de c o l o g yl a n d s c a p er e s t o r e s t h ea p p r a i s a lc o n s t r u c t i o n d u t yt ob ea r d u o u s ，t h et r a d i “o n a l r e s c o r a t i o n a p p r a i s a lp a t t e r na n dt h em e t h o da l r e a d y o b v i o u s l yc o u l dn o ta d a p tc h er e q u e s t t h er o a d1 a n d s c a p ej n f o r m a t j o nm a n a g e m e n fs y s t e m u n i f i e st h ee c o l o g i c a le n v i r o n m e n tq u e s l i o nw h i c ht h er o a dt r a n s f b r m a t i o na n dt h et r a v e l i n g d e v e l o p m e n tm e e t s ，d r a w su pf t o mt h ee c o l o g yl a n d s c a p et h e o r y ，t h ei n t e g r a n tp a r t ，t h e e x i s t e n c eq u e s l i o na n dt h es o l u t i o no b t a i n s ， e s t a b l i s h m e n tt r a v e l i n gr o a dl a n d s c a p e i n f o m a t i o nm a n a g e m e n ts y s i e m ，u s e st h ed a t a b a s ea d m i n i s t r a t i o nt e c h n o l o g ya n dt h ev i d e o f r e q u e n c yd a t a b a s e a d m i n i s t r a t i o nt e c h n o l o g yc a r r i e so nt h er o a dl a n d s c a p ei n f o r m a t i o n j 1 1 a n a g e m e n t ，c o o r d i n a t e st h eg o o dh i g h w a yt r a f f i ca n dt h ee c o l o g i c a le n v i r o n m e n tr e l a t i o n s ， p l a n st h ea l o n gt h er o u i et r a v e l i n ge c o n o my ，p r o m o t e st h er o a da n dt h et r a v e l i n g ，i h er e s o u r c e s ， t h ee n v i r o n m e n t a lp r o t e c t i o nc o o r d i n a t e dd e v e l o p m e n t ，w a l k s r o a do ft h es u s t a i n a b i e d e v e l o p m e n t t h i sp a p e rt h r o u 曲u s ea d v a n c e di n f o r m a t i o nt e c h n o l o g y ，d o m e s t i ca n df o r e i g n a d v a n c e dv i d e of t e q u e n c i e sr e t r i e v a lt e c h n o l o g y ， t h er e a l i z a t i o nr o a de c o l o g yl a n d s c a p e a p p r a i s a lr e s t o r e st h ec o n s t m c i i o nt o n e e dt h ei n f o r m a t i o nm a n a g e m e n tt h ei n t e g r a “o n ，t h e a u t o m a t i o n t h es t a n d a r d i z a t i o na n dt h ee n r i c h m e n t t h i sp a p e r ，f i r s tt h et y p i c a lm e t h o dw h i c hw i t h d r a w st h r o u g hi n t r o d u c t i o nv i d e of r e q u e n c y r e t “e v a lt e c h n o l o g yi ne s s e n c i a lt e c h n i c a lv j d e of r e q u e n c yp a r t i t j o nt e c h n o l o g y a n dt h e e s s e n t i a lf r a m e ， a c c o r d i n g t ot h er o a de c o l o g yl a n d s c a p ev i d e of r e q u e n c yd a t af o r m d e t e r m i n e du s e st h ep a r t i t i o nt e c h n o l o g ya n dt h ee s s e n t i a lf r a m ew i t h d r a wt h em e t h o d n e x t b a s i sv i d e of t e q u e n c yd a t a b a s eb a s i cs t r u c t u r ec h a r a c f e r i s t j ca sw e l la se x j s t i n gt y p i c a ld a t a m o d e l ，p r o p o s e ds u i t sr o a dl a n d s c a p ei n f b r m a t i o nv i d e of r e q u e n c yd a t a b a s ev i d e of r e q u e n c y d a t am o d e lw h i c ht h i sp r o i e c tn e e d s a m dh a se s t a b l i s h e dau n i o nr o a de c o l o g yl a n d s c a p e a t t r j b u t ed a t aa n dt h es p a t i a ld a t ar o a dl a n d s c a p ev i d e of t e q u e n c yd a t a b a s em a n a g e m e n ts y s l e m i nt h i sf o u n d a t i o n t h i sp a p e rf o rt h ef i r s tt i m ev i d e of t e q u e n c yr e t r i e v a lt e c h n o l o g y ，t h ev i d e o f r e q u e n c yd a t a b a s e a d m i n i s t r a t i o n t e c h n o l o g y a n dt h e o r d i n a r y d a t a b a s ea d m l n i s t r a t l o n t e c h n o l o g ya p p l i e st ot h er o a dl a n d s c a p ei n f b r m a t i o nm a n a g e m e n ts y s t e ma p p l i c a t l o n a p p l l e s t h ei n t e l l e c t u a l i z e dr o a d1 a n d s c a p ei n f o r m a t i o ns y s t e mt ot h er o a de c o l o g yl a n d s c a p ea p p r a l s e s a n dr e s i o r e s ，h i sa s p e c tr e s e a r c hj nd o m e s t i ch a sc e r t a i na d v a n c e m e n t t h ep f e s e n tp a p e rn o c o n l yh a st h eh i 曲u s a b i l i ty ，t h es e c u r i ty ，m a yt h ee x t e n s i o n a n dt h er e l i a b i l i t y ，a l s oh a s d e v e l o p e dt h ea p p l i c a t i o nd o m a i n ，h a sc e r t a i ni n n o v a t i o n k e y w o r d s m a n a g e m e n t a b s i r a c i v i d e of r e ql l e n c yr e l r i e v a l ，v i d e of r e q u e n c yd a t a b a s e ，i a n d s c a p ei n f or 1 1 1 a t i o n j 绪论 1 绪论 1 1 课题背景 随着我国经济持续、快速、健康的发展，以及西部大丌发战略的实施，高速公路的 建设也以前所未有的速度发展。由此而引发的环境问题已经得到有关部门的重视，并且 采取了相应的措施，拨出大量的资金用于高速公路环境景观恢复工程的研究与实践，取 得了一定的成绩，但有待进行更深入的研究，以进一步完善高速公路环境景观工程恢复 的理论，并直接指导实践。这必将产生更显著的生态环境效益、社会效益和经济效益。 9 0 年代是我国高速公路建设的高峰期，其创造的自身社会效益和拉动的经济效益众 目共睹，对我国社会经济发展起到了巨大的促进作用。然而，道路的线型特点造成原有 生态系统的非连续性，以及工程自身施工操作特点等原因，不可避免的引发一些生态问 题，如土地分割、植被破坏、水土流失及野生动植物的减少等。进入新世纪以后，国家 干线公路在人口稠密、经济发达地区的工程大都已完成，目前正向省市交界地带拓展， 或进入已建项目的扩建研究阶段。需要建设的高速公路多位于省界和边区，这些交界或 边区，许多或是高山分隔区，或是江河分水岭，或是相对封闭的地区，或是国家己建， 或正在建设的自然保护区等，这些地区也多是生物多样性相对较高而生态环境比较脆弱 的地区，公路开通所导致的区域性人口增加，资源开发加剧，经济规模扩大，都会对自 然生态环境带来巨大的压力和多方面的影响。 随着社会进步和人民物质文化生活水平的提高，以及人们对环境问题越来越清醒的 认识，寻求可持续发展己成为全社会共同的目标。可持续发展是既满足当代人的需要， 又不对后代人满足其需要的能力构成危害的发展。在中国2 1 世纪议程白皮书中， 中国政府己明确把可持续发展作为一项重要的战略决策，可持续发展的核一心是实现环 境、资源与社会的协调发展，在注重经济发展同时必须保护自然资源和改善生态环境， 实现经济增长方式从粗放型向集约型的转变【1 1 。2 0 0 2 年国家颁发了全国生态环境保护 纲要，进一步强调了“促进自然资源的合理、科学利用，实现自然生态系统良性循 环，维护国家生态环境安全，确保国民经济和社会的可持续发展”的战略目标1 2 j 。因 此，人们对公路使用功能的多样化和服务水平的要求也发生了观念上的改变，不仅要求 公路能够方便、迅达、安全、舒适、清洁，更注重公路的美观、公路与周围生态环境的 和谐性，以及公路建设引起的生态可持续性问题。这就要求我们在公路建设中，树立公 路基础设施建设与环境保护全面协调发展的全新思维方式，以保护生态环境为前提，合 理利用生态环境为指导，将一切不利影响减少到最低程度，寻求一条公路建设与生态环 境保护协调发展的道路，实现可持续发展。 1 1 1 课题需求简析 西部大丌发是2 l 世纪我国国民经济和社会发展的一项重大战略部署。为贯彻落实 l 绪论 数据很快积累起来，形成所训的“信息爆炸”。i 。巨大的并任迅速增加的信息量佗查询 和检索变得非常困难，多媒体和数字视频应用的普及，使这种情况更加强化。为解决这 一问题，国际上很多科研机构都开始重视数字视频数据库的相关技术和应用的，：发工 作。 从1 9 8 3 年d t s i c h r i t z i s 和s c h r i s t o d o u l a k 等人第一次提出多媒体数据库 ( m u l t i m e d i ad a t a b a s e ) 的概念，对多媒体数据库技术的研究己开展了近2 0 年，对于包 括数值、字符文本、图形、图像和声音等形式媒体的数据库的研究取得了重要的进展， 其中很多技术成果获得了推广和应用。但是视频数据库技术由于涉及的理论和技术众 多，以及视频数据本身的特点，目前仍处于实验室研究及成果推广阶段。 1 3 1 视频数据库的现状 由于视频数据的非格式化、数据量大、时空尺度并存、数据之间关系复杂等特点， 使得视频数据相比于数值、文本、图形和图像、声音等形式的数据更难处理。 近来，以管理文字及数值信息为主要目的的传统数据库技术获得很大的发展，己形 成了完整的理论体系及成熟的实现技术，多数商用数据库得到了广泛的应用。但是，视 频作为一种时、空并存的数据引入数据库，将带来视频数据处理和管理的一系列问题， 这对传统的数据库技术提出了挑战。视频数据库系统涉及模式识别、计算机视觉、人工 智能、认知科学及数据库技术等多个学科，它的核心是对庞大的视频数据流进行基于内 容的检索。 视频数据库的研究在上世纪9 0 年代中期才成为多媒体技术研究的热点之，至今 虽然己提出了一些基本的模型和算法，也有一些视频数据库原型系统问世，但在视频数 据库领域还没有形成完整的理论体系，很多问题还没有公认成熟的方法，也没有广泛应 用的商业化视频数据库软件平台的出现。而视频数据库在远程教学、远程医疗、电子商 务、数字图书馆、视频监视等领域有广阔的应用前景，如前分析对公路景观评价及生态 恢复的研究也有非常重要的作用。因此视频数据库己成为信息处理领域重要的研究方 向。 我们来分析一下国内，夕 、比较典型的一些视频数据库原型系统，以大致了解视频数据 库的发展水平。 v i d e o q 系统：v i d e o q 是哥伦比亚大学研究的一个项目，它扩充了传统的关键字和 主题导航的查询方法，允许用户使用视觉特征和时空关系来检索视频。它有以下几个特 征：集成文本和视觉搜索方法；自动的视频对象分割和追踪；丰富的视觉特征库，包括 颜色、纹理、形状和运动；通过w w w 互联网交互查询和浏览。 t v f i 系统：t v f i ( t s i n g h u av i d e of i n di t ) ，是清华大学开发的视频节目管理 系统。这个系统可以提供如下几个功能：视频数据入库、基于内容的浏览、检索等。 t v f 工提供多种模式访问视频数据，包括基于关键字的查询、基于示例的查询、按视频 结构进行浏览、以及按用户自己预先定义的类别进行浏览。 东墓腓q ：) = ：i 黼料；i 簧伴啦苎 她；鹭坎型一。篱壁些黉；驯羁l 毒薯哥墓；鬻耐揣鞘袭。攀雨茏零鬟翼螽葡蔫键j 薹囔镜薹 一酚匿霪氖而雾瑟烈强隔l 刺蓁耋髫姜莹i ；菱臻柳萋研禾叭餮塾冀麓毹蓠堇墓臀葡揣箱 树s 幛尽管看奏耋画洲割班霾滓鬻新科猁稍孚羹嚣蓁鋈鬟；i 雾鋈霪雾葡矍蓁羹萋；摹 蜓生囊蠢篓羹塞霎雾囊蒜撇一骺；嗡誊前蚕磺溜霪惑蠹娌臻囊一氨j z 萃毒擒堡2 踏鬻雾8 耄星辚裂囊雕墨衙峨缨袭靛粉翠笺箝星簸筲舔；型奏丽 茸羹啊韵杓蠹攀篓蠹黼靴缎转鞋黎；磐陟j 堤酯剜烈磐粪j2 弼娩撂缘丝筝蓁理耋里剃 型型颡罂。摧褥糍摧霎甄蒌趔研i 呸星i 步也是关堡形羹f | | | 霎；! 嘲氆颈薹剿羹囊靛釜 囊器型零辑2 刻蒋短曩彘厨囊副型! 衙阪斋鹎一霎；厕卿一剥剥赋瞥剜憾攀至墓墅瓤薹 霜i 亳矛虱薹憋鋈蓠爨霸眵耵烈鞫莺等是毫囊蓄举。秦绦岌终型稣。煎熬嚣。馨礁瓤 鼙辞麴篱刖哞蔓搿憾型? 臻岩菇藏菲墅| 薹蒂蕊萧臻醑耨奈j 翻刚辩嚣鬻( j 薹蔼囊鞭程则；疆塔毽这些建 梗方法各有其优缺点聒! 喧嚣蒸羹| ；羹一魔定鬟藿丽毓；莽巍慝筢萁字囊麓鬻薹奏疆 蘸希= 羹建可强艘嘲甥毪墅，堡塞：堕襄曼薹寻彻渤渤债，局部且与羹辩錾索透瑚蓁 拦翥笫i 汛虢奔盼囊j 吻澎砑攀央磊督至人，翻别髦鞲鬟嚣篓雅鲤班稚八羹m 嗜强 毫i 埂莺蓁蹴辫冀堡蔫槲朝g e 髯；塞七i 缱警丽烈签叁鞲蜜j 椭囊驴彰钳i 口! 荆廷篱眨竖 叭驰耋灌g 疆渤海浦塞皆苷分袭， 警蚕 要器量前驯冬晶翳型鲁鉴肾蓄鬻鞋；麓翰剁霎辫噬鬈塑薹需鏊舰嘲玢霸；丽 菜取骞霉m 赡弘u 囊雾。莒廨尝荟俪席慧雾薪崭甜圳叁一疆羹量并俑鼢透糯谢i 畴扬i 庞大移碗诨凌瓣谆i 攀力舅彰羹鞫萝基酾耀甾傺，酾燮。蓍擎二一扦院巨i 环- 域鬻r 西塑朝刨爿酶樊舅滩叛搦尉型嗣制搿基耩蓁翼叁髦鬻携孺增j 蓁鹳。揣笺囊墼琴 雾i 噻埂删均瞧纹理特件等琉泐囊：拳静耙疑手醪亨器盼噬丽u 矾印亚黔堕蒜蒸? 趔 薹垂于夭毽首型壅m 蛄；茎| | | 篓! 圳理j 雾冀蠢型萋j 堕喾影燮鬻努氯群娄篓箨篓藩； 晰鳓鸶羹霸丽鹕锰| 拒两哺话嫂勰西橱；肚囊m 颤蘑弱蓁孽器露誊妄蓠豫糍菇鎏雨赫耐巍 菲茎耋璜葺舜撼常孽鐾鬟型螽葬睡；麓辩譬矗薹鲫驵婺坦鎏嚣； 墅熟磊缎鹱拍划一f 荆邑瓣酗碓囊；雾黼嚣羹器鬟型邕鎏需翔；髭豁鬻靴魁醴鬟需 理萄捌黼鬻臻潲编篓薹型雾篝毽i 容囊飘勋甄研一象纠矬酗割雾蓄黪笺需封影囊霪蠢 季付醋霪羹封知二薹叫骄赙邈弱一曼彗器趸曝霉鹱掣夥型鹂蓁| 毫妻窆fj 莹垂薹萎主圭毫薹攀! ； 凳舯；茎要蓁蓬藿妻；带烈! 囊i 霎妻i 浠l l ；彭鬟磊高薹烂娑甭崭引裂翦；狮黼答蔼卉袁讲行 雾；蛭潺鼓鞯裂菱扦乔整添噍曜i 蜷垤豫礁曜噬强涩嘣饕i 丽斯卦雨鸨鹌酥鞴羹坶羹! 耐埽捕艘趔酒淫啦按查询功能蒌薹锈鹩；鬓颤m 垂一衙礼眼赢茧回。接杏询囊羹撒埔沥 边垂霎分i 鬻耄耋渗妻薹g 蠹彗烈糕蚕 丽巯。 囊羹一季蓁蓥纛翼翼冀薹妻蠹雾 狂必! 萋 ；j矬藜萋冀薹鐾霪霪囊萋一蓥己无法满足要 求，研究新的视频数据查询语言己成为必要。另外，窗口技术、gui技术、动态图标 l 持论 1 4 课题研究的内容及意义 1 4 - 1 课题研究的主要内容 本研究依据景观生态学，结合公路改造和旅游丌发遇到的生态环境问题，拟从生态 景观理论、构成要素、存在问题和解决方法入手，建立旅游公路景观信息管理系统，采 用数据库管理技术和视频数据库管理技术进行公路景观信息管理，协调好公路交通与生 态环境的关系，规划好沿线的旅游经济，促进公路与旅游、资源、环境保护协调发展， 走可持续发展之路。 通过使用先进的信息技术，将国内外先进的视频检索技术、公路生态景观建设思想 和经验有效的应用到公路景观信息管理中，促进旅游公路生态景观信息管理的业务办公 一体化、自动化、规范化：利用计算机强大的计算和数据处理能力，建立公路生态景观 智能信息管理系统，为旅游公路建设管理中的景观评价、生态恢复提供可靠的、基于历 史数据的决策依据；实现行车安全舒适，运输高效便利，景观完整和谐，保护自然的可 持续发展的公路发展模式。论文研究的主要内容包括： ( 1 ) 视频检索技术的关键技术：视频分段技术和关键帧获取技术； ( 2 ) 公路景观信息视频数据库的构建； ( 3 ) 公路生态景观信息管理系统的设计实现。 1 4 2 课题研究的意义 公路的建设对于西部经济和社会发展起到了积极的带动作用，但在一定程度上影响 了周围环境，公路景观与周围环境的极不协调。旅游地区公路改造的生态恢复问题就显 得尤为突出，成为一个需要高度重视的问题。本研究是西部交通建设科技项目“国道 3 2 1 线阳朔月亮山至桂林段公路生态景观恢复技术的研究”的子课题。 本论文首次将结合视频检索技术的公路景观信息管理系统应用到公路生态景观评价 及恢复建设中，解决了公路生态景观恢复评价建设任务繁重以及传统的恢复评价模式和 手段已经明显不能适应要求的情况。实现了公路生态景观评价恢复建设的自动化和规范 化，不仅具有较高而广泛的理论价值而且还有重要的实践价值。 东北林业人学硕l j 学位论文 2 视频检索技术的关键技术 2 1 概述 在多媒体数据呈爆炸性增长的今天，文本、图像、语音、视频等各种形式的多媒体 信息迅速膨胀，如何快速、便捷地进行多媒体信息的检索、查询和浏览，以自己喜欢的 方式获取所需的多媒体信息成为人们的迫切愿望。而多媒体信息中视频数据的结构最复 杂，信息最丰富，但由干表达手段的缺乏，使其储存、组织、检索的难度也最大【1 4 】。如 何有效地解决视频数据的组织和检索问题，也成为一个研究的热点。 传统的视频检索方法是依靠人的记忆来回忆视频内容，然后再用文字描述。这种方 式往往主观性强、速度慢，而且错误率高。微软亚洲研究院多媒体计算组的负责人张宏 江博士1 9 9 4 年提出的基于内容的图像查询和视频检索方法使得这一领域的研究有了突 破性的进展l l5 | 。该方法只需分析视频的序列结构，按帧的内容变化程度区分视频的变 化，不但可以对视频内容进行实时分析，而且实现了视频与音频的快速集成这一重大突 破，建立了现代视频检索和内容查询的基本框架【1 6 j 。 基于内容的视频检索( c o n t e n t 岫a s e dv i d e or e t “e v a l ，c b v r ) 是目前基于内容检 索研究的热点。视频检索要求在大量的视频数据中找到所需的视频片断，但由于视频内 容繁多且复杂，对视频的检索十分困难，与图像检索在很大程度上不同。而视频是目前 包含信息量最丰富的数据，因而对视频的检索己成为实际生活中一个突出的问题。十年 来，经过人们的不懈努力，基于内容的视频检索技术得到了不断发展，取得了令人振奋 的成绩1 1 7 1 8 j 。 视频在内容的表达上，可分为三个层次：原始数据( r a wd a t a ) 、低层视觉内容 ( 1 0 wl e v e lv i s u a lc o n t e n t ) 、语义内容( s e m a n t i cc o n t e n t ) 。原始数据是由基本视 频单元和数据格式、帧频率( f r a m er a t e ) 等组成：低层视觉内容有颜色、形状、纹理等 视觉特征组成：语义内容包括对象( o b j e c t ) 、事件( e v e n t ) 等高层概念【1 9 】。在视频检 索领域，大多数工作还停留在利用低层视觉内容进行的，而对语义层次的检索还只在特 定领域进行，如体育比赛。在1 2 0 】中，提出了一种利用人类行为分析和专门网球比赛的特 定领域知识进行视频自动注解的方法。在语义层次，一般需要知识库的支持。由子其复 杂性较大，因此进展并不如人意。 视频分析是在图像分析的基础上进行的，因此图像的视觉特征如颜色、形状、纹理 也自然地被引进视频中来，并得到了广泛的应用。此外，为了更好地表达视频，解决视 频的视觉特征在时空表达上的非连续性而引起的视频分析结果的不如人意，人们引进了 能反映视频连续性的特征如运动特征( 包括o b j e c tm o t i o n 和c a m e r am o t i o n ) ，或综 合利用不同媒体的相关性，如对视频中声音、文宇的识别来辅助视频的语义识别1 2 u 1 2 2 l 。由于视觉特征的直观和简单而有效，它在视频检索中得到了广泛的应用，即使在各 2 视频榆索技术的关键技忙 种研究同益i 求入的今天，用视频的颜色、纹理、形状、运动等f 氐级视觉特征来检索视 频，仍是视频检索的主要方法。 视频检索与传统数据库技术相结合，可以方便地实现海量视频数据的存储和管理； 与传统w e b 搜索引擎技求相结合，它可以用来检索h t m l 网页 t 丰富的视频信息。在可 预见的将来，基于内容的视频检索技末将会在以下领域中得到一泛应用：多媒体数据 库、知识产权保护、数字图书馆、网络多媒体搜索引擎、交互电视、艺术收藏和博物馆 管理、远程医疗以及军事指挥系统等等。尽管基于内容的视频检索得到了广泛的关注并 已得到了一些应用，但其真正的应用还处于雏形阶段。目前视频检索主要的检索目标 有：检索相似的视频；在一段视频中定位相似的视频片断；检索相似的镜头等。 我们对基于公路景观视频的特性考虑，分析了数字视频的特征、视频的分段、关键 帧的选取，在文中分析了现有的典型方法，并提出了在公路景观视频中我们采用的多种 方法，并在此基础上分析了视频数据的按内容检索。 2 2 数字视频的特征 2 2 1 数字视频【2 3 】 视频分模拟视频和数字视频。模拟视频电视技术，模拟视频易受信号衰减和噪声的 影响。传送过程中易失真和丢失，可控性差：我们所指的视频是数字视频，数字视频是 由多幅连续的图象序列构成。如图2 1 所示。其中x 轴及y 轴表示水平及垂直方向的空 间维，而t 铀表示时间维。沿时间轴幅图象保持一个时间段t ，利用人眼的视觉暂 留作用，可形成连续运动图象的感觉。人眼在亮度信号消失后亮度感可保持1 2 0 一 1 1 0 s 的时间。如果每帧图象交换速度足够快( 一般为每秒2 5 3 0 帧) 、则人眼就感觉 不到图像的不连续。 图2 一l 数字视频结构图 东北林业人学硕i j 学位沦义 2 2 2 视频数据信息内容丰富 视频数据与传统的字符数值数据不同，作为种多媒体信息，属于非字符数值( n o n a l p h an u m e r i c ) 数据，它与传统的字符数值型数据相比，有更丰富的内容，主要表现 在： ( 1 ) 视频数据有较高的信息分辨率 所谓信息分辨率是指某种媒体提供的细节的多少。视频数据随着观察的深入，可逐 渐获得一些新的细节。如对于一段描述犯罪现场的视频数据，我们可从中分辨出犯罪地 点、背景、犯罪人、犯罪工具乃至作案手段等细节。这些细节中蕴涵着丰富的信息内 容。 ( 2 ) 视频数据内容的多样性 视频数据作为一种表达信息的媒体，其中所含内容可分为二类：一类视频内容称为 信息内容( i n f o r m a t i o nc o n t e n t ) ，它是指视频中所含有的语义内容，例如，上述描述犯 罪现场的视频数据，信息内容是指何种罪行、犯罪地点及手段等；另一类视频内容称为 声视内容( a u d i ov j s u a lc o n t e n t ) ，它是抬视频中所含有的可视及声音的外部表示，如视 频中所含的颜色、纹理、物体运动、物体之间的关系、摄像机操作、物体形状大小等息 内容可以通过多种声视内容表达出来。 ( 3 ) 视频数据解释的多样性及模糊性 视频数据是连续播放的图象信息，在图象帧中所含的信息十分丰富。不同的人对一 幅图象或一段视频可能有不同的解释，这就不像字符数值型数据有完全确切的客观的解 释，视频数据常常有个人主观的因素。如感情、心理等。由于视频数据的模糊性，当我 们对其进行查询时，就无法像字符数值型数据，用一个指定的字段作为关键字确切地查 询一个特定的记录。在视频数据库中，常常只能用相似性进行查询，即只能用近似匹配 对视频数据进行查询。 2 2 3 视频数据结构复杂 ( 1 ) 视频数据即有空间属性又有时间属性 视频数据、文本数据以及图象数据的结构有很大的不同。文本数据是一种纯字符数 值型数据，不含空间和时间属性，可以看作是一维数据；图像数据是一种具有空间属性 的数据，但没有时间属性，可看作是二维数据。对于视频数据而言，则不但具有空间属 性还具有时间属性，可以看作是三维数据，空间维是每一帧图像具有空间结构，时间维 是指视频是一系列的图像沿时间轴顺序分布而形成的种流结构。因此视频数据具有时 空特性，这使得视频数据的表达和模型的建立变的困难。( 详见表2 一1 ) 表2 1 视频数据、文本数据以及图象数据的结构比较 2 训频榆索技术的关键投术 数主| l f 维度 。f l l 态，维 ( 见空间数据) 数据组织有结构 数据容量小 数据关系简单，易定义 静态，：维 ( 含空间维度) 1 f 结构数据 中等 复杂，不易定义 动态，：维 ( 含时间f l i 空j 、司信度) 1 f 结构数捌 人 = | f 常复杂，难以定义 ( 2 ) 视频数据单元之间关系不明确 在文本数据中，各数据单元之间的关系运算是明确的，可以比较两个文本数据项之 间是相等还是不相等关系。但是，对于视频段之间的这种关系是十分复杂的，难以确切 的定义，这就给视频数据库的建立和操作带来许多新的问题对于非结构化的视频数据， 要想直接进行检索是很困难的，因为很难给出两个非结构化的数据之间的相似性度量。 即使人为构造视频的结构，由于其主观性，使得数据之间的“相等”或“不相等”的关 系十分复杂而且难以定义，只能用其“相似度”这个概念来衡量，这就给视频数据的索 引、查询等带来许多问题。对于视频序列之间的相似性运算就难以建立一个合适恰当的 标准。 2 3 视频分析 如前所述：视频数据是一种无结构的数据，数据的复杂性和数量庞大以及表达方法 的缺乏，使得视频的存储和检索十分困难。为了能够有效地管理和利用视频信息，必须 将视频进行分析，并以此引出有效的视频组织结构，将视频的特征提取出来，再将其综 合，以实现对视频数据的有效存储和检索。 视频分析是视频结构化和视频检索的前提和基础。视频分析的结果直接影响着检索 的有效性。视频分析主要包括视频分段( v i d e op a r t i t i o n ) 、视频运动描述( m o t i o n c h a r a c t e r i z a t i o n ) 、视频分割( v i d e os e g m e n t a t i o n ) 等。视频是一种无结构的数据 流，视频分析的关键和重点，在于将视频数据根据情节和内容，划分成有意义的片断， 即视频分段。视频运动描述是对视频中镜头运动和对象运动的检测和描述，这对于将视 频在视频分段基础上进行细分有重要的意义。视频分割是指将视频中前景物体与背景物 体分高开来，从而为视频的语义理解迈开第一步。视频的高层次内容是语义层次的，是 目标对象在背景中进行的各种动作，所以视频分割对分析视频语义层次上的内容有重要 意义。但是在本论文中，我们只应用到了视频分段技术，下面就视频分段技术进行介 绍。 2 3 1 视频分段 整个连续的视频，我们必须对其进行分割，使其形成某种结构层次关系，使其具有 一定的结构，方便存储和检索。在介绍视频的分段之前，我们先来分析几个名词的意 义：镜头( s h o t ) ：相机摄下的不问断的帧序列，是进步结构化的基础结构层；关键 帧( k e yf r a m e ) ：代表镜头显著内容的帧，在镜头结构建立后，用来代表各镜头的特 东北林业火学颂i j 学位论文 征，进行进- 步结构化；场景( s c e n e ) ：语义上相关、时问上相邻的镜头集合，表达了 个高层抽象的概和语义；组( g r o u p ) ：介于物理镜头和语义场景之间的结构部分例 如：一段采访录像镜头在主持人与被采访者之问频繁切换，整个采访属于一个场景，而 那些关于主持人的镜头属于一组，关干被采访者的镜头属子另一组。 我们所说的“基于内容”的检索与以往基于整个视频文件的检索相对应，是基于视 频数据局部且与内容相关的检索。例如，在体育视频中，“查找某场足球比赛中所有 射门镜头”就是基子内容的检索：又如，在建筑物监视视频中，“查找某段时间内有人 出现的镜头”也是基于内容的检索。要做到这一点，在将一段新视频数据插入数据库中 时，应按视频数据模型将视领数据分成若干“有意义”的单元如镜头、场景等。这就需 要进行视频分析和分段。 采用人工进行视频分段是十分烦琐的，我们首先必须观看视频资料，然后按数据模 型将整体视频数据分段( 精确到帧) 。这过程费时费工。并随着视频资料数量的日益 增长，所耗人力是无法接受的。然而，在目前的技术水平下，只能实现部分的计算机自 动分段，如镜头分段。而对于较高层次的分段，如情节分段等由子需要很高的人工智 能，在可以预见的将来都很难实现。因此，视频数据库管理系统的视频分段方式应是计 算机自动分段和人机交互相结合。 视频分段标准具有多样性和复杂性的特点，对于不同的视频对象及其应用方式，视 频分段的标推是不同的。这使得视频数据的组织必定是一种多层次的树型结构。例如， 对于故事片的组织，从低到高的层次可以是镜头、场景、情节。般来说，这一树型结 构的最底层是镜头。任何一段视频数据流都是由许多镜头组成的。因此，视频数据库 中，在新视频数据流插入数据库时，应根据数据模型对数据流进行多层次的分段，层次 的最底层一般是镜头分段。因此，在视频分段结构中，镜头是最重要的视频片断形式， 对镜头的检测技术相对来说也较成熟。我们主要讨论采用计算机视觉技术对视频数据流 中的各种镜头变换进行分析和识别，从而达到自动分段的目的。 现在我们来分析一下镜头分段技术。视频是由许多镜头组成的，分割镜头的关键是 检测和识别视频流中的镜头变换。镜头变换是将一段连续视频图象序列变换到另一段连 续视频图象序列，包括镜头突变一镜头切换和渐变一淡入谈出( f a d ei n f a d eo u t ) 、 隐现( d s s o l v e ) 、滑入( w i p e ) 等【2 5 】。它们都是由视频剪辑形成的。在视频的后期制作 中，对镜头的组织就是视频剪辑。例如对于故事片和新闻，都是通过视频剪辑完成的， 就是对体育视频这样纯记录式的视频，也不是由一个镜头组成的。视频剪辑的变换效果 有多种，表2 2 给出了1 0 种常见的丽巯。 囊羹一季蓁蓥纛譬孳冀薹妻蠹雾 狂必! 萋 ；j矬藜萋冀薹鐾霪霪囊萋一蓥己无法满足要 求，研究新的视频数据查询语言己成为必要。另 外，窗口技术、g u i 技术、动态图标、等级视频放大器技术等人机界面和交互技术也应 用于视频数据查询的人机界面设计，为 二税频愉索技术的关键技术 i n f a ( i eo l i t ) 隐现( d s s o l v e ) 翻页 ( p a g e t r a n s l a t e ) 拉进( s l i d e ) 滑入( w i d e ) 弹进弹出( p o p o n p o do f f ) 上拉下拉( p u l l u p p u l ld o w n ) 翻转( f 1 i p ) 旋转( s p i n ) 的莳帧缓慢而均匀地由黑屏直至m 现 倚一镜头的尾帧成缓慢而均匀地变成卜一镜头的首帧 前一镜头的尾帧从屏幕的一边拉山，而逐渐显示山。卜一镜 头的首i 帧 卜一镜头的首帧从屏慕一边或一角平稳地拉进，同时上一 镜头的尾帧从一边或角拉山 + 卜一镜头的首帧逐渐穿过并覆盖前一镜头的尾帧 某镜头的首帧立即从屏幕上出现或某镜头的尾帧直接从屏 幕上消失 下一镜头的首帧如窗帘一样从屏幕顶部拉下或拉上，遮闭 前一镜头的尾帧 前一镜头的尾帧图转，在另一面显示下一镜头的首l 帧 下一镜头的首帧以旋转方式出现并覆盖前一镜头的尾帧 由于镜头变换种类如此之多，目前还不能找到一种普遍的方法能很好地解决各种变 换的检测。对于切换，由于变换过程相对简单，因此对它的识别方法一般可以达到9 0 以上的识别率；而对于镜头渐变变换，目前各种方法一般只能达到8 0 左右的准确率， 因此，对由镜头变换的识别，主要是找到一种对各种变换能有较好的适应性而且有较高 的准确性的识别方法，以提高镜头自动分割的准确率。镜头变换的识别方法大多采用亮 度特征、颜色特征、运动特征来检测帧间差别。下面介绍几种典型的方法。 2 3 1 1 模板匹配法 模板匹配法以两帧对应像素差的绝对值之和作为帧间差，其计算公式见公式( 2 一 】) ： i c m ，p c d ( i ，) = 艺1 j f r ( 训) 一，( w ) i r _ 0 y - o ( 2 一1 ) 其中，i 。表示第i 帧视频，d ( i ；，i ，) 是i ；和i ，的帧间差，i ；( x ，y ) 为第i 帧( x ，y ) 位 置的像素值，m 和n 为帧的宽度和高度。这种方法比较前后两帧对应像素之间的变化， 如果变化超出一个阀值t ，则认为有镜头的切换。 模板匹配法的缺点是对噪声和镜头或物体运动非常敏感，因为它严格地局限于像素 的位置。噪声和物体运动都会使帧间差增大，从而导致错误的场景转换检测。对此由人 提出了一种改进的方法，即把各帧划分为8 术8 像素的小块，并对每个块取平均，再用这 个平均值对前后帧的对应小块进行比较，这种方法可以去掉图像中的一些噪声，并对小 的物体运动和镜头运动起到补偿作用。 2 3 1 2 直方图法 直方图法是使用得最多的计算帧间差的方法，它不考虑像素的位置信息，而使用像 素亮度和色彩的统计值，因而抗噪能力比模板匹配强。其基本原理是将颜色空问分为一 个个离散的颜色小区间，然后计算落入每个小区间的像系数目。设颜色空问分为n 个区 东北林业人学坝l j 学位论文 刈，h 。是第i 帧中落入第k 个颜色区问的像豢数目。帧问差可由公式( 2 2 ) 表示 d ( ，) = 帆，。 - i ( 2 2 ) 颜色直方图法的缺点是，有时会漏掉场景变换，因为两幅图像可能有完全不同的结 构，但其颜色直方图却很接近。与颜色直方图法相似的另一种计算帧问差的方法是x 2 直 方图法，据介绍这种方法用于镜头转换，检测效果要好于上述两种方法。两幅图像之差 用公式( 2 3 ) 求得 帆盘芝掣 七丑2 1 。七 ( 2 3 ) 2 3 1 3 基于边缘的方法 这种镜头边界的检测方法是根据边缘特征，它的基本思想是，“在发生镜头转换 时，新出现的边缘应远离旧边缘的位置，同样旧边缘消失的位置应远离新边缘的位 置”。 首先提取前后两帧视频图像i ；和i ，的边缘图e ；和e ，两帧视频图像之间的差异 为：d i f f = m a x ( d d 。) ，其中d ；。是进入像素( 新出现的远离已有边缘的像素点) 所占 的比例，d 。是退出像素( 新消失的远离新边缘的像素点) 所占的比例，其中d 。= p 。p 。， p 。为e 中离e ；中最近边缘像素点的距离大r 的边缘像素点的总数，p m 为e i + l 中的边缘像 素点总数；d 。= p 。p 。，p 。为e 。中离e 川中最近边缘像素点的距离大于r 的边缘像系点 的总数，p n 为e ；中的边缘像素点总数。如果d i f f 大于某个设定的阀值t ，则认为出现了 镜头的切换。 2 3 1 4 基于模型的方法 上述方法都是利用帧间差自下而上来进行镜头边界的检测，它对于突变检测可以取 得较好的效果，但是对于渐变检测则有一定的困难，因为它在很大程