（计算机软件与理论专业论文）移动可视媒体智能处理与传输方法研究.pdf

移动可视媒体智能处理与传输方法研究摘要 论文题目：移动可视媒体智能处理与传输方法研究 专业：计算机软件与理论 博士生：马建平 指导教师：罗笑南教授李毅教授 摘要 可视媒体已经成为信息处理和信息资源建设的主体。可视媒体的智能处理是 数字生活与经济发展等重大需求中的共性技术。移动图形计算作为可视媒体的主 要内容之一，成为无线网络和图形学高速发展产生的新研究领域。随着无线网络 的稳步发展、数字媒体应用的丰富，以及移动设备的普及，新兴的数字媒体终端 在快速发展，如：手机、p d a 等，移动三维图形的需求也随之迅速增长，所涉 及到的产品、应用众多，移动可视媒体已经成为移动用户亟需的媒体内容。如何 通过移动终端进行可视媒体的处理成为移动可视媒体产业发展的瓶颈问题，是移 动图形计算技术领域新的挑战。任意网格的三维几何模型，由于模型数据占用了 巨大的存储空间，使模型数据很难在网络上传输。以往的三维图形简化与压缩算 法多数关注的是模型压缩的效率与精度，而忽略简化后模型重建的速度，其算法 仅考虑在尽可能保持原始模型特征的情况下，最大限度地减少原始模型的顶点和 三角形数目。以往的方法不能满足移动环境下应用的特定需求：( 1 ) 由于无线网 络带宽和移动终端设备显示分辨率的限制，对三维图形的精度要求相对较低，而 对图形显示的速度要求较高，( 2 ) 移动用户要求实时性较强，等待完整的图形数 据传输后再显示已经不能满足需求，故需要在线实时图形数据的传输。 针对移动设备的特点和移动网络的需求，为解决移动可视媒体的无线传输与 快速渲染等问题，展开了3 d 图形的压缩与渐进传输方法的研究，其主要研究内 容和贡献体现在以下几个方面： 面向移动3 d 图形的逆l o o p 细分几何模型简化算法研究。通过对逆b u t t e n y 细分算法的分析，提出了一种基于改进l o o p 细分的几何模型简化算法。将稠密 的几何模型网格，通过反复操作三个步骤：顶点分裂、奇点预测和重新三角化， 生成由稀疏的基网格和一系列偏移量组成的渐进网格。在奇点预测过程中，将改 移动可视媒体智能处理与传输方法研究摘要 进l o o p 细分模板作为预测器，由于l o o p 细分相关联的顶点数目少，提高了几 何模型简化和重建的速度，生成渐进网格易于在无线网络上渐进传输，并可在移 动终端上进行图形的无损重建。 移动3 d 图形嵌入式编码压缩的方法研究。利用逆细分简化算法对三维几何 模型进行了分解，构建图形小波树结构，实现了消除冗余数据和不重要的几何信 息。三维几何模型的三角网格经过逆l 0 0 p 细分简化后，生成由了渐进网格，每 简化一次，网格的顶点和三角形的数目各减少7 5 ，但由于减少的奇点数目与增 加的偏移量数目相等，故网格的压缩效果并不理想。经三次简化后的渐进网格与 简化前的网格压缩比约4 5 3 1 ，压缩效率较低。将基于小波变换的图像编码压 缩方法思想拓展到三维图形的嵌入式编码设计中，提出了基于三维模型的嵌入式 图形编码压缩算法，使得算法的压缩效率提高了3 倍以上。 移动可视流媒体自适应传输的中间件架构和传输方法研究。由于移动终端设 备的分辨率不同，对三维模型要求的精度也不同，全部传输渐进网络和无损重建 网格通常是不必要的，它占用了更多的网络带宽，同时也浪费了移动终端设备的 有限系统资源。基于移动设备与网络的上述特点，提出了一种可视流媒体自适应 渐进传输的中间件架构，首先将移动图形进行处理并对其进行简化与压缩，再将 其网络与偏移量数据分为重要和次要部分，运用t c p 协议和u d p 传输两种协议， 对数据在无线网络上不同层次的数据运用不同的网络协议传输。通过模拟实验验 证了本方法的有效性。 本文提出了适用于无线网络传输的三维图形的几何简化算法和三维图形嵌 入式编码压缩算法，同时还提出了模型数据在无线网络上传输的应用架构和传输 方法。实验表明，算法具备简化速度快、压缩效率高、易于在有限资源的移动设 备上实现；图形数据量化编码后的流媒体可以在无线网络上实现渐进传输。 关键词：可视媒体、移动3 d 图形、几何模型、智能处理、渐进网格、渐进传输、 曲面细分 n 移动可视媒体智能处理与传输方法研究a b s 的c t t i t l e ： r e s e a r c ho ni n t e l l i g e n tp r o c e s s i n ga n dt r a n s m i s s i o no f m a j o r ： n a m e ： m o b 订ev i s u a lm e d i a c o m p u t e rs o f t w a r ea n dt h e o r y j i a n p i n gm a s u p e r v is o r ：p r o f x i a o n a nl u oa n dy i l i a bs t r a c t v i s u a lm e d i al l a sb e c o m eo n eo ft h ep r i l l c i p a lp a r t so fi 1 1 如r m a t i o np r o c e s s i i l ga n d r e s o u r c e sc o n s t l l j c t i o l l i n t e l l 追e n tp r o c e s s i i 培o fv i s u a lm e d i ai st h ef o u n d a t i o n a l t e c l l l l o l o g yi 1 1d i g i t a l l i f ea n de c o n 0 i i l i cd e v e l o p m e m m 0 b i l e3 dg r 印h i c sc o m p u t i n g ， a so n eo fk e yp o r t i o n si 1 1v i s u a lm e d i a ，h a sb e c o m eaf a s t g r o w i i l gd o m a i l li n w i r e l e s sn e t w o r k sa i l dc o m p u t e rg r a p h i c s w i t ht h es t a b l ed e v e l o p m e n to fw i r e l e s s n e t 、o r k ，t h ew i d eu s eo fd i g i t a lm e d i aa n dt h ep r e v a l e n c eo fm o b i l ed e v i c e s ，t h e r i s i i l gd 追“a lt e r m i l l a l s ，s u c h 嬲m o b i l ep h o n e sa n dp d a s ，a r ei i l c r e a s i l l gt h e i m p o n a l l c eo f3 dg a m e sa n di m e r a c t i v em u l t i m e d i aa p p l i c a t i o n s ，e t c a n dm o b i l e v i s u a lm e d i ai sb e c o m i i l gad e s i d e r a t e d1 1 1 e d i ac o n t e n tf o ru s e r so fm o b i l ef a c i l i t i e s t h et e c l l i l o l o g i e si i lv i s u a lm e d i ai 1 1 v o l v em a n yp r o d u c t s 锄da p p l i c a t i o l l s t h e p r o c e s s i n go fm o b i l ev i s u a lm e d i ah a sb e c o i n eab o t t l e n e c kd r o b l e mf o rt h e d e v e l o p m e mo fm o b i l ev i s u a li n e d i ai 1 1 d u s t ya n di sf a c i i l gi n u c hc 1 1 a l l e n g e 心b i t r a r y r n e s h e so f3 dg e o m e t 】了m o d e l s ，f o rt h e s em d d e l st a l ( eh u g es t o r a g es i z e s ，a r eh a r dt o b et r a m s m i t t e do v e rw i r e l e s sn e t w o r k s m o s to fp r e v i o u s3 ds i m p l i f i c a t i o na n d c o i n p e s s i o na k o r i t h s 南c u so nt h ec o i n p r e s s i o ne 街c i e n c ya n da c c u r a c y ，b u tt h e y h a v ei g n o r e dt h ea l g o r i t h me x e c u t i l l gs p e e d t 1 l ec r “e r i o no ft h e s ea l g o r i t h m si st o k e 印嬲1 e s sd i s t o r t i o no fm o d e l sa sp o s s i b l ew h e nt h ev e r t i c e sa n dt r i a n g l e si 1 1t h e m e s h e sa r ed e l e t e d t h e s em e t h o d sc o u l dn o tm e e tt h es p e c i a ln e e d si i lm o b i l e e n v i r o r u n e n t s t h e r ee x i s t st w om a i l l b a c k sf o rm o b i l ea p p l i c a t i o n ：( a ) b e c a u s e o ft h el i m i t e db a i l d w i d t ho fw i r e l e s sn e t w o r k s 锄dt h el o wr e s o l u t i o n ，t h ea c c u r a c v r e q u h m e n to f3 dm o d e li sr e l a t i v e l yl o w ，b u t 恤r e n d e 血gs p e e do f3 d 掣a p h i c s n l u s tb ef a s t ，( b ) m o b i l eu s e r sr e q u i r er e a lt i l l l e 印p l i c a t i o n t h e yc a nn o tw a i tu t i l l t h ew h o l ed a t aa r ed o w i l l o a d e d s ot h er e a n i i l l et r a l l s m i s s i o ni sc r i t i c a l f o rt h en e e do fm o b i l e3 da p p l i c a t i 0 1 1 s ，t l l i st h e s i sp r o v i d e san 0 v e la l g o r i t h mo f l l l 移动可视媒体智能处理与传输方法研究a b s 打a c t 3 dg e o m e t r ym o d e ls i m p l i f i c a t i o l l ，aa l g o 血h mo fg e o m e t r i cm o d e lc o 枷p r e s s i o na n d am e t h o d 南rt r a i l s m i t t i l l gt h es t r e a m i i l g3 dg r a p h i c sd a t ao v e rw i r e l e s sn e t w o r k t h e m a i nc o n t r i b u t i o l l so f t h i st h e s i sa r ep r e s e n t e da sf o l l o w s an o v e la l g o r i t l l i n 旬ri n o b i l e3 dg e o m e t r ) ，m o d e l ss i n l p l i f i c a t i o nb a s e do n r e v e r s el o o ps u b d i v i s i o ni sp r o p o s e d d u et oh u g ei n a g 血u d eo f3 dg r a p h i c sa n dt h e 1 i m i t e dc h a n n e lo fw i r e l e s sn e t w o r k ，t h e3 dg r a p l l i c si n u s tb ed e c o m p o s e di n t os m a l l p a c k e t sf o rt r a l l s l i l i s s i o no v e rw i r e l e s sn e 铆o r k g i v e nt h e1 i m “e dd i s p l a yr e s 0 1 u t i o n o fm o b i l ed e v i c e s ，t h ec o n t e n t so f3 dg r a p h i c s 舢s tb ea d j u s t e dt of i td i f f e r e n t r e s o l u t i o l l s m o s to ft h ep r e v i o u sa l g o r i t h m sf o c u so ns 妇p l 毋i i l ge m c i e n c ya n d p r e c i s i o no ft h em o d e l sa n dh a v ei g n o r e dt h ee x e c u t h 培s p e e d ，e s p e c i a l l yt h eg r a p h i c s r e c o n s t m c t i i l gs p e e di 1 1s p e c i f i cs i t u a t i o i l s t l l i st h e s i sp r o v i d e san o v e la l g o r i t i h nt o s i l n p l 遗t h eg e o m e t r i cm o d e lb a s e do nm o d i & dl o o ps u b d i v i s i o ns c h e m e t h ed e l l s e m e s hi sd e c o i l l p o s e di i l t op r o 目e s s i v em e s h e sw i t hac o a r s em e s ha n das e r i e so fo 丑s e t b yr e p e a t i l l gt h e s et l l r e es t e p s ：v e r t i c e ss p l i l ，o d dv e f t i c e sp r e d i c ta n dr e t r i a n g l e t h eh 1 0 d i f i e dl o o ps u b d i v i s i o ns c h e n l es e i v e sa sap r e d i c t o rd u r i l l gt h es t e po fo d d v e r t i c e sp r e d i c t 矗培s i n c et h e 彻m b e fo fv e r t i c e sa 脚i a t i o nc o m b i n a t i o no fl p s c h e m ei sr e d u c e d ，i ti l l 】p o v e st h es p e e do fm e s hs i i n p l i f i c a t i o na n dr e c o n s t m c t i o n t h e p r o g r e s s i v e l 玎e s h e sc a n e a s i l y b et r a i l s m i t t e do v 钌 w i r e l e s sn e t w o r k p r o 铲e s s i v e l y an e we m b e d d e dc o d i l 唱a l g o r i t h m 如rm o b i l e3 d 铲a p h i c si sp r e s e n t e d t h e t r i a i 培l em e s h e sa r ed e c o i n p o s e di n t op r o g r e s s i v em e s h e sc o f l s i s t i i l go fab a s em e s h a n das e r i e so fo 凰e t sa f i e rt h em e s hs i m p l m c a t i o n a n h o u g l lb o t ht h en u l l l b e ro f v e r t i c e sa n dt h a to ft r i a n g l e sa r ed e c r e 嬲e dt o7 5 i i le a c hs i m p l i 矽i i l gl e v e l ，t h e o 仃s e t sa r ei i l c r e a s e d 觚dt h eq u a n t i t yo fo 任e ti se q u a lt od e c r e s e d 、，e 】吨i c e s a sa r e s u h ，t h ec o m p r e s s i o nr a t i oo ft h es i m p l i 母i 1 1 9a k o r i t h mi s 1 1 0 ti d e a l t h e c o n l p r e s s i o nr a t i o i so n l y4 5 - 31 姐e rt h r e el e v e l so fs i i n p l i f i c a t i 0 i l sa n dt h e c o m p r e s s i o ne 伍c i e n c yi sl o w t l l i st h e s i sp r o v i d e sam wc o m 】) r e s s i o nm e t h o db a s e d o ne m b e d d e dz e r o t r e e 笋a p h i c sc o d i l l g t h c 鲫l l i c so 舔e tz e r 0 骶ei sc o n s t m c t e db y i m l ) r o v i n gt h ei d e ao fe m b e d d e di i i l a g e z e ：r o t r a ec o d i n gw l l i c hl l a sb e e nw i d e l y 移动可视媒体智能处理与传输方法研究a b s 仃a c t a p p l i e dt oi l i l a g ec o n l p r e s s i o l l ，a n di th 嬲g r e a t l yi i l 】p o v e dt h ec o n l p r e s s i o ne m c e n c y a d e s i g no na d a p t i v em i d d l e w a r ea r c 址e c t u r e 觚dat r m l s m i s s i o nm e t h o d 如r m o b i l ev i s u a lm e d i ao v e rw i r e l e s sn e t w o r k sa r ea c l l i e v e d t h ep r o g r e s s i v ei n e s h e sc a n b er e c o l l s t n l c t e dw “ho r 砒h o u t1 0 s so ni n o b i l ed e v i c e s g i v e nd i 虢r e n tr e s o l u t i o i l s o fi n o b i l e d e v i c e s ，t h em o d e l sw i t hd i 丘e r e n tr e s o l u t i o na r en e e d e da n dl o s s l e s s r e c o n s t r u c t i o ni sn o ta l w a y sn e c e s s a r y t ot m s m i tt h ew h o l ep r o g r e s s i v em e s l l e si s u 眦i e c e s s a 巧i tw a s t e sn e t w o r kr e s o u r e c ea n di t sc o i n p u t a t i o m lc o s to nt h em o b i l e d e v i c e si s1 1 i g h i nt l l i st h e s i s ，an _ l i d d l e w a r ea r c h i t e c t u r e 南ri n o b i l es t r e a n _ l j n g3 d p r o 铲e s s i v em e s h e so v e rw i e l e s sn e t w o r k si sp r e s e m e d t h ep m 铲e s s i v em e s h e sa f t e r t h em e s hs i m p l i f i c a t i o na r ed e v i d e d 硫oap r 疵i p l ep a na 1 1 das u b o r d i n a t i o np a n t h e nt h e ya r et r a i l s 血t i e db yu s i i l gt h et c p 觚du d p p r o t o c o l sr e s p e c t i v e l y t 1 1 i st h e s i sp r 0 v i d e sa 1 1a l g o r i t h mf o r3 dg e o m e t 巧s i n l p l i f i c a t i o n ，a i la l g o r i t h m f o re i l l b e d d e d3 d 黟印h i c sc o d i l l ga n dt h e1 1 1 i d d l e w a r ea r c 拙e c t u r e 南r s t r e m i l l g p r o g r e s s i v en l e s h e st r a l l s m i s s i o no v e rw n l e s sn e t w o r k s n l ee x p e r i i l l e mr e s u h ss h o w t h a tt h ea 埯。血h m sa r e s i n l p l e ，y e te m c i e m 1 k s ea l g o r i t l l i i l sa r ee a s yt ob e i m p l e m e n t e do nm o b i l ed e v i c e s t h es t r e a m j l l gd a t aa f t e r3 dg r a p h i c sc o d i n gc a nb e p r o 铲e s s i v e l yt r a l l s m i t t e do v e rw 沁l e s sn e t 、o r k s k e yw o r d s ：、，i s u a lm e d i a ，m o b i l e3 d 伊印l l i c s ，g e o m e t 巧m o d e l ，n e l l i g e n t p r o c e s s i l l g ，p r o 伊e s s i v ei l l e s h ，p r o g r e s s “et r 锄s m i s s i o i l s u r 伍c es u b d i v i s i o n v 移动可视媒体智能处理与传输方法研究 图目录 图目录 图卜1 影视制作、动漫和数字化文物等可视媒体一l 图1 2 智能移动终端多分辨率分析模型。2 图卜3n s f c 项目“可视媒体智能处理理论与传输方法研究”的组成6 图卜4 几种几何元素删除的网格简化算法9 图卜5 二次误差测度( q e m ) 简化1 0 图卜6m a p s 多分辨率自适应参数曲面1 0 图卜7 基于l a p l a c i a n 变换后系数的压缩1 2 图1 - 8 基于线性小波生成的多分辩率模型1 3 图卜9 基于法向的网格简化1 3 图卜1 0 删除一条引起体积变化的网格多分辨率生成算法。1 3 图卜1 1 基于逆b u t t e r f l y 细分的网格简化方法一1 4 图卜1 2 离散点的细分曲面按拟合1 5 图卜1 3r e m e s h 的生成方法嘞1 1 5 图卜1 4 移动计算环境的基础网络模型一2 0 图卜1 5 移动服务计算架构一2 l 图卜1 6 用于不同移动终端的多分辨率模型2 4 图卜1 7m a d g r a f 组件2 5 图卜1 8 有无几何数据功的解码模型效果2 6 图2 一l 由两个三角形构成的四边形3 3 图2 2 四边形折叠操作3 5 图2 3 通过边界三角形的边作垂直平面3 7 图2 4 周期的三角形环折叠操作产生的边界面片3 8 图2 5 不同边形折叠算法比较3 9 图2 6 采用不同算法的牛模型简化的运行时间4 0 图3 1l 0 0 p 细分示意图崎引4 6 图3 2 网格简化与曲面细分的关系4 7 图3 3l 0 0 p 细分模板4 7 图3 4b u t t e r f l y 细分模板4 8 图3 5 正则网格简化示意图5 0 图3 6 半正则网格简化示意图5 0 图3 7 顶点度数为3 到6 的分裂示意5 1 移动可视媒体智能处理与传输方法研究图目录 图3 8 顶点关系示意图5 2 图3 9 预测与更新示意( a ) 简化前( b ) 预测顶点( c ) 简化后5 3 图3 1 0 简化后生成的多分辨率模型和渐进网格- 5 4 图3 1 1h e a d 三次简化生成的多分辨率模型( v e r t i c e s f a c e s ) 5 6 图3 一1 2e s p h e r e ，h e a d 经3 次简化生成的多分辨率模型5 6 图3 1 3e s p h e r e 经4 次简化的多分辨率模型( v e r t i c e s f a c e s ) 。一5 7 图3 1 4g o u r d 经3 次简化生成的多分辨率模型( v e r t i c e s f a c e s ) 5 7 图3 1 5b e a r 经2 次简化生成的多分辨率模型( v e r t i c e s f a c e s ) 5 7 图3 1 6v e n u s 简化模型( v e r t i c e s f a c e s ) 5 8 图4 一l 提升算法6 5 图4 2 小波变换的空间一频率树结构6 7 图4 3 小波系数的判断流程图6 7 图4 4 基于小波的图形编码压缩流程6 8 图4 5 球模型逆细分简化后的多分辨率模型和偏移量小波6 9 图4 6 原始网格( a d ) 与简化后的基网格( e _ h ) ( v e r t i c e s f a c e s ) 7 0 图4 7 三角网格小波树结构示意7 l 图4 8 偏移量小波零树编码( 偏移量小波数量从1 5 5 5 2 减少到5 7 7 2 ) 7 5 图4 9g o u r d 模型用不同阈值压缩后重建效果7 6 图4 1 0h e a d 模型压缩后重建图形效果7 6 图4 一l l 网格渐进重建( 压缩比= 1 4 2 3 ) 7 7 图4 1 2g o u r d 模型r 误差与压缩比7 8 图5 1 因特网组件及协议通信路径8 2 图5 2t c p i p 协议组分层结构8 4 图5 3 移动网络流媒体传输协议栈结构8 7 图5 4 大规模图像根据请求进行局部传输8 8 图5 5 移动3 d 图形处理中间件架构一8 8 图5 6 数据传输次序变换9 2 图5 7 三种模型分别用两种传输方法在不同网络状况下重建模型误差比较9 8 图5 8h e a d 模型在两种传输方式的图形重建9 9 图5 9t e d d y 模型在两种传输方式的图形重建9 9 图5 1 0g u a r d 模型在两种传输方式的图形重建1 0 0 x 论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 墨建壬 日期：超! ：鲨 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电 子版和纸质版，有权将学位论文用于非赢利目的的少量复制并允许论 文进入学校图书馆、院系资料室被查阅，有权将学位论文的内容编入 有关数据库进行检索，可以采用复印、缩印或其他方法保存学位论文。 学位论文作者签名：写建孑 导师签名： 日期：五力年歹月沙日 日期：年月日 移动可视媒体智能处理与传输方法研究第l 章综述 第1 章综述 可视媒体包括文字、图像、视频和三维数字几何，已经成为信息处理和信息 资源建设的主体。可视媒体的智能处理是经济发展、数字生活等重大需求中的共 性技术基础。移动三维图形计算作为可视媒体的主要内容之一，是无线网络和图 形学高速发展产生的新研究领域。随着无线网络的稳步发展、数字媒体应用的丰 富，以及移动设备的普及，新兴的数字媒体终端如：手机、p d a 等在快速发展， 移动三维图形的需求也随之迅速增长，所涉及到的产品及应用众多，已经成为移 动用户亟需的媒体内容。如何通过移动终端进行可视媒体的处理成为移动可视媒 体产业发展的瓶颈问题，是移动图形计算技术领域一个新的挑战。特别是近年数 字家庭的概念快速升温。数字家庭相关产品种类增多，家庭用户的需求成多样化 的趋势，任何时间、任意地点为用户提供3 d 可视化的需求越来越高。移动可视 媒体是数字家庭和数字化生活的核心技术之一，伴随着数字家庭的热潮，在移动 环境下可视媒体技术显示出了巨大的应用潜力和广阔的市场前景。 图卜1 影视制作、动漫和数字化文物等可视媒体。 图片来自：h 丛p ；丛乜i ：卫鱼：q 堑纽i 丛h ! 卫：塑型型：g i g n ! q n g ：g q 啦，h 鲢口；丛型型丝：b 垡墨：q 盟等网址 1 移动可视媒体智能处理与传输方法研究第l 章综述 1 1 研究背景 随着计算机和网络技术的飞速发展，信息资源急剧增长，如何能高效地让人 们获得数据所蕴涵的信息就成了计算机发展历程中一个研究热点信息可视 化，由图像、视频、数字几何等组成的可视媒体已成为信息处理和信息资源建设 的主体。对可视媒体信息资源的深度开发、及时处理、传播共享和有效利用，是 积极推进信息化的重要组成部分，成为信息领域的核心问题。特别是近年数字家 庭的概念快速升温，数字家庭相关产业显示出了巨大的需求和广阔的前景。移动 可视媒体是数字家庭和数字化生活的核心技术之一，伴随着数字家庭的热潮，在 移动环境下可视媒体技术显示出了巨大的应用潜力和广阔的市场前景。 信息获取技术和网络技术的高速发展，极大地加快了可视媒体获取与传播的 速度，可视媒体已成为信息处理和信息资源建设的主体，信息处理过程和结果的 可视化是建立和谐人机环境的有力手段。可视媒体的智能处理已成为经济发展、 数字生活等重大需求中的共性基础。在可视媒体的理论方面，涉及的领域十分广 阔，如图形图像理论、移动计算、网络技术、无线通讯技术、嵌入式系统、音视 频编解码技术等等，很多问题亟待从理论和技术方面加以解决；在可视媒体的应 用方面，涉及到的产品及应用领域众多，见图1 1 ，已经成为可视媒体产业发展 的瓶颈，未来几年可视媒体将成为信息领域的热点。 篡馕 湖翟固幽 图卜2 智能移动终端多分辨率分析模型 可视媒体的特点给信息技术提出了新的挑战，也给信息产业发展带来新的思 想和方法。随着无线网络的稳步发展、数字媒体应用的丰富和移动设备的普及， 新兴的数字媒体终端展现技术也在快速发展，移动可视媒体的大规模实时处理， o 图片摘自：n s f c 广东联合基金重点项目“可视媒体智能处理理论与传输方法研究” 2 图 移动可视媒体智能处理与传输方法研究第l 章综述 移动化的思想已经渗透到信息产业的方方面面，包括移动电视、手机、p d a 、电 子阅览器等移动设备越来越多样化。移动设备对三维图形的需求迅速增长，移动 服务与网络计算的需求不断增加，从早期的笔记本到现在的p d a ，移动设备和终 端向小型化和功能化的方向发展，传统的可视媒体处理方法已远远不能满足移动 环境的应用需求，通过移动终端进行可视媒体的处理成为一个越来越迫切需要解 决的问题。 移动计算提供高速存取内部网和公共互联网的应用，为移动用户提供更多的 互联网信息服务。在数字游戏市场中，网络游戏将持续增长，手机或p d a 等移动 手持设备的移动游戏将是未来游戏市场中成长最快的部分。随着3 g 的开放，三 维图形作为多媒体信息( 如：声音、图像、图形、数据、文本等) 的一种，已经 成为移动用户亟需的媒体内容。用户需求增加是推动移动可视媒体技术发展重要 因素，主要包括以下几个方面。 ( 1 ) 移动设备的发展 高速处理器技术和专用集成电路技术的发展，为多媒体技术提供了高速处理 的硬件环境；人机交互以及分布式处理技术使移动多媒体系统成为可能。移动计 算的硬件平台日益成熟。其中以英特尔、a m d 、n v i d i a 公司为代表的移动计算 平台可作为计算机和无线通话装置，还可作为游戏控制台、家庭影院、m p 3 播放 器，并且支持众多高级二维和三维特性。此外，移动计算技术还支持新高速图形 接口，可为采用独立显卡的高端系统提供最高速的图形带宽。 ( 2 ) i p v 6 的发展 作为协议的第6 版本i p v 6 是i p v 4 的后继者。i p v 6 有许多优良的特性，特别是 在i p 地址量、安全性、服务质量、移动性方面的优势明显。它将i p 地址长度从3 2 位扩展到1 2 8 位，支持几乎无限大的地址空间：l p v 6 简化了报头的格式，使路由 器能更快地处理数据包，限制了报头消耗的带宽；i p v 6 提供对扩展报头和选项支 持的改进，允许新旧协议共存，并支持对未来协议的演变，具有更大的灵活性； 支持多点传送和多种服务类型，尤其是实时业务。i p v 6 技术为移动多媒体业务的 应用提供了条件。 ( 3 ) 多媒体技术的发展 3 移动可视媒体智能处理与传输方法研究第1 章综述 数字技术的进步推动了信号的数字化，使文本、声音、图形、图像等媒体信 号能够以数字的形式，按照一定的逻辑关系融合成多媒体信号。信号的数字化为 多媒体的产生提供了条件，同时也促进了码率压缩技术的发展。码率压缩技术使 多媒体成为表示、重现、存储、传输和处理各种媒体信息的技术。 ( 4 ) 互联网的发展，互联网的发展和计算机处理能力的提高，使得从游戏到 商务的各个领域对高分辨率三维模型的需求迅速增加。如何在有限的网络带宽和 短时间内，将大数据量、高分辨的三维模型数据进行存储、传输和可视化渲染， 成为一个重要问题。 目前影响移动可视媒体应用的因素【l 】有许多，如：网络线路、网络协议、终 端、i p 、操作系统，以及从有限网与无线网的内容转换等等。而相对与有线因特 网，影响移动三维图形媒体，特别是端到端多媒体传输的最主要问题有： ( 1 ) 终端设备的低处理能力和有限资源 尽管许多个人计算机通过w i f i 已经享受着无线网络，但多数无线终端设备还 是p d a 和移动手机。这些设备只有支持几种颜色和低分辨率的小屏幕液晶显示、 低处理单元和小容量的内存空间。可是，多媒体应用通常需要较高的图形处理能 力、较大的内存和用来显示图形图像及视频的大屏幕显示屏。一方面，无线终端 只能支持有限的多媒体应用，另一方面，移动设备图形显示有限的分辨率是一个 主要的制约因素，目前，典型移动设备的分辨率从移动电话的1 0 0 誊8 0 像素到p d a 的2 4 0 宰3 2 0 像素。此外，移动设备的超小显示区域是另一个主要的制约因素，特 别是对于针对个人用户的应用，视觉效果是必须考虑的问题。 ( 2 ) 多样化的无线终端设备 在互联网上，尽管有多种格式的不同种类的多媒体数据，计算机能处理大多 数的数据格式。但无线终端由于其低处理能力和有限的资源，通常仅支持几种数 据格式，其主要的原因是无线终端的生产厂家类型更关注终端设备的方便性和移 动性，而牺牲其多媒体的处理能力。这样，当两种不同类型的无线终端通讯时， 他们支持的数据格式有可能不兼容而不能通讯。即使一个终端的数据格式可能转 换到另一个终端的格式，由于转换所需要的开销过大，而不能被资源有限的无线 终端所接受。 4 移动可视媒体智能处理与传输方法研究 第1 章综述 ( 3 ) 无线网络的低带宽 在现今三种常用的无线网络中，g p r s 可能提供高达5 6 k b p s 的带宽；无线 l a n 可提供共享1 1 m b p s ，当多人共享时，带宽也相对较低；3 g 可提供从2 m b p s 至1 2 8 k b p s 的自适应带宽。由于无线设备通常只有低的处理能力，无线终端产生 的多媒体数据流不能压缩得太大，并且为了实时数据传输，需要较高的数据位表 示。因此，开发一些实时多媒体通讯应用，如可视音频对话和视频会议，是非常 困难的。无线网络可用的带宽