（模式识别与智能系统专业论文）小屏幕设备的网络内容自适应研究.pdf

! 曼型兰垫查叁兰塑主兰些堡苎一! ! 蔓 摘要 计算机网络的迅速发展，推动了应用服务的层出不穷和多媒体数据的急剧 膨胀，促使网络用户的整体环境( 包含客户端软硬件设备、网络连接特性和用 户个人兴趣偏好等) 的多样异构性与信息内容的数据单一性之间的矛盾加剧， 因为当前绝大多数网络内容都是为传统的台式机设计的。多数情况下，它们都 不适合那些屏幕、存储、计算和网络连接都有限的手持移动设备，如手持电脑、 个人数字助理、p o c k e tp c 、智能电话等。因此，网络信息的获取在这些设备上 依然十分困难，而内容自适应技术就是为了解决这个问题而提出的。针对复杂 且不断变化的用户整体环境，智能化的内容自适应能够有效地改善网络信息内 容的可获取性、提高信息获取的服务质量。 尽管近些年来信息科学领域的软硬件技术发展飞速，这些设备在数值计算 和数据存储等方面的功能越来越强大。然而，低带宽的网络连接和小面积的显 示屏幕仍然是它们访问i n t e r n e t 信息时所受的两个关键限制，这也极大地阻碍了 它们在我们日常生活中更进一步的普及。值得庆幸的是，随着第2 ，5 、第3 代移 动通讯( 2 5 g & 3 g ) 以及w i f i ( w i r e l e s sf i d e l i t y ，i e e e 8 0 2 1 1 标准) 等无线 接入技术的发展，这些小型移动设备的网络连接带宽将得到极大的改善。但是 由于移动性的要求，它们显示屏幕的面积不易改变，仍需保持较小的尺寸。基 于这点考虑，我们以常常被忽略而又至关重要的显示限制条件小屏幕为重 点，开展对网络内容自适应的研究，主要是网络图像和复合文档的自适应。 本论文围绕这个目标完成了以下的研究工作： i 介绍了本论文的研究背景和内容自适应的基本概念，对国内外的相关 研究工作进行了系统的回顾和概述，阐述了网络信息获取的瓶颈之一 小面积显示屏幕在自适应系统中的重要性。 2 提出了一个通用的内容自适应系统的体系结构，而后针对当前主要的 网络信息内容( h t m l 文档) 进行了特别细化，设计了由传输内容分 折和理解、客户端环境特性识别和自适应决策和转换执行这三个模块 组成的系统实现框架，并详细讨论了该系统的工作过程。 3 设计了基于改进的功能对浆模型e f o m ( e n h a n c e df u n c t i o n b a s e d o b j e c tm o d e l ) 的决策引擎，并详细讲述了它的结构设计和工作原理， 解决了三个关键问题：资源消耗的条件限制、最优目标的定义和表征、 最优操作的决策与执行。 4 总结了现有的各种网络带宽检测技术，并对它们进行了分类总结和比 较对照，提出了各种技术在不同情况下的适用原则。 5 针对小屏幕上的图像显示提出了一个全新的用户注意力模型，它给图 像中的每个被关注对象赋予三个属性，即感兴趣区域、注意关注值、 和最小可视面积。结合人脸识别、文字识别以及显著特征图等技术， 我们提出了一套自动建立该模型的方法。同时，我们还设计了一系列 高效率的自适应算法、并开发了一个实际可运行的软件原型用来把这 个模型应用到图像自适应和浏览中。 6 提出了创新性的可扩展文档表征结构d r e s s ( d o c u m e n tr e p r e s e n t a t i o n f o rs c a l a b l es t r u c t u r e ) 。它针对不同的用户环境同时拥有逻辑结构和版 面结构的可扩展性，使得网页等超媒体文档能够在各种可上网设备的 不同大小的屏幕上自由显示。结合文本摘要技术、分割树排版方法以 及基于用户关注的图像模型等其它内容自适应技术，我们设计并实现 了一个基于d r e s s 的高效、通用、易扩展的网页内容自适应系统。 关键词：内容自适应，普及访问，决策引擎，图像注意力模型，分支限界法 版面重排，分割树结构 i i a b s t r a c t t h ee x p l o s i v eg r o 、v t ho ft h ei n t e r n e th a sc o m ew i t hi n c r e a s i n gd i v e r s i t ya n d h e t e r o g e n e i t y i nt e r m so fc l i e n td e v i c ec a p a b i l i t y ，n e t w o r kb a n d w i d t h ，a n d u s e 。 d r e f e r e n c e s t od a t e ，m o s tw e b c o n t e n th a sb e e nd e s i g n e dw i t hd e s k t o pc o m p u t e r s i nm i n d a n do f i e nc o n t a i n sr i c hm e d i as u c ha si m a g e s ，a u d i o ，a n dv i d e o i nm a n y c a s e s , t h i sc o n t e n ti s n o ts u i t a b l ef o rd e v i c e sl i k eh a n d h e l dp c s ，p e r s o n a ld i g i t a l a s s i s t a n t s ，p o c k e tp c s ，a n ds m a r t p h o n e sw i t hr e l a t i v e l yl i m i t e dd i s p l a yc a p a b i l i t y ， s t o r a g e ，p r o c e s s i n gp o w e r ，a n d n e t w o r ka c c e s s t h u s ，i n t e m e ta c c e s si s s t i l l c o n s t r a i n e do nt h e s ed e v i c e sa n dt h e r ei san e e dt od e v e l o pa l t e r n a t i v ea p p r o a c h e s f o ri n f o r m a t i o nd e l i v e r y ，i e c o n t e n ta d a p t a t i o n w i t he f f i c i e n c ya n df l e x i b i l i t y , c o n t e n ta d a p t a t i o ni ss u p p o s e dt oi m p r o v ec o n t e n ta c c e s s i b i l i t ya n dp e r c e i v e dq u a l i t y o f s e r v i c ef o rj n f o r m a t i o na c c e s su n d e rc h a n g i n gn e t w o r ka n dv i e w e rc o n d i t i o n s a l t h o u g h t h e s ed e v i c e sa r e b e c o m i n g m o r ea n dm o r e p o w e r f u l i nb o t h n u m e r i c a lc o m p u t i n ga n dd a t as t o r a g e ，n e v e r t h e l e s s ，l o wb a n d w i d t hc o n n e c t i o n sa n d s m a l ld i s p l a y s ，t h et w os e r i o u so b s t a c l e st oi n f o r m a t i o na c c e s s i n g ，h a v ep r e v e n t e d t h e mb e c o m i n gm o r ep r e v a l e n t w i t ht h es u c c e s s f u ld e v e l o p m e n to fs c a l a b l ev i d e o c o d i n g ，p r o g r e s s i v ei m a g ec o d i n ga sw e l la s2 5 g 3 ga n dw i f iw i r e l e s sn e t w o r k s ， t h eb a n d w i d t hc o n d i t i o ni se x p e c t e dt ob eg r e a t l yi m p r o v e di nt h en e a rf u t u r e a tt h e s a m e t i m e ，h o w e v e r ，t h el i m i t a t i o n o n d i s p l a y s i z ei sm o r e l i k e l y t or e m a i n u n c h a n g e df o rac e r t a i np e r i o do ft i m ed u et ot h em o b i l i t yr e q u i r e m e n to ft h e s e d e v i c e s b a s e do nt h i so b s e r v a t i o n ，w ep u to u rr e s e a r c hf o c u so nc o n t e n ta d a p t a t i o n f o rs m a l l - f o r m f a c t o r d e v i c e s ，e s p e c i a l l yw i t hi m a g e sa n dw e b d o c u m e n t s i nt h i sd i s s e r t a t i o n ，w eh a v ef i n i s h e dt h ef o l l o w i n gr e s e a r c hw o r k s ： 1 i n t r o d u c et h er e s e a r c h b a c k g r o u n d o ft h i sd i s s e r t a t i o na n dt h eb a s i c c o n c e p t so fc o n t e n ta d a p t a t i o n ，r e v i e wa n ds u m m a r i z et h es t a t eo f t h ea r t ， a n de m p h a s i z et h ei m p o r t a n c et ot a k es m a l ld i s p l a ys c r e e n ，o n eb o t t l e n e c k o fi n f o r m a t i o na c c e s s ，i n t oc o n s i d e r a t i o n 2 p r o p o s e ag e n e r a lf r a m e w o r kf o rc o n t e n ta d a p t a t i o no n i n t e r n e t ，a n dm a k e s p e c i a l i z a t i o n f o rh t m ld o c u m e n t sw h i c hr e s u l t s i nat h r e e m o d u l e s y s t e ma r c h i t e c t u r ei n c l u d i n gw e b s i t eu n d e r s t a n d i n g ，c l i e n te n v i r o n m e n t d i s c o v e r y , d e c i s i o ne n g i n e & a d a p t i v em o d u l e s a n dd e s c r i b e t h ew o r k f l o wi nd e t a i l s 3 d e s i g nt h ek e r n e lm o d u l ed e c i s i o ne n g i n eb a s e do ne n h a n c e df t m c t i o n - b a s e do b j e c tm o d e l ( e f o m ) ，i n t r o d u c et h ed e t a i l so f i t sa r c h i t e c t u r ea n d 1 1 1 主里型堂垫查盔兰堡! 堂垡篓兰 一垒曼翌：! ：! 旦 w o r k i n gp r o c e s s ，a sw e l l a st h et h r e em a j o rp r o b l e m si th a n d l e s ，i e t h e c o n s t r a i n t so fr e s o u r c ec o s t ，t h ed e f i n i t i o na n dr e p r e s e n t a t i o no f t h eo p t i m a l g o a t ，t h ed e c i s i o na n d e x e c u t i o no f o p t i m a ls c h e m e s 4 s u r v e y a l lt h et y p i c a lt e c h n i q u e so fb a n d w i d t hm e a s u r e m e n t t od a t e ，m a k e c l a s s i f i c a t i o na n dc o m p a r i s o n ，a n ds u g g e s t t h e p r i n c i p l e o f a p p l y i n g d i f f e r e n tt e c h n i q u e su n d e rd i f f e r e n ts i t u a t i o n s 5 p r o p o s ea n o v e lu s e ra t t e n t i o nm o d e lf o ri m a g ea d a p t a t i o n o ns m a l l d i s p l a y sb a s e do nt h r e ea t t r i b u t e s ( r e g i o no fi n t e r e s t ，a t t e n t i o nv a l u e ，a n d m i n i m a l p e r c e p t i b l es i z e ) a s s o c i a t e d w i t he a c ha t t e n t i o n o b j e c t b y i n t e g r a t i n gf a c er e c o g n i t i o n ，t e x td e t e c t i o n ，i m a g es a l i e n c ym a p ，a sw e l la s o t h e r i m a g ea n a l y s i st e c h n i q u e st o g e t h e r ，a s e to fa u t o m a t i cm o d e l i n g m e t h o d sa r e p r e s e n t e d t o s u p p o r t t h i s a p p r o a c h ab r a n c h a n db o u n d a l g o r i t h mi sd e s i g n e dt of i n dt h eo p t i m a la d a p t a t i o ne f f i c i e n t l y , a n da l s oa w o r k i n gs o f t w a r ep r o t o t y p ei sd e v e l o p e dt oa p p l yt h i s m o d e lt o i m a g e b r o w s i n gi np r a c t i c e 6 b r i n gf o r w a r d an e wd o c u m e n ts t r u c t u r e n a m e dd o c u m e n t r e p r e s e n t a t i o n f o rs c a l a b l es t r u c t u r e ( d r e s s ) ，t om a k ec o m p o s i t ed o c u m e n t s ，t y p i c a l l y w e b p a g e s ，s c a l a b l ei nb o t hl o g i ca n dl a y o u ts t r u c t u r et os u p p o r te f f e c t i v e i n f o r m a t i o na c q u i s i t i o no ns m a l l d i s p l a y st h r o u g ht h i s n o v e ls t r u c t u r e b a s e do nb i n a r y s l i c i n g t r e e s d o c u m e n t sc a n d y n a m i c a l l ya d a p t t h e i r p r e s e n t a t i o n sa c c o r d i n gt od i s p l a ys i z e sb ym a x i m i z i n gt h ei n f o r m a t i o n t l t r o u g h p u t t ou s e r s ab r a n c h a n d b o t m da l g o r i t h ma n dac a p a c i t yr a t i o b a s e ds l i c i n gm e t h o da r ep r o p o s e dt os e l e c tp r o p e rc o n t e n tr e p r e s e n t a t i o n a n da e s t h e t i cd o c u m e n tl a y o u t sr e s p e c t i v e l y f i n a l l y , ad r e s s - b a s e dw e b d o c u m e n t a d a p t a t i o ns y s t e m i s i m p l e m e n t e d w i t h h i 【g he f f i c i e n c y ， g e n e r a l i t y , a sw e l la se x t e n s i b i l i t y k e y w o r d s ：c o n t e n ta d a p t a t i o n ，u n i v e r s a la c c e s s ，d e c i s i o ne n g i n e ，i m a g ea t t e n t i o n m o d e l ，b r a n c h - a n d b o u n d a l g o r i t h m ， a y o u tr e d e s i g n ，s l i c i n g t r e e s t r u c t u r e 圭里型竺垫查奎堂堡圭竺堡丝苎 一曼三! l ! ! 鱼 第一章绪论 1 。1 网络内容自适应简介 1 1 1 论文的研究背景 从2 0 世纪9 0 年代以来，i n t e r n e t 技术的飞速发展和i n t e m e t 信息内容的爆炸 式增长，使其无可置疑地成为当今世界上最重要、最丰富的全球性信息资源。根 据权威的全球市场研究机构国际数据公司( i d c ) 统计【l 】，到2 0 0 1 年全球 i n t e r n e t 用户已经超过6 亿，预计到2 0 0 3 年底将达到7 亿。具有国际顶级域名的 i n t e m e t 网站也已达到3 0 0 0 万个，并且还有更大的发展潜力。 随着信息技术的飞速发展，如今除了传统的个人电脑以外的许多小型设备都 具有了访问i n t e m e t 信息资源的功能，例如掌上电脑、移动电话、w e bt v 及智 能手表等，并且这些设备在不久的将来会超越传统的台式机，成为访问i n t e r a c t 的主流设备。根据i d c 预测，到2 0 0 3 年全世界将军f 超过1 0 亿部移动电话，届 时使用无线上网的人数将多于使用个人电脑上网的人数。所有这些可以访问 i n t e r n e t 信息资源的设备，由于其自身硬件和软件的独有特点，可以为用户浏览 i n t e r n e t 提供各种各样的便捷方式，但是同时，它们也要求i n t e m e t 能够很好地适 合这些客户端设备的特点。例如：对于移动电话，其可以随时随地移动的特性， 使用户不再受地域的限制，为用户访问 m e m e t 资源提供了非常便捷的方式，但 是移动电话显示屏幕有限、内存小、计算能力弱等特点又要求i n t c m e t 服务器能 够提供专门适合其应用环境的内容。在这些各式各样的设备中加入个合适的浏 览器并不困难，它可以支持w a p 。也可以支持h t m l 和x m l 。问题的关键是， 对于一个把自己的信息内容放在i n t e r n e t 上的信息发布者一般只会提供一个适合 传统个人电脑的显示方案，没有谁愿意费力的为锥冲p 设备单独制作不同的版 本，而信息内容却是完全相同的。 另外，如今各种访问设备与i n e m e t 的网络连接方式也是多种多样的。例如， 移动电话所使用的移动通信网络和调制解调器所使只 的电话网都是低带宽的，属 于中带宽的有i s d n 、i d s l 和有线电视网，而百兆以太网及光纤接入用户则拥有 很高的带宽和传输速度。在这些不同的网络连接中，传输带宽、延迟时间和出错 率的差异都非常大。 a t e t a e t 信息资源的发布也需要适应客户端各种各样网络特 性的变化，这样才能用最短的传输时间、最小的延迟向用户提供质量最好的信息 内容。 随着i n t e r n e t 全球化的普及，i n t e r n e t 用户已经深入发展到各个领域包括普通 家庭。由于用户的年龄、职业、知识、国籍、种族、爱好、习惯等不同背景的巨 主里型堂垫查查兰堡主兰堡丝苎 一兰二皇! i 鱼 图1 1i n t e m e t 的多样性和异构性 大差异，使得不同的用户在访问i n t e m e t 信息资源，甚至同一内容页面时，都可 能显示出差别很大的兴趣偏好。 但是，大多数现有的i n t e m e t 信息服务器仍然是采用固定单一的发布方式， 向所有客户提供完全相同的内容，并没有考虑客户端主观和客观环境的差异a 越 来越多的用户感到传统的网络浏览方式不够友好也不够方便，尤其是那些小型移 动设备用户只能对着大量的网络信息资源“望网兴叹”。不仅是i n t e m e t 如此，即 使是做小范围信息发布的i n t r a n e t ( 企业内部网) ，其内容形式的单一，对用户和 环境变化的不适应性，也正在困扰着希望随时随地使用多种设备获取所需信息的 企业用户。 总而言之，由于i n t e m e t 信息内容的不断丰富，网络用户的整体环境( 包含 客户端软硬件设备、用户个人兴趣偏好、以及网络连接特性等) 的多样性和异构 性也目渐发展，人们己不再满足仅仅利用p c 机通过有线连接来访问i n t e m e t 这 种单一而传统的信息获取方式。越来越多的人渴望能够拥有更加人性化、智能化 的i n t e r n e t1 1 1 2 什么是网络内容自适应 研究人员在研究如何解决在多样性、异构化的网络环境中获取所需网络信息 的技术问题时，提出了一个u n i v e r s a la c c e s s ( 普及访问) 的概念。它的目标就 是提供必要的i n t e m e t 基础结构来使得用户可以“在任何地点、通过任何网络连 接、用任意一种客户端设备都可以访问任何所需要的信息”【2 】。这里的网络环 境主要包括用户的偏好及特殊需求、客户端设备的限制和动态变化的网络特性等 2 ! 里型兰垫查盔堂堡圭兰壁堡塞一j 至兰l ! i 二坠 组成，而网络信息内容则都是经由文本、图像、视频、音频以及复合文档( 例如 用h t m l 、x m l 描述n n n ) 等多媒体载体来传输和表征的。为了实现u n i v e r s a l a c c e s s ，网络信息内容在传输到用户端之前必须先转换成一种合适的表现方式a 网络内容自适应就是研究新的自动转换网络信息内容和改变传输模式的系 统技术，它能够自动适应复杂的、不断变化的客户端网络环境，来实现u n i v e r s a l a c c e s s 。网络内容自适应的目标是综合考虑这些复杂且不断变化的环境条件，通 过最优的获取途径提供给i n t e r n e t 用户最佳的信息内容和最好的浏览体验及服务 质量。 网络内容自适应的作用不仅仅是能够扩大网络信息内容的用户群，它所蕴含 的巨大商业价值也不容忽视。它所带来的个主要好处就是减少用户访问信息的 等待时间。在乔治亚理工学院“图形、可视化和可用性”小组所做的一个用户调 查中显示，有超过百分之五十三的被调查者都曾经在i n t e m e t 上搜索产品信息时 不耐烦地退出了网站，就是因为它的网速慢的无法忍受 3 】。而另方面，网络 内容自适应能够改进用户体验到的服务质量，使得电子商务网站更容易留住购物 者并让他们成为回头常客，从而获取更多的经济利益。做过转换的信息内容在终 端设备上会显示得更美观，而内容自适应也会让用户能够访问更多的资源，这些 改进都会或多或少地增进用户的喜爱度。显然，它会带来更高的点击率和回访率， 对电子商务网站也就意味着更高的商品销售额和更多的广告收入。 1 2 网络内容自适应的研究现状 从上世纪九十年代以来，越来越多的商业公i 日、研究机构以及标准制定组织 都已经意识到在复杂多样的客户和网络环境中传输信息内容时网络内容自适应 的重要性。他们各自从不同的角度出发，提出了相应的商业产品、研究结果以及 标准草案等。 在早期的应用中，研究的重点主要是如何为窄带宽网络连接的用户( 例如拨 号上网和无线接入等) 提供下载更快的页面。大多数的研究人员只是通过减小嵌 入的图像文件的尺寸，降低图像质量的方法来加快_ 卜。载。有些也支持通过文本的 压缩，来减小页面的传输时间。例如i n t e l 公司对外的q u i c k w e b 【4 】服务只能做 图像的压缩。s p e c t r u mi n f o r m a t i o nt e c h n o l o g i e s 的f a s t l a n e 【5 】使用了两个模块： 一个是完成图像压缩的网络代理服务器；另一个是在客户端的通用网络浏览器上 加入的具有文本压缩功能的捅件。 此后，t r a n s e n d 6 】、d i g e s t o r ( 7 】和m o w g l i 8 j 等研究都涉及到了根据不同 的条件，对页面显示格式进行改写的方法。一些公司例如p r o x y n e t ( 基于 t r a n s e n d 技术) ，s p y g l a s s 9 1 和o n l i n e a n y w h e r e 1 0 都提供了基于启发式规则和 包含为特殊站点设计的用于从页面中提取重要内容的特定内容过滤器的代理服 主旦型堂丝查盔兰丝主堂竺堡苎 一兰二童二i ! 堡 务器，用来调整页面以适应小型设备的屏幕。欧洲电讯标准协会正在研究全球移 动通信系统，可以提供移动网络的自适应内容服务，例如基于设备物理位置信息 的c i t y g u i d e ，基于通过客户端网络环境及用户最大等待时间决定是否进行内容 的自适应转换的在线网络访问自适应过滤器。另外，r e a l n e t w o r k s 【1 l 】的数据流 软件可以根据用户网络连接的特性，传输多媒体内容数据流。a p p l e 的q u i e k t i m e f 1 2 1 数据流技术已经可以通过客户端与服务器端的协商，自动选择有效的起始带 宽。h a nr 等人f 1 3 】设计了个自适应图像传输编码的方案，在具有时间延迟约 束的情况下，可以提供最好的图像质量，或者在规定图像质量的情况下，可以提 供最小的时间延迟。 m aw y 等人f 1 4 i 将上述的思想扩展得更加全面，提出了一个更加全面系统 化的自适应内容传输的框架。为了研究同时对多种媒体内容进行自适应传输时它 们之间的关系，“c s 等人【1 5 ，1 6 】提出了一个i n f o p y r a m i d 模型。j o n e sm 等人 【1 7 作了一些关于网络内容针对小屏幕的版面设计的初步工作。g i l b e r tj 等人 1 8 】 提出了一种基于用户交互作用的图像内容传输的方法。最近i b m 提出了他们的 w e b s p h e r et r a n s c o d i n gp u b l i s h e rf 】9 ，除了包括类似于p r o x y n e t 和s p y g l a s s 的 特性外，它还增加了对x m l 的支持，并且它的自适应转换主要是通过选择为不 同环境设计的x s l 实现的。 w 3 c 组织( w o r l dw i d ew e bc o n s o r t i u m ) 已经丌始研究使网络内容具有适 应多平台能力和更容易理解的标准。除了对h t m l 规范使用的建议，正在被推 广的x m l 和x h t m l 还可以提供更严格和更灵活的网络内容的组织方式。网络 内容访问指导说明了如何使网络内容能被有生理残疾的用户访问。h t m l4 0 对 无线接入的指导为作者建立适合移动设备的网络内容提供了建议。这些都对网络 内容的自适应传输都有很大的帮助。 近些年来信息科学领域的软硬件技术发展飞速，大多数小型可上网设备( 例 如掌上电脑、个人数字助理、智能电话等) 在数值计算和数据存储等方面的功能 越来越强大。由于它们既可移动又方便携带，给人们的生活带来了极大便利，所 以广受欢迎。然而，低带宽的网络连接和小面积的显示屏幕仍然是它们访问 i n t e r n e t 信息时所受的两个关键限制，这也极大地阻碍了它们在我们日常生活中 更进一步的普及。值得庆幸的是，随着第25 、第3 代移动通讯( 2 5 g & 3 g ) 以 及w i f i ( w i r e l e s sf i d e l i t y ，i e e e 一8 0 2 1 1 标准) 等无线接入技术的发展，这些小 型移动设备的网络连接带宽将得到极大的改善。但是由于移动性的要求，它们显 示屏幕的面积不易改变，仍需保持较小的尺寸。 1 3 研究方案简介及论文内容安排 本论文受中国科学技术大学一微软亚洲研究院联合研究中心的基金资助，论 4 主里型兰垫查查堂堡主兰丝堡苎一j 2 坠j ! l 兰 文工作的研究目标是：在网络内容自适应方面做一些基础研究，同时考虑实际应 用的软件开发。正如前面所述，整个网络内容自适应涉及的研究范围极广，需要 综合考虑在复杂多样的用户网络环境( 主要包括用户的偏好及特殊需求、客户端 设备的限制和动态变化的网络特性等) 中如何调整、转换、传输和表征各种不同 的网络信息内容( 主要有文本、图像、视频、音频以及复合文档等多媒体载体) 。 经过调研和总结现有的国内外研究工作，我们以常常被忽略的显示限制条件 小屏幕为重点，开展对网络内容自适应的研究。因此，本论文的研究方向集中在 针对小尺寸显示屏幕的网络内容自适应，主要包括文本、图像和复合文档的自适 应问题。另外，绝大多数情况下，视频和音频由于它们的特殊性般是独立于其 他媒体进行处理的，不属本论文的主要研究范围。 本论文的主要内容安排如下： 第一章为“绪论”，首先介绍了本论文的研究背景和网络内容自适应的概念， 然后分析和总结了该领域的研究现状，最后给出了我们针对小屏幕显示设备的网 络内容自适应研究方案。 第二章为“网络内容自适应的系统框架和各种技术”，着重介绍了我们的内 容自适应系统的框架结构和各模块的功能，并对核心模块“决策引擎”和“网络 检测”以及它们所用到的各种技术进行详细的讨论。 第三章为“基于用户注意力模型的图像自适应”，详细讲述了我们针对小屏 幕上的图像显示而提出的一个全新的用户注意力模型。结合人脸识别、文字识别 以及显著特征图等技术，我们提出了一套自动建立该模型的方法。同时，我们还 设计了一系列高效率的自适应算法、并开发了一个实际可运行的软件原型用来把 这个模型应用到图像自适应和浏览中。 第四章为“基于分割树结构的文档版面重排”，详细讨论了我们提出的创新 性的可扩展文档表征结构d r e s s 。它自身具有针对不同用户环境的可扩展性， 使得超媒体网页能够在各种可上网设备的不同大小的屏幕上自由显示。结合文本 摘要技术、分割树排版方法以及基于用户关注的图像模型等其它内容自适应技 术，我们设计并实现了一个基于d r e s s 的高效、通用、易扩展的网页内容自适 应系统。 第五章为“总结与展望”，对本论文的工作做了总结，并对网络内容自适应 的下一步研究内容进行展望，包括综合已有技术实现一个通用系统、视频注意力 模型、基于d r e s s 的网络个性化研究等。相信随着这些方面研究工作的深入开 展，网络内容自适应技术必将获得长足的进步以达到更广泛的实用阶段。 里型堂垫查查堂堡主堂竺笙奎 笙三童旦竺堕查旦壁些盟墨竺焦整塑塑里垫壹：! 堕 第二章网络内容自适应的系统框架 和所用技术简述 2 。1 内容自适应系统的结构与技术概述 为了使一个特定用户得到更好的网络浏览体验，内容自适应系统首先需要分 析用户想访问的信息内容，然后根据各种用户环境因素( 例如用户的兴趣偏好、 忍耐程度，用户设备的软硬件支持和正在使用的网络特性等) 权衡利弊做出自适 应转换决策，最终按照决策执行内容转换并把最合适的自适应调整结果传输给用 户。在这个复杂的自适应过程中，从网络环境的不同角度出发，我们需要开发和 整合许多不同的技术。这些技术包括： 支持网络内容自适应的多媒体内容的处理和分析算法 一类可靠的用于检测客户端设备软硬件条件特性的方法 定义用户兴趣偏好的标准和一套跟踪比较的机制 有效的测量客户端和服务器之间网络连接特性的方法 一系列的决策方针用以根据不同的环境条件决定何时以及如何执行某 个特定的内容自适应算法 2 1 1 内容自适应系统的分类 根据自适应内容传输机制在传输路径中的实现位置的不同，我们可以把它分 为三类： ( 一) 服务器端自适应 在信息数据的源头，作为独立的服务器端应用程序实现。只需要根据定期或 不定期的从客户端反馈回来的信息，分析评估再采取相应的自适应转换方法，而 后再输出结果，设计的复杂度不高。但是对客户端有反馈要求并且会增加延迟时 间，而对于非常复杂的情况，例如网络组播和反馈滞后等，不能有效地解决。 ( 二) 客户端自适应 在信息数据的目的地，作为一种特殊的客户端应用程序。服务器传输的数据 不变，客户端收到所有数据后才对之进行自适应调整，从效果看应该非常有效。 但是致命的缺点是：没有考虑传输路径中的限制如带宽、延迟、数据丢失等，并 且不少自适应调整操作对计算能力和存储能力有很高的要求，然而这是很难满足 的，尤其是大多数小型移动设备。 6 主里型兰垫垄盔堂堡主堂堡垒壅 兰三童型竺堕查鱼垩堕型翌墅垄堡垫墨塑塑坠堑! 笪至 ( 三) 代理端自适应 位于服务器和客户机之间，在代理服务器端实现。代理服务器先按照用户的 请求从服务器端接收所要传输的数据，接着分析客户端的反馈信息来获取关于自 适应处理的指标参数，最后按照这些参数对数据内容进行自适应处理从而得到最 适合用户的结果并将之传给客户端。这种系统可以很好地利用网络代理的灵活 性，对各种不同的情况都非常有效，而且对环境变化反应也很快。但是它也有一 些不利之处：整个系统结构比较复杂，实现代价较高，也对代理服务器的计算能 力和存储能力都有比较高的要求，而且绝大多数代理都是属于第三方机构，客户 端和服务器端都会要求代理是可信赖的，从而会有一些安全性方面的问题。 下面的对比表格2 1 列出了这三种分类的各自特点： 实现位置优点缺点举例 客户端的兼容性 获取客户端信息困难 i b mw e b s p h e r e 服务器端多功能性 不适应特殊复杂侣况 t r a n s c o c l i n gp u b l i s h e r 设计简单 获取内弈信息困难 不需要特殊的服务器 m sp o c k e t i e 效率低下 客户端获取客户端信息容易 c o n | e n tf i l t e r sf o r 需要特殊的客户端软件 设计简单c h i l d r e n 功能有限 客户端的兼容性 设计复杂 代理端对代理服务器要求高 i n t e lq u i c kw e b 多功能性 s p y g l a s s 涉及安全性问题 表2 1 实际应用的自适应内容传输的策略 尽管这三种系统的体系结构不同，但是也有很多通用的方面，在此我们以应 用最广的基于服务器端的自适应体系框架为研究基础。 2 1 2 通用内容自适应系统的体系结构 整个系统可以根据实现的功能分为如下几个模块。图2 1 说明了模块之间的 关系! 其中“决策引擎( d e c i s i o ne n g i n e ) ”是整个系统的核心，其余的模块协 同工作为“决策引擎”提供信息和处理性能。 属性识别模块( d i s c o v e r y p r o f i l ed a t a b a s e ) 识别模块是一个具有自学习功能的代理程序，它可以从客户端、用户访问行 为、显示系统和接入网络收集信息，并生成描述终端性能、用户属性、网络特性 7 主旦型兰垫查盔兰堡主堂堡堕苎 苎三兰旦苎堕垄堕耍堕苎墨竺篓墨翌堕旦苎i ! 笪堕 和系统状况的数据库。这些信息是内容自适应决策时的重要参考依据。 图2 1 内容自适应系统的体系结构 内容分析器( c o n t e n tp a r s e r ) 内容分析器是自适应传输系统的入口。它分析被请求的内容。按内容的用途 和类别聚类，并且建立内容的结构化描述。对于原始内容，如果没有附加的信息， 提取其语义结构时非常困难的。有良好定义的内容，例如x m l 更适应用于自适 应内容传输。由于当前绝大多数网络文档还是用h t m l 语言描述的，所以如何 在结构和内容都很复杂的h t m l 文当中提取一定要求的语义结构信息是研究中 的一个重点。 决策引擎( d e c i s i o ne n g i n e ) 决策引擎将其它的功能模块结合成一个完整的系统。它是用来决定什么样的 内容以什么形式和什么途径传输给最终用户的。它从识别模块收集属性信息，从 内容分析模块收集内容信息，从缓存管理器中收集缓存内容的信息，从而推断出 自适应转换的指令和版面设计规则，并通过最有效率的方法，生成令用户最满意 的结果。 自适应转换模块( c o n t e n ta d a p t a t i o n ) 自适应转换模块包括各种转换过滤器根据决策引擎所生成的指令改写和替 换内容。这些过滤器包括可以进行图像格式、颜色、尺寸和质量处理的图像转换 生里型堂垫查奎堂堡主兰垡堡壅 兰三童堕丝堕窒鱼堡垒盟墨竺焦塑塑堑星堇互! ! 堕 编码器，可以将影像转换成不同格式和传输速率的的声音影像转换编码器，可 以缩写和翻译文本内容的文本过滤器，还可以在不同的媒体形态之间转换，例如 影像转换为图片或文字，文本与语音的互换等。 版面设计和格式化模块( l a y o u t f o r m a t ) 这个模块所做的是版面重组并生成传输给用户的最终显示内容。例如h t m l 页面被重新格式化用以适应微型设备的屏幕尺寸或转换成移动电话使用的w m l 文档格式。 缓存管理器( c a c h em a n a g e r ) 缓存在提高自适应转换过程效率方面扮演着一个重要的角色。在通常情况 下，内容的自适应转换都是一个需要精确计算的过程。能够保证缓存存储器的自 适应转化的结果可以反复的使用，就可以大幅度地提高处理能力，并且能够明显 地提高系统可以处理的内容量。除了传统的缓存管理策略以外，也必须把自适应 转换特有的复杂性考虑在内。 2 2 网络内容自适应系统的实现框架 本论文所研究的内容自适应主要针对的是基于网络的文档对象，例如： h t m l 文档到不同网络终端浏览设备的自适应传送。虽然w 3 c 正在推广x m l 新标准，但是h t m l 仍然是当前网络服务的主体内容。我们今天所看到的h t m l 文档包含丰富的多媒体内容，例如文本、图像、影像和声音等。因此，我们首