（通信与信息系统专业论文）互补结构网络及其信息标引技术研究.pdf

西南科技大学硕士研究生学位论文第1 页 摘要 随着计算机网络技术的飞速发展，互联网已经在人类的工作与生活中形 成一个巨大的信息库。然而，由于其有限的带宽资源以及庞大不可控的网络 结构，在网民和网页急剧增加以后，出现了“带宽瓶颈”和“信息垃圾”等 问题。为了解决上述问题，李幼平院士提出了共享信息的双结构互联网思想： 在互联网t c p i p 主结构的基础上，增添播存网络作为次结构，镜像传播互联 网上特定主流资源或高热度信息资源；采用基于u c l 的信息标引技术，实现 信息的主动服务。从而弥补互联网的缺陷，形成无冲突的互补结构信息共享 网络。 论文研究了互补结构网络基本理论；分析了其实现的关键技术即信息资 源的整合、大规模文件的并行广播、基于u c l 的信息标引技术以及具有语义 解析的智能代理技术；重点研究了次结构网络中基于u c l 的信息标引技术实 现机制：源端的信息组织、传输中的映射与数据封装以及终端的接收与解析。 初步建立了互补结构实验网络实现的技术框架，提出了互补结构实验网络中 的信息标引技术方案，在局域网环境下完成了互补结构网络仿真实验，对网 页资源和远程教育资源进行了u c l 标引、映射与接收解析实验。实验结果表 明，在互补结构网络中，通过引入传播大规模数据的次级结构可以有效缓解 主结构带宽压力；通过基于u c l 的信息标引技术能够实现信息的主动服务， 满足用户的个性化需求。论文的研究对实现我国边远山区的数字文化信息覆 盖具有很重要的意义。 关键词：互补结构网络u c l信息共享播存结构 西南科技大学硕士研究生学位论文第1 i 页 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rn e t w o r kt e c h n o l o g i e s ，i n t e r n e th a s b e e nah u g ei n f o r m a t i o nl i b r a r yi nt h eh u m a nl i v e sa n dw o r k h o w e v e r , b e c a u s e 0 fi t sl i m i t e db a n d w i d t hr e s o u r c ea n dh u g eu n c o n t r o l l a b l es t r u c t u r e ，t h ep r o b l e m s o fb a n d w i d t hb o t t l e n e c ka n dw o r t h l e s si n f o r m a t i o nh a v ea p p e a r e da f t e rt h er a p i d i n c r e a s i n go ft h eu s e r sa n dw e b s i t e s i no r d e rt or e s o l v et h ep r o b l e m sa b o v e ，t h e t h o u g h t so fd u a la r c h i t e c t u r e o ft h ei n t e r n e tt os h a r ei n f o r m a t i o ni sb r o u g h t f o r w a r db ya c a d e m i c i a nl iy o u p i n g i nt h i sa r c h i t e c t u r e ，an e t w o r kw i t h b r o a d c a s t i n ga n ds t o r i n gs t r u c t u r ei sa d d e df o ri n t e r n e ta ss e c o n d a r y , w h i c hi s u s e dt ob r o a d c a s tt h em a i nr e s o u r c eo fi n t e r n e t ；t h et e c h n o l o g yo fi n f o r m a t i o n i n d e x i n gb a s e do nu c li sa d o p t e di nt h es e c o n d a r yt oi m p l e m e n ti n i t i a t i v e s e r v i c eo fi n f o r m a t i o n ，s ot h a tt h i s a r c h i t e c t u r ec a nf e t c hu pt h ed e f e c t so f 。 i n t e r n e t ，t h a tac o m p l e m e n t a r ya r c h i t e c t u r ei n f o r m a t i o ns h a r i n gn e t w o r kw i t h o u t c o n f l i c t si sf o r m e d i n t h i st h e s i s ，t h eb a s i ct h e o r ya n ds t r u c t u r a lf e a t u r e so fc o m p l e m e n t a r y a r c h i t e c t u r en e t w o r ka r ei n t r o d u c e df i r s t l y ；i t s k e yt e c h n o l o g i e si n c l u d i n g c o n f o r m i n go ft h em a i nr e s o u r c e ，l a r g es c a l ed a t ab r o a d c a s t i n g ，i n f o r m a t i o n i n d e x i n gb a s e do nu c la n dt h ei n t e l l i g e n ta g e n tw i t h s e m a n t i c p a r s e a r e a n a l y z e ds e c o n d l y ；t h ei m p l e m e n t a t i o nm e c h a n i s mo fi n f o r m a t i o ni n d e x i n g b a s e do nu c li nt h es e c o n d a r yn e t w o r kh a v eb e e ns t u d i e de m p h a t i c a l l y i nt h i s m e c h a n i s m ，i n f o r m a t i o no r g a n i z i n gi ns o u r c e ，m a p p i n ga n dd a t ae n c a p s u l a t i o n d u r i n gt r a n s m i s s i o n ，r e c e i v i n ga n dp a r s i n gi nt e r m i n a la r ei n t r o d u c e di nd e t a i l s as c h e m eo f - i n f o r m a t i o ni n d e x i n gi nt h ee x p e r i m e n tn e t w o r kh a sb e e np u t f o r w a r d a tl a s t ，t h es i m u l a t i o ne x p e r i m e n t so fc o m p l e m e n t a r ya r c h i t e c t u r e n e t w o r ka n du c l m a p p i n ga r ec o m p l e t e d t h ee x p e r i m e n t a lr e s u l t si n d i c a t et h a t t h em o d e lo ft h ec o m p l e m e n t a r ya r c h i t e c t u r en e t w o r ki sr e a s o n a b l ea n dt h e s c h e m eo ft h ei n f o r m a t i o ni n d e x i n gi sf e a s i b l e k e yw o r d s ：c o m p l e m e n t a r ya r c h i t e c t u r en e t w o r k ；u c l ；i n f o r m a t i o ns h a r i n g ； b r o a d c a s t i n ga n ds t o r i n ga r c h i t e c t u r e 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取褥的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得西南科技大学或其它教育桃构 的学位或证书而使用过的材科。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名： 哿驰芳 日期；2 0 0 7 多8 关于论文使用和授权的说明 本人完全7 解西南科技大学有关保留、使用学位论文的规定，即：学校有权 保留学位论文的复印件，允许该论文被查阅和借阅；学校可以公布该论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文 ( 保密的学位论文在解密后应遵守此规定) 签名： 郑潞步导师签名：司垒理 日期：2 畹6 g 西南科技大学硕士研究生学位论文第1 页 1 绪论 1 1课题来源 论文的研究工作来源于国家8 6 3 计划项目“具有语义标引的互补结构网 络”( 2 0 0 5 a a l 2 1 5 2 0 ) 。 “具有语义标引的互补结构网络”项目主要完成互补网络的结构研究， 具有语义标引的网络协议研究，互补结构网络的网络仿真研究，基于互补结 构实验网络且具有语义解析的智能代理研究。 1 2 研究的背景 1 2 1互联网的发展及其不足 随着科学技术的发展，互联网的应用走向多元化。人们在工作、学习和 生活中越来越多地使用互联网，整个社会的运行都搭上了互联网的快车，互 联网已经发展成为巨大的信息共享平台。互联网上信息资源的开放性、共享 性，使得用户对资源的使用不再受内容、地域和时间的限制，很好地满足了 用户对信息的个性化需求。然而随着我国社会经济文化的发展以及用户知识 水平的提高，现有的i n t e r n e t 在带宽资源、覆盖面积、服务质量、信息管理 等方面己无法满足1 3 亿人口共享信息的需求。 首先，日益增长的网民数量使得互联网拥塞不可避免。根据中国互联网 信息中心( c n n i c ) 统计，1 9 9 4 年我国上网用户数不到1 万人，1 9 9 7 年l o 月为6 2 万，1 9 9 8 年6 月为1 1 7 5 万，1 9 9 9 年7 月为4 0 0 万人，1 9 9 9 年1 2 月达8 9 0 万，几乎每半年翻一番，截至2 0 0 6 年1 2 月3 1 日为止，我国网民总 数已经达到了1 3 7 0 0 万人；同时随着人们对各种信息资源的需求，中国网站 总数也在急剧增加，到目前为止已达到了8 4 3 0 0 0 个。在未来的几年内，国家 计划全国网民数量达到8 亿人，如此众多的网民参与到网络资源的博弈中， i n t e r n e t 将不堪重负。虽然近年来，i n t e r n e t 拥塞控制及相关服务质量保证问 题的研究取得了巨大的进步，然而，在确定数量的网络资源下，这类局限于 i n t e r n e t 单一体系结构下的研究必将使i n t e r n e t 的运动趋于某一物理极限，最 终只能通过扩大网络带宽来缓解，而i n t e r n e t 单一体系结构所引发的问题在 一定程度上无法通过以加大设备建设力度追赶网络及用户的发展方式来解 决。因此，必须考虑改变i n t e r n e t 单一的体系结构，研究一种新的网络共享 西南科技大学硕士研究生学位论文第2 页 机制，满足日益增长的用户数量及多样化需求，从根本上解决网络服务质量 保证等相关问题。 其次，我国广大农村与边远山区的地形特征使得依靠现有i n t e r n e t 的单 一结构实现互联网的全民普及困难重重m 。我国广大农村与边远山区基本特 征有：人口密度低，行政村间距离大，行政村距交换点远，山地多，地形复 杂；敷设地面网络工程量大且成本过高、不便维护；大多行政村的信息量需 求较小，但是又需要多种接入方式解决不同情况的需求：维护水平低，要求 通信设备高可靠性；需要价格较低的通信系统，满足电话、i n t c r n e t 接入、电 视接收、远程教育等多种信息共享需求；文化水平较低使得现有的信息内容 搜索模式与用户的使用水平与浏览习惯存在较大差异。上述困难造成了常规 信息共享手段的平均投资增大，实地维护、技术培训等工作将耗费大量人力 物力，得不偿失。因此，必须研究一种覆盖面积广、运营成本低、免维护、 高可靠的新型信息共享网络，既能满足目前i n t e r n e t 接入等信息服务的需求， 又具有开发新业务的可扩展性。 第三，目前w w w ( w o r l dw i d ew “) 提供的信息共享服务基于u r l ( u n i f o r mr e s o u r c el o c a t o r ) 定位，这就导致了网络资源与用户之间缺少直 接沟通的语义渠道。，。目前的i n t e r n e t 网络庞大不可控，用户在空间与时间上 具有多样性与自主性，在网络上出现了大量的复制信息以及色情暴力的不健 康信息，用户在利用关注词搜索感兴趣的内容的时候，往往会出现很多内容 完全相同的网页，不仅花费了大量的时间，还得不到满意的结果。这种基于 u r l 定位的方式无法满足用户在巨大信息库中迅速定位感兴趣的内容“一，而 我国广大农村众多用户由于较低的文化水平，使用繁琐、高冗余的搜索引擎 去定位信息内容将面临更大的挑战。因此，必须研究一种新型的信息共享网 络，改变用户主动搜索信息的传统模式，使用户获得感兴趣信息的主动推送， 保证健康内容的传播。 1 2 2 无尺度现象的启示 最近几年，美国科学家a l b a r a b a s i 等人用统计物理学的实验方法发现， 人类的文化活动悄悄改变着网络运作的数学模型，由原先正态分布的随机模 型转变为幂次分布的无尺度模型。 a l b a r a b a s i 教授2 0 0 3 年2 月6 日描绘了从某一万维网站点到其它约1 0 万个站点的最短连接路径，如图1 - 1 所示，因特网是一个无尺度网络，其中 某些站点似乎与无数的其他站点相连接。图中以相同的颜色来表示相类似的 西南科技大学硕士研究生学位论文第3 页 站点n ，。 图卜1 互联网的无尺度现象 f i g 1 1 s o s l e - f r o em o d eo fi n t e r n e t 在做大量统计实验之前，科学家预测，连接数k 应当服从泊松分布或正 态分布，即每个网站的被访司量差异不会太大，就像人类身高差异不会太大 那样。然而，实测结果推翻了这个预测。在对几十万个节点进行统计之后， 发现了令人惊异的结果；当绝大多数网站的连接数很少的情况下，却有极少 数网站拥有高于普通网站百倍、千倍甚至万倍的连接数。就像在茫茫人海中 突然发现若干身高数百尺巨人那样，令人意外。巨人的身高之大，已不能用 普通人高度的尺度来度量，于是用“无尺度”一词，形容少数节点连接数大 大超出普通节点的现象。 上述实验结果可以用幂次定律表达：出现连接数为七的概率鼬) ，反比 于k 的甩次方。其中，一称为幂数，如式1 1 所示。 烈七) = c k - ( 1 - 1 ) 根据中国互联网研究中心网民对网页访闯情况的实测数据，我国已有研 究学者计算出在我国甩的值大约为2 2 4 。依此模型推算，当9 9 5 以上的网 站连接数均低于1 0 0 次时，却有万分之四的网站大于1 0 0 0 次，十万分之三的 西南科技大学硕士研究生学位论文第4 页 网站超出1 0 0 0 0 0 次。因此，只要整合2 至3 千个网站作为主流资源，就可以 在很大的程度上满足老百姓的日常需求t “。 幂次定律告诉我们，尽管万维网提供内容的网站很多很多，网页更是天 文数字，但是，有能力长时间吸引众多网民大量访问的网站，为数非常有限。 我们用连接数作判据，可以把少数对社会贡献特别大的热门网站从茫茫无边 的信息海洋中分离出来。 我们在实际网络中看到的现象正是如此。尽管中国向网民提供内容的网 站有八十万个，但是，其中只有为数不多的网站，才拥有网民一次访问难以 穷尽的丰富内容，拥有接纳许多人同时访问的足够带宽，有条件演化成热门 网站。拥有大连接数的热门网站，除了新浪、g o o g l e 、y a h o o 等门户网站外， 就是己经上网的报纸、期刊、通讯社、电台之类的专业“网络传媒”。在某种 意义上可以说，正是网络传媒的客观存在，影响了网络运作的数学模型。 无尺度现象给信息科技工作者带来很多启示m ： 首先，让大家认识到，信息社会同时兼有“大世界”与“小世界”两种 属性。一方面，网民、网页、带宽随时间快速成长，使得万维网成为名符其 实的全球范围内的巨大网络。另一方面，每个人一天之内所能接受的信息， 受到生理带宽与生理精力的限制，又是一个不随时间变化的小世界。大世界 与小世界之间，技术世界同“以人为本”的人文世界之间，存在明显的差异 与矛盾。矛盾的主要方面在用户端。用户感觉到，数十万网站和数百亿网页， 犹如“信息孤岛”，实在难以分别直接面对。他们希望能出现一种承大启小的 “中间代理”，用户很容易对这个统一的中间代理表达自己的需求，有兴趣的 内容又会通过中间代理主动地流入自己的家中。“中间代理”是什么? 它正是 无尺度现象所指出的、由热门网站构成群体。由数百或数千资源构成的热门 群体，是网民通过民主的方法由大家“选举”出来的，是人类文明进程的自 然产物，值得我们倍加珍惜。 无尺度现象还从理论层次启发信息工作者：信息共享和物质共享存在本 质差异。信息共享的本质，是信源母体不限数量的复制；物质共享的本质， 只是资源母体有限量的瓜分。 无尺度现象鼓励我们去寻找一种没有带宽瓶颈、不限制网民人数的个性 化服务机制，把w e b 服务推向一个全新高度。当今互联网的w e b 服务，包 括执行i p v 6 协议的下一代互联网，尽管网民地址数基本不限量了，但没有根 本解决过多网民引起的带宽瓶颈问题。 无尺度现象启示我们打造国家级文化群体的灵感。只要把几千个甚至几 西南科技大学硕士研究生学位论文第5 页 百网站整合起来，就可以形成满足社会上绝大多数人群需求的“普适化”主 流媒体；如果技术上想出办法，能让主流群体普及下去，普及到每个村庄或 家庭，就可以在普及数字文化的进程中实现历史性跨跃。 1 2 3 广播网络的优点和缺陷 根据无尺度现象的启示，以及解决互联网发展缺陷的迫切性，需要寻找 一种次结构网络，弥补互联网的缺陷，解决互联网在单一体系结构下很难突 破的问题。分析目前我国已经成熟的信息传播网络发现我国传统的广播电视 网络具有以下一些优点： ( 1 ) 用户地域覆盖面广，群众基础雄厚。目前我国广播电视用户的普 及率远远高于我国互联网用户的普及率。 ( 2 ) 有很宽的传送频带。电视频道频率范围是8 7 8 6 0 m h z ，而且在数 字视频传送技术、视频和音频的压缩技术出现后，节目供应商已能在以前只 支持一个模拟节目的同样带宽内发送多个数字节目，有效而大幅度地增大任 一给定频道的带宽。 ( 3 ) 信息服务成本低廉。由于广播网用户数量巨大，铺设成本与维护费 用较低，平均到每一个用户来说承担的费用也比较低。 由此可见，广播电视网络的优点正好弥补了互联网的缺点，因此考虑采 用广播电视网络作为互联网的次级结构，用于传播互联网上的主流资源，以 减轻互联网的负担。但是传统的广播电视网络也具有一定的缺点： ( 1 ) 不支持时间的自由分配，用户不能随时收看。电台的内容是时间上 串行播出的，什么时候播出什么内容完全由电台决定。经常出现的情况是， 当用户有时间享用某电台的节目时，该电台播出的节目却不是用户所需要的。 ( 2 ) 单向网络结构缺乏交互通信能力。用户在信息资源的获取上处于被 动地位，无法通过双向互动自由选择感兴趣的信息。 对传统广播网络进行一定的改造，可作为互联网的次级网络。 ， 1 3 课题研究的意义 为互联网增添传播主流资源的次级结构，可以缓解互联网的带宽压力， 采用u c l 信息标引技术可以解决互联网在信息共享方面的缺陷。在我国构建 互补结构网络，对在我国广大农村与边远山区实现数字文化信息的覆盖，消 除“数字鸿沟”具有很大的意义。 西南科技大学硕士研究生学位论文第6 页 目前，互补结构网络的研究还处于初级阶段。论文作者通过对互补结构 网络的基本理论、关键技术进行研究，初步形成互补结构网络理论框架；并 进行了互补结构网络缩比仿真实验，为互补结构网络下一步规模化研究提供 了必要的实验数据；通过次结构中基于u c l 的信息标引技术实验，实现了网 页资源和远程教育资源的按内容定位，为实现信息的个性化服务奠定了基础。 1 4 论文研究的主要内容 论文主要研究了互补结构网络的体系结构、实现原理及其关键技术，形 成了一套基础理论；重点研究了基于u c l 的信息标引技术在次结构中的实现 机制，提出了次结构网络中u c l 标引、映射、传输到接收解析的一整套实现 方法。通过互补结构网络缩比仿真实验，验证了互补结构网络理论模型的合 理性，证明了u c l 信息标引技术能够帮助用户快速定位自己感兴趣的内容， 实现信息的主动服务。论文章节内容安排如下： 第1 章，绪论，主要阐述了论文研究的背景和意义，分析互联网在发展 中出现的缺陷以及无尺度现象的启示，提出突破i n t e r n e t 单一体系结构的思 想研究一种新型的具有互补结构的信息共享网络的迫切性。 第2 章，互补结构网络基本理论研究。主要提出了互补结构网络的理论 模型，对其互补特性进行分析，介绍了互补结构网络相关协议标准。 第3 章，互补结构实验网络实现的关键技术。主要研究了互补结构网络 中信源端信息的组织方法，基于播存结构的数据广播技术，基于u c l 的信息 标引技术以及具有语义解析的智能代理技术。 第4 章，互补结构实验网络中的信息标引技术的实现。主要介绍了信息 标引的实现方案，围绕信源端的标引，传输网络中的映射和信宿端的接收与 解析这条线路进行讨论，最后给出了软件实现的流程。 第5 章，互补结构网络仿真实验研究a 主要介绍了在西南科技大学信息 网络研究室搭建的互补结构实验网络，介绍了实验网络硬件设备的基本情况 和系统开发平台，描述了次结构网络源端与终端实验的实现，最后进行实验 数据的分析与讨论； 最后是结论部分，总结本论文的主要成果和创新点，以及对今后工作的 展望。 西南科技大学硕士研究生学位论文第7 页 2 互补结构网络理论基础 本章主要介绍互补结构网络的理论基础，包括理论模型的描述，播存原 理，以及互补结构网络所涉及的相关协议标准。 2 1 互补结构网络理论模型 互补结构网络即在互联网t c p i p 主结构基础之上增添一个专门传播主 流资源的播存网络作为次级结构，让主流资源通过卫星广播直达全国城乡， 克服数字鸿沟，减轻互联网的负担n “。 互补结构网络突破i n t c r n c t 单一的体系结构，根据互联网资源无限带宽 有限、易于交互的特点，引入了便于传输大数据流量的热点信息或流媒体信 息的次结构播存网络，将两网根据一定的规则相融合，弥补各自的缺点，实 现了互补。 f n m a r y 覆盖n 个用户 7 ，十虹点| ，i u 交流通道 j o 一，。i 吣 存储节点 终端 终端 图2 1具有互补结构的信息网络逻辑示意图 f i g 2 - 1l o g i cs t r u c t u r eo fc o m p i e m e n t a r ya r c h i t e c t u r en e t w o r k 图2 - 1 为互补结构网络的逻辑示意图。在互补结构网络中，采集互联网 中的热门信息，通过重新组织与整合，镜像到广播网的源端；播存网络发送 服务器对数据进行u c l 标引、映射等处理，再利用大规模数据广播技术进行 广播发送，终端用户希望能够自由的选择浏览、阅读时间，为此，在用户终 西南科技大学硕士研究生学位论文第8 页 端需要进行大容量本地存储，形成分布式存储节点；同时在互补结构环境下， 用户面对的网络结构相对复杂，存在多个信息获取的渠道，既有以交互、链 接为核心的互联网，又有以播存结构为核心的广播网，因此必须从信息理解 与主动服务的角度出发，在终端向用户提供一个智能信息代理机制m r 1 4 1 7 ，。 根据图2 - 1 所示的逻辑原理构建的互补结构网络，主结构拥有m 个站点， 覆盖n 个用户，然而最热门的核心网站却只有中间的一小部分；将这一小部 分网站平移镜像到次结构源端，进行大规模广播发送以后，这些核心网站的 内容可供大于5 n 个用户使用，从而大大提高了数字信息的普及率。终端用户 可通过两种渠道获得核心网站信息，因此大大减轻了主结构网络的带宽压力。 如表2 1 所示为互补结构网络主次网络特性对比。 表2 - 1 互补结构网络主次网络特性对比 t a b i e 2 - 1 c o l q o a r i n go fp r i m a r ya n ds e c o n d a r yo fc o m p i e m e n t a r ya r c h i t e c t u r en e t w o r k 2 2 播存原理 播存原理即在传统广播终端引入海量存储，用以存储网络中播发的信息 资源。克服传统广播网络难以实现按需服务，内容与时间完全由电台决定， 用户对信息资源不能双向互动这样的一些缺陷。 以传统电视台广播节目为例，用户只能根据电视台列出的节目时i 日j 表而 在固定的时间段收看自己感兴趣的节目，在用户工作或者学习时问内播出的 节目，即使是自己感兴趣的，也无法收看，而往往在用户空余时间内播出的 节目却没有用户感兴趣的，缺乏个性服务；以远程教育为例，不管是电视教 育还是互联网教育，都是把教学资源存放在远离学生的地方，电视教育的时 间和进度是由电视台定的，学生在学习的过程中往往会出现漏课或者跟不上 西南科技大学硕士研究生学位论文第9 页 进度的情况，互联网通过对教学资源远距离个性化访问，学生虽然可以自由 选择时间、内容和进度，然而，实践表明，实时地远程访问在实用中很难完 美兑现，其主要问题的带宽瓶颈，带宽瓶颈不仅造成拥塞，还直接限制学生 人数的增加，限制每学时课件的信息容量。带宽瓶颈已成为网络教学诸多矛 盾中的主要矛盾，必须彻底解决。 因此在用户终端采用镜像存储技术，通过用户设定关注词，即可2 4 小时 等待网络上传输的与关注词相关的信息，从而实现自动下载存储。在播存结 构网络下，无论是电视广播网络用户还是远程教育用户，都可将自己感兴趣 的电视或者课程下载到本地存储器上，实现与信息资源零距离的互动。另外， 随着数字存储技术的发展，计算机的存储成本持续下降i 这也给播存结构网 络提供了硬件基础。 0 口 0 众多 图2 - 2播存原理示意图” fig 2 - 2 m a po fb r o a d c a s tin ga n ds t o r a g e 如图2 2 所示，图中的横线代表各种信息资源通过广播通道播向全国， 竖线代表数以亿计的用户可以收到广播的内容。横线与竖线相互垂直正交， 形成覆盖全国的网格。某一用户如果对某一资源发生兴趣，只要通过竖线接 通相应的横线，形成代表需求的连接节点，该资源的内容将源源不断地流入 长条形的家庭存储器。 基于存储的广播网络，存内容于近处，没有带宽瓶颈，没有滞后环节， 随点随得，服务质量是有保证的。海量的存储器除了收集电视节目和音频节 目之外，还可以增添直播卫星转播的、从万维网精选出来的报刊、网站与课 西南科技大学硕士研究生学位论文第1 0 页 程，包括了数字文化全部常用内容。每一终端存储器，就是一座数字图书馆， 内容的丰富程度，可以随着存储容量而线性增长。终端服务器可作为播存网 络公用设施的最后一部分，为几个家庭公用，任何客户机从存储器中取走内 容，服务器都将详细记录在案，准确扣除交费卡的金额。因此，可以把存储 器当成是信息产业的零售商，看成是家门口自动经营的文化超市，从而使广 播成为社会主义市场环境下的新的产业m ，。 2 3 互补结构网络相关标准简介 在互补结构网络中；主结构主要采用t c p i p 协议，次结构播存网络主要 采用数据广播协议。 2 3 1 t c p ip 协议 t c p i p 互联网络协议簇一般称为t c p i p ，它是网络中使用的基本通信 协议。它包括上百个各种功能的协议，如远程登录、文件传输和电子邮件等， 而t c p 协议和i p 协议是保证数据完整传输的两个基本的重要协议。其中i p 负责把数据从一地传输到另一地；而t c p 保证它们都正确地工作。最简单的 结论是：i n t e r n e t 包含有上千个网络和百万计的计算机，而t c p i p 是把它合 在一起的粘结剂。 t c p i p 协议具有分层的思想，使得人们不必了解具体的网络硬件就可以 叙述和理解网络通信的细节。对t c p i p 协议的分层主要有两种，一种是由 国际标准化组织i s o 给出的七层模型，而另一种是来自一些对t c p i p 协议 簇的研究工作者，他们根据i s o 模型将t c p i p 分为了五个概念性层次，图 2 - 2 描述了t c p i p 的概念性层次和各层主要的协议。 从图2 2 可以看出，t c p i p 软件由物理层之上的应用层、运输层、i n t c r n c t 层、网络接口层组成。 应用层。在这个最高层中，用户调用应用程序通过t c p i p 互联网来访问 可用的服务。与各个运输层协议交互的应用程序负责接收和发送数据。每个 应用程序选择适当的传输服务类型( 包括独立的报文序列和连续字节流两种 类型) 。应用程序把数据按照运输层的格式要求组织好后向下层传输。 运输层。运输层的基本任务是提供应用程序之间的通信服务。这一层主 要有两种传输协议t c p 和u d p 。t c p 协议是一种面向连接的可靠的传输协 议，而u d p 是面向报文分组的不可靠的传输协议。 西南科技大学硕士研究生学位论文第1 1 页 应用层 运输层 l 俯 ll 哪 几石研几j 研 i p i 竺ll 坠竺j 网络接口层 物理层 一厂1 品鬲磊f 一 图2 - 2t o p i p 层次模型 f i g 2 2 m o d eo ft c p i pi a y o r s i n t e r n e t 层。负责通过网络将分组从信源送到目的主机。互联协议将数据 包封装成i n t e r n e t 数据报，并运行必要的路由算法。这一层有四个互联协议， 网际协议i p 负责在主机和网络之间寻址和路由数据包；地址解析协议a r p 获得同一物理网络中的硬件主机地址；网际控制消息协议i c m p 发送消息， 并报告有关数据包的传送错误。 网络接口层。主要负责接收l p 数据报并把数据报通过选定的网络发送出 去。 根据这样的分层原则，数据在传输时每通过一层就要在数据上加个报头， 其中的数据供接收端同一层协议使用；而在接收端，每经过一层要把用过的 报头去掉，这样来保证传输数据的格式完全一致n ”。t c p i p 协议中各层的数 据封装过程如图2 3 所示。 一 t c p i p 最大的优点之一是它不依赖于网络模型，无论是环形还是星形， t c p i p 都适用；与传输媒体无关，有线传输或卫星传输都可以；不受具体的 销售商的限制；不取决于操作系统和计算机硬件；t c p i p 能够连接任意网络 并在其上运行。 到目前为止，没有一个协议能像t c p i p 一样可以连接各种不同的硬件和 软件平台。这个多面性是t c p i p 成为世界上最流行的网络协议的原因。 西南科技大学硕士研究生学位论文第1 2 页 图2 - 3t c p i p 数据封装流程 f i g 2 3d a t ae n c a p s u i a t i o i lo ft o p i p 2 3 2 m p e g - 2 标准 m p e g 是活动图像专家组( m o v i n gp i c t u r ee x p o r t sg r o u p ) 的缩写，于 1 9 8 8 年成立。m p e g 标准是由国际标准化组织i s o 和国际电工委员会i e c 共 同制定的音视频编解码标准。目前m p e g 已颁布的音视频标准有m p e g 1 、 m p e g 2 、m p e g 4 和m p e g 7 。m p e g 2 是专为数字电视传输和分配高质量 音视频制定的。 m p e g 2 标准目前分为九个部分，前六部分是：系统( i s o i e c1 3 8 1 8 1 ) ， 视频( i s o i e c1 3 8 1 8 2 ) ，音频( i s o i e c1 3 8 1 8 3 ) ，符合测试( i s o i e c 1 3 8 1 8 4 ) ，软件( i s o i e c1 3 8 1 8 5 ) ，数字存储媒体的命令和控制( i s o i e c 1 3 8 1 8 6 ，d s m c c ) ，第七部分规定不与m p e g 1 音频反向兼容的多通道音 频编码，第八部分现已停止，第九部分规定了传送流的实时接口。 m p e g 2 标准在数字电视中应用最广泛。根据传输媒体质量的不同， m p e g 2 系统层定义了两种复合信息流：传送流和节目流，传送流即t r a n s p o r t s t r e a m ，简称t s 流；节目流即p r o g r a ms t r e a m ，简称p s 流。两种流定义都 是面向分组的多路复用流，都是由p e s 分组和一些包含其它必须信息的分组 构成的，都支持一路节目的视频、音频压缩流在共同时间基准点上的多路复 西南科技大学硕士研究生学位论文第1 3 页 用。单个音频和视频原始数据流的多路复用方法如图2 - 4 所示。系统标准包 括虚线右侧的处理n “。 卜_ 一系统规范范匿+ 图2 - 4 l s o i e c1 3 8 1 8 - 1 简化的总体框图 f i g 2 - 4 s i m p ii f ie df r a m eo fi s o i e c1 3 8 1 8 - ! 传送流由一道或多道程序组成，每道程序由一个或多个原始流和其它的 流多路复用在一起。原始流数据加载在p e s 分组中。p e s 分组由p e s 分组首 部以及其后的分组数据组成。p e s 分组是插在传送流分组中的，每个p e s 分 组首部的第一个字节就是传送流分组有效负载的第一个字节。 传送流分组由分组首部及有效负载两部分组成。传送流分组的格式如图 2 5 所示，分组首部占4 字节，有效负载占1 8 4 字节，图中各字段长度标于 其下方，单位为b i t s 。 图2 - 5传送流分组格式 西南科技大学硕士研究生学位论文第1 4 页 分组首部各字段语义解释如下： ( 1 ) 同步字节：固定为0 1 0 0 0 1 1 1 ( 0 x 4 7 ) ，用于分组同步。它与象 p i d 那样按规律产生的字段的值的选择应避免竞争的发生。 ( 2 ) 传送错误指示器：1 比特标志位，当置为1 时表明在相关的传 送分组中至少有一个不可纠正的错误位。此标志应由传送层之外的实体置 1 。当被置1 后，在错误被纠正之前不能重置为0 。 ( 3 ) 有效负载起始指示器：1 比特标志位，用来指示传送流分组带有 p e s 分组或p s i 数据时的情况。当传送流分组的有效负载带有p e s 分组数据 时，该指示器具有以下特性：1 表明传送流分组的有效负载将以p e s 分组 的第一个字节开始，0 表明在传送流的开始不是p e s 分组。当该指示器置 为1 时，在所有传送流分组中有且仅有一个p e s 分组开始。 当传送流分组的有效负载带有p s i 数据时，该指示器具有以下性质：如 果传送流分组带有一个p s i 部分的第一个字节，它的值被置1 ，表明传送 流分组的第一个字节带有指针字段( p o i n t e rf i e l d ) ；如果传送流分组不带有 一个p s i 部分的第一个字节，它的值被置0 ，表明在有效负载中没有指针 字段。 对于空分组，该指示器应置0 。对于只带有私用数据的传送流分组， 对此比特的含义没有定义。 ( 4 ) 传送优先级：1 比特指示器，当被置为1 时，表明相关的分组 比其它具有相同p i d ，但此位没有被置1 的分组有更高优先级。传送机制 可根据此位确定在一个原始流中数据的优先级。根据不同的应用，此优先级 字段的编码可以不考虑p i d ，或者仅在一个p i d 内编码。此字段可能被通道 特殊编码器或解码器修改。 ( 5 ) p i d ：1 3 位字段，指示存储于分组有效负载中数据的类型。p i d 值 0 x 0 0 0 0 为程序关联表保留，而0 x 0 0 0 1 为条件访问表保留。p i d 值0 x 0 0 0 0 0 x 0 0 0 f 保留，0 x l f f f f 为空分组保留。 ( 6 ) 传送加密控制：2 位字段，用来指示传送流分组有效负载的加密模 式。传送流分组首部包括适应字段，不应被加密。在空分组时，该字段的值 置为0 0 。加密控制值如表2 1 所示。 ( 7 ) 调整字段控制：2 位字段，用于指示本传送流分组首部是否跟随有 调整字段和或有效负载。调整字段控制值如表2 2 所示。系统解码器将丢弃 该字段值为0 0 “的传送流分组，空分组此字段为0 1 。 。 西南科技大学硕士研究生学位论文第1 5 页 表2 - 1加密控制值 取值描述 0 0 0 1 1 0 1 1 未加密 用户定义 用户定义 用户定义 袭2 - 2适应字段控钳位 t a b l e 2 2 a d a p t i o nf i e i dc o n t r o 。lv a i u e 取值描述 0 0 0 1 1 0 1 1 为i s o i e c 未来使用保留 无适应字段，仅含有效负载 仅含适应字段，无有效负载 适应字段后为有效负载 ( 8 ) 连续计数器：4 位字段，随着每一个具有相同p i d 的传送流分组而 增加，当它达到最大值后又回复到0 。如果适应字段控制值为0 0 或1 0 ， 则不应增加。在传送流中，复制的分组可能被做为两个连续的具有相同p i d 的传送分组送出。复制的分组和原分组有着相同的连续计数器值，而适应字 段控制值应为0 1 或1 l 。除去程序参考时钟字段有效值( 如果有的话) 将被重新编码外，在复制的分组中，原分组中每一个字节都被拷贝。 在一个特定的传送流中那些具有相同p i d 的分组的连续计数器值是连续 的，或者与前一个相同p i d 的分组差1 时，或者在遇到“不增加”条件( 适 应控制字段值为o o 或1 0 ，或上面所描述的复制分组) 时，及在非连 续指示器为1 时，连续计数器将不连续。空分组的此字段无定义。 ( 9 ) 调整字段：一个可变长的域，提供基本比特流解码所需的同步及时 序等功能，以及编辑节目所需的各种机制，语法定义在i s o i e c l 3 8 1 8 1 中有 详细描述。 ( 1 0 ) 有效负载：来自p e s 分组、p s i 部分，以及不在这些结构中的私 有数据的连续字节，空分组的p i d 为o x l f f f 。该负载可以赋任何值。本论 文研究的系统中，有效负载的数据是私有数据，数据类型由p i d 标识。 西南科技大学硕士研究生学位论文第1 6 页 2 3 3 数据广播协议 次结构播存网络覆盖面积广，用户多，在我国的发展潜力比较大。它遵 循数据广播协议。数字电视与数字广播的标准在世界范围内还没有统一，目 前，美国、欧洲和日本各自形成了三种不同的数字电视标准。美国标准是 a t s c ( a d v a n c e dt e l e v i s i o ns y s t e mc o m m i t t e e 先进电视制式委员会) ，欧洲 标准是d v b ( d i g i t a lv i d e nb r o a d c a s t i n g 数字视频广播) ，日本标准是i s d b ( i n t e g r a t e ds e r v i c e s d i g i t a l b r o a d c a s t i n g 综合业务数字广播) 。目前我国采用 的是欧洲的d v b 数字电视标准。 d v b 项目选择m p e g 2 作为音频和视频源的编码，以生成打包基本流 ( p e s ) 和传送流( t s ) 等，即所谓的系统层。i s o i e c1 3 8 1 8 1 ，2 ，3 分别 是描述m p e g 2 系统、视频、音频的国际标准，都能直接运用到d v b 中。 d v b 协议的广播传输系统标准包括d v b s c t s m a t v m s m c ，分别对 应卫星、有线、地面、s m a t v 、m n d s d 。第一个实现的标准是d v b 信号的