网络信息理解与信息共享技术

马建国西南科技大学信息工程学院教授工学博士mjg主要内容课题背景带宽瓶颈信息垃圾语义障碍数字鸿沟课题来源研究体系结构信息共享理论信息共享网络信息理解广播型网格互补结构UCL协议文化网格教育网格UCL代理MIS-Grid网络层理论层结构层应用层物质共享与信息共享信息系统的传输代价信息网络的结构特征典型信息网络分析理论模型--物质共享与信息共享世界是由物质组成的，质量、能量和信息是物质世界的三个重要属性。人们早已认识到，物质的质量和能量是满足守恒定律的。物质共享

物质不灭定律指出：物质既不能消亡也不能创造，只能从一种物质转化为另一种物质。根据这个原理，对于某一物质质量为M的系统，被n个受体分成n份，则满足以下的守恒定律：M=（2-1）

理论模型--物质共享与信息共享能量共享

同样能量也是既不能创造，也不能消灭。对物质系统间的能量转换可由热力学第一定律描述。其数学表达式为：Q=E2-E1+A（2-2）在没有与外界交换能量的封闭系统中，对于一个能量为E的封闭系统，j个子系统的能量分配满足如下的守恒定律：E=（2-3）理论模型--物质共享与信息共享e1e2e4e3…elm1m2m3m4…mn图2-1总能量为E的系统能量分配图2-2总质量为M的系统质量分配理论模型--物质共享与信息共享图2-3说明了信息的共享并不是对母体的瓜分，可以是无失真的复制。更一般的情况下，可以把信息的共享看成是某种方式的映射关系。原像：A复制2：B2复制1：B1复制3：B3复制n：Bn图2-3信息的共享——复制

定义2-1：设映射fi：X→Yi,AX,BiYi

。记：

（2-5）称为映射下信息集A的一个像，或称信源集A在关系下的一个信宿。记：

（2-6）称为映射fi下Bi

原像或信源。注解：(1)在映射fi下Bi

的原像是唯一的，因为信源是同一的。(2)映射fi

的映射关系改变，可以在同一信源下生成不同信宿。(3)映射fi

是在理想信道下的情况，没有考虑编码和传输的失真。理论模型--物质共享与信息共享理论模型--物质共享与信息共享定义2-2：当映射fi

的映射关系成为某种特殊的有序的1-1映射时，即不改变原像的信息量和次序，称为这种信息的保形映射或信息复制。显然，信息复制是不改变信源的次序与信息量的一种特殊映射关系。定义2-3：信源通过某种映射关系形成信源的像的过程称为信息的共享。注解：(1)信息的传输可以看成是一种信息的映射或信息的复制。(2)信息的共享并不会损失或者改变信息的原像。理论模型--物质共享与信息共享定理2-1：信息的共享不会损失或者改变信源的信息量和信息次序。证明：设信源X与信宿Yi构成信息共享关系。由定义2-3可知，X与Yi形成信息的共享关系，必然会成为一种映射关系，设它们之间满足映射fi：X→Yi,AX,BiYi

。且

（2-7）为映射下信息集A的一个像。由式（2-7）可知，映射并不改变原像或信源,且原像或信源式由（2-8）表示，

（2-8）由定义（2-1）注解（1）可知，此原像或信源唯一。证毕。理论模型--物质共享与信息共享性质1：信息的共享不同于物质的质量和能量共享，不是一种分配关系，而是一种映射关系。信息的共享不会对信源造成任何信息的损失。性质2：信息的共享中信宿的数量是没有上限的。因此，从理论上讲对信息共享者并没有数量上的限制。理论模型--物质共享与信息共享在式（2-9）的信息系统中，对信息的分配、编码、传输、存储、表示和使用环节中，唯有在信息的传输过程中容易受信道影响，引入信息的失真，因此根据1948年香农对通信系统的描述可抽象为图2-4所示[8]。理论模型--物质共享与信息共享图2-4描述的通信系统实际上是将一般信息系统抽象成信源、信道与信宿三个部分。理论模型--物质共享与信息共享可以简化成式（2-10）的形式：（2-10）由2.1.1的讨论可以知道，在信息系统中信源部分与信宿部分并不会对信息的共享造成任何障碍，唯一可能给信息共享造成障碍的就是信息的传输过程。下面就分析信息传输过程对信息共享的限制问题。信息传输的能量代价[8]Eb=0.693KT（焦耳）（2-24）称为比特传输的能量极限公式。假设全球50亿人，每人每天需要的信息为1Gbyte，则信道分别传输这些信息需要消耗的总能量仅为只相当于1个1W的电灯泡闪亮0.115秒。这是一个非常小的能量。理论模型--物质共享与信息共享典型信息网络分析万维网良好信息交换结构，不是最佳的信息共享结构。广播网数字电视带动数字广播网络发展，如何充分利用DVB网络提供增值服务。网格资源广泛整合，尽快投入应用。信息网络IP数据报应用层表示层会话层传输层网络层数据链路层物理层应用层Internet物理层传输层网络接口层报文或数据流功能概念性的层次通过层间的对象传输协议分组特定网络的帧OSI七层协议参考模型TCP/IP的层次结构信息网络物理层通信层语义层应用层物理层通信层语义层应用层物理层通信层管理机制管理机制图2-10具有语义的网络信息分层模型信息网络的结构特点

信息的交换方式

随机网络与无尺度网络科学家惯于将所有的复杂网络看作是随机网络。随机网络中绝大部分节点的连结数目会大致相同，节点与其它节点的连结数的概率分布方式遵循“钟”形的泊松分布与之相反，美国航空网则是无尺度网络的代表。它存在拥有大量连结的集散节点。在这种结构的网络中，节点与节点之间的连结分布遵循幂次方律，其中大部分的节点只有少数连结，而少数节点则拥有大量连结。从这种意义上来说，这种网络是“无尺度”的。（Scale-FreeNetworks）

随机网络例子—高速公路网

无尺度网络例子—航空网

互联网结构特点--无尺度特性无尺度网络安全的两面性

无尺度网络在遭受意外故障的强韧性能要优于随机网络无尺度网络在遭受蓄意攻击（攻击集散点）的强韧性却非常低数字系统中的知识金字塔数字形式的文本、图像、音频称为数据；赋以语义的数据称为信息；智慧知识信息数据数据数据知识

信息知识是信息在时间与空间积累的某种结果；智慧则是通过对过去知识和新信息的巧妙整合，形成决策的能力。

从应用层看网络的发展应用计算机网页应用网页计算机网格Web因特网小结小结定义3-3：一个基本的带宽资源称子带。以总带为32Mbps，子带带宽为32kbps为例32Mbps=4MB/s=14.4GB/时=345.6GB/天如果把32Mbps分给1024个ICP，每个ICP32Kbps=4KB/s=14.4MB/时=345.6MB/天每一个ICP都拥有32Kbps永不断线的常在带宽，经时间的累积，可以推送大量的数据进入用户终端。定义3-4：传输各子带UCL元数据信息的专有信道称元带，或称语义信道。带宽一般与子带相同。定义3-5：包含一些子带的集合称群。本文定义包含32个子带的集合，如果子带宽度为32Kbps，一群的带宽正好为1Mbps。定义3-6：ICP独立使用的信道称路。可以为一个子带或N个子带。高效利用数字电视网络，容易形成国家规模的文化、教育等公共信息资源服务体系，最大限度地实现全民信息共享。

基础设施平台与ICP分离，实现经营运作分开，信息内容提供者ICP可以获得独立经营的环境，可以形成良性竞争机制的可持续发展的经营体系。便于优秀文化、教育资源的广泛整合。一级数据处理-第一群节目源1节目源2节目源32一级数据处理-第N群节目源1节目源2节目源32一级数据处理-第二群节目源1节目源2节目源32二级数据处理中心(32-/TS)接收终端1接收终端2接收终端i接收终端n图3-5大规模并播的两级复用系统结构1:n32:132:1节目源提供者ApplicationDIPUDP/TCPIPEtherFrameTSDVBApplicationDIPDIPUDP/TCPIPEtherFrameMDMPUDPIPEtherFrameMDMPUDPIPEtherFrameTSDVB一级数据处理中心二级数据处理中心接收终端图3-7数据复用协议栈结构MDMP数据复用的双循环复用器

信源32信源5信源4信源3信源2信源1去第二级复用器双循环FIFO线性FIFOTP（1，m）TP（2，m）TP（3，m）TP（4，m）TP（5，m）TP（32，m）TP（1，2）TP（2，2）TP（3，2）TP（4，2）TP（5，2）TP（32，2）TP（1，1）TP（2，1）TP（3，1）TP（4，1）TP（5，1）TP（32，1）数据复用的双循环数据结构复用器复用实验UCL--信息的内容理解UCL--信息的内容理解

帧结构、物理地址IP数据报应用层Internet物理层运输层网络接口层报文或数据流概念性的层次通过层间的对象运输协议分组特定网络的帧图4-1TCP/IP层次结构与信息理解的分层信息理解的层次UDP端口分组IP地址应用层中文本文件在

信息理解分层结构

信息层次内容举例理解方法文件文件的标引新浪网报到：萨达姆UCL体系句语义萨达姆躲在一个地窖里产生式规则、框架知识表示、语义网络词词义美英联军词汇库数据压缩算法等RAR、ZIP压缩与解压缩软件UCL基本概念目前普遍采用的是将信息空间视为“按地址定位”的空间，确切地说，是按信息“存储源地址”定位的空间。如在Internet上广泛应用URL(UniformResourceLocator:统一资源定位器)就是如此，而并不是真正的“资源定位”。统一内容定位UCL（UniformContentLocator）是网络信息资源的一种属性与内容描述结构。UCL的目的是解决网络信息资源的发现、查找、识别、传输、控制和主动服务等问题。具有内容标引的网页服务系统信源采集层自动采集手工采集信源标引层分类标引UCL编码库信源信源信源传输网络内容解析层数据流控制UCL解析资源服务层信息过滤建模智能代理图4-5具有内容标引的网页服务系统UCL编码库信源空间定义5-2：信源空间的内容分类是指将信源空间Ω按照信息资源的某种内容特征而划分成为有限可列的、具有层次结构的子空间，每一个子空间都代表了特定的信息内容特征。设信源空间Ω的基于某种内容属性的内容分类g，即映射gi：A→Ci。记：

信源空间的内容分类

ACi……C1C2C3…g源端UCL的编码标引与映射过程aiUCL框架库标引编码UCL编码库c(u(ai))u(ai)ψ(u(ai),c(u(ai)))图5-2源端UCL的编码标引与映射过程网页信息内容标引元数据规范

类属元素名称中文名说明举例元素编码体系资源内容uw1:Group大类信息资源的一级分类体育行业标准uw2:Subject栏目信息资源的二级分类足球自定义uw3:Title标题新闻标题中国出线了！文本描述uw4:Keywords关键词信息资源主题、内容的关键字或词组（建议使用受控词汇）世界杯、杨晨中国主题词分类表、汉语主题词表uw5:Description简介资源内容的文本描述……文本描述uw6:Language语言信息资源所使用的语言简体中文ISO639-2知识产权uw7:Creator创作者信息资源的制作者个人或组织新华社文本描述uw8:Publisher出版者负责信息资源发布的实体

URI外部属性uw9:Date日期资源创建的日期或其它相关的日期2003-06-25W3C-DTFuw10:Type类型资源的种类或形式（如文本、图像、声音、软件、数据等）textDCMITypeVocabularyuw11:Format格式信息的数据形式、尺寸以及操作指示htmlIMTuw12:Classificationcode分类代码资源的学科分类代码如:510.5035GB/T13745-92中图分类法uw13:expansion扩充用户自定义如：价格等行业标准或自定义知识产权uw7:Creator创作者信息资源的制作者个人或组织新华社文本描述uw8:Publisher出版者负责信息资源发布的实体

URI外部属性uw9:Date日期资源创建的日期或其它相关的日期2003-06-25W3C-DTFuw10:Type类型资源的种类或形式（如文本、图像、声音、软件、数据等）textDCMITypeVocabularyuw11:Format格式信息的数据形式、尺寸以及操作指示htmlIMTuw12:Classificationcode分类代码资源的学科分类代码如:510.5035GB/T13745-92中图分类法uw13:expansion扩充用户自定义如：价格等行业标准或自定义UCL网络课程的内容标引元数据UCL元素字段类型字段名称映射码说明L1课程字符串Course*13bit一个课程对应唯一PIDL2学科分类字符串Subject*8bit参照《学科分类与代码》(GB/T13745-92)或附录BL3年级字符串Grade无如大学一年级L4权益字符串rights无资源的权益人L5作者字符串Author无身份信息：学校、系、教师L6内容简介字符串Description无如某章某节，主要内容L7适用层次字符串Level无如大学本科、专科L8学时整型数Period8bit课程的总学时L9日期日期型Date32bit投入网站的时间L10文件信息字符串File_info无课程的组成文件的信息UCL的标引（人工标引与自动标引）研究UCL的两级复用模型实验研究映射实验研究UCL解析实验研究UCL数据流控制实验研究基于UCL的个人兴趣图谱研究UCL代理研究解复用、兴趣模型、自动下载自动标引、并播复用、播出控制接口前端终端单向传输文化资源或教育资源双向互动报告网页清单用户指定下载码(网站、栏目或学校、课程）确定是否阅读（UCL文字信息）获得网页全文指定关注对象（关注词）提取重要句子镜象收存并行广播源端1024路网站或1024路课件UCL在实验网络中的任务分解框架建立字段规定、协议规定标引方式标引与映射、标引与复用传输研究构建传输网络接收研究数据流控制、UCL解析、文件管理使用研究人机交互、兴趣图谱、智能代理信源端信宿端传输图6-1UCL在实验网络中的任务分解UCL自动标引图6-2UCL自动标引示意图UCL标引库UCL编码库UCL结构库网页截取文档转换UCL字段提取UCL的映射机制对于第j群k路的UCL向量可以表示为，则：我们定义了α

、β、γ三种映射。α映射：语义信道β映射：文件头γ映射：TS包头α映射称向量在元带的映射为α映射。记为

定义总带中含有l群、m路、p元在元带中的α映射向量为：

IP头UCLβ映射集原文件β映射γ代码212019181716151413121110987654321群编号(1-256)γ1路(1-32)γ2栏目γ3代码UCL在源端的实验流程图α映射数据格式转换、γ映射QAM/QPSK调制传输自动标引信源管理人工标引一级复用群标引、β映射播出策略二级复用数据准备一级复用数据格式转换二级复用图6-3UCL在源端的实验流程图传输多路信源数据流控制存储器用户文件管理Agentαα,βγβα,β库容提醒

信宿端UCL解析与应用框架用户文件管理存储器Agent数据流控制用户兴趣图谱建立图6-7基于媒体网站的用户兴趣图谱图6-8基于媒体栏目的用户兴趣图谱基于UCL的用户肖像模型下载？媒体结构到本体结构的转换显示媒体结构库人机交互存储存否？读否？本体结构库用户兴趣图谱建立AGENTYYY来自广播型网格信息下载控制存储控制读写控制对搜狐网站自动标引后生成的UCL标引信息

传输层的接收端调谐对话窗

信宿端的UCL解析情况

UCL研究小结要实现信息的主动服务，首先要对信息的语义与内涵有足够的理解。信息理解与信息服务也是分层次的。UCL是实现网络信息理解的一种重要形式。建立了信源空间和信源空间的内容分类模型。定义了内容分类空间的UCL向量，为UCL的规范设计建立了理论体系。设计了具有内容理解的网页信息服务系统，分析了内容标引在系统中的地位和作用，建立了信源端网页信息内容标引、映射及编码实现机制，设计了《网页信息内容标引元数据规范》，该规范经过了标引、传输与应用实验。UCL研究小结UCL研究小结广播型网格广播型网格

定义7-5：信息网络中满足一定条件的信息节点称为主流节点或主流媒体节点，记为M，用下式表示：

什么是广播型网格？具有大规模推送能力的，具有源端广泛信息资源整合的，具有语义标引的信息服务系统。具有语义信道的广播网格DVB-CDVB-TDVB-S……DMB-TAgentAgent…………...ICP1ICP2ICP3ICPN语义信道●●●●●●●●●●●●●●●●●●●广播网格的结构特点--沙漏斗模型信源端：广泛的信息资源整合信宿端：更加广泛的用户群低传输代价无拥塞的传输网络

国家规模文化网格国家文化网格的缩比实验设计规模：32群1024路实验信号总带规模：5群100路调制方式：64QAM传输协议在模拟频道的一个8MHz的带宽内，调制效率为6bit/band，最大可传输的比特率为：(余弦滚降系数为1.15)调制效率×模拟带宽÷余弦滚降系数＝6×8MHz÷1.15＝41.7Mbps传输内容传输内容1：

等网站的内容经UCL标识后镜像传输。传输内容2：数据文件若干路教育网格协议分层结构用户层协议传输层协议网络层协议物理链路层协议DataUDPHeaderUDP报文源数据封装课程/数据码流课程标识UCL代码DVB数据封装IP报文分片IPHeaderDataIPHeaderFragment#1DataIPHeaderFragment#nData包头IP_datagram_dataCRC-32包头IP_datagram_dataCRC-32SYNC0x47Data184BytesFlags3BytesSYNC0x47Data184BytesFlags3BytesSYNC0x47Data184BytesFlags3BytesIP报文大于MTU传输复用流188Bytes188Bytes188Bytes用户包头#1Data用户包头#kData用户包头#nDataUCL专用数据课程#1数据码流课程#k数据码流课程#M数据码流应用物理链路DVB/QPSK/QAM/CDMA/GSM/etc.图7-5协议分层结构源数据用户数据分组国家教育网格的用户模型

家庭镜像仓储或服务器用户浏览课件兴趣建模智能下载指定课程或学科粗选课件指定关注词

细选课件提供给用户UCL信息实验网络IP-DVB网关IP包网站镜像课件分发实时课堂源端网络DVB-C调制器电视机CATV电视网络分线盒分线盒……用户计算机DVB-C机顶盒DVB-C接收卡图7-7实验网络广播型网格的主要特点源端资源的广泛整合广播网格同万维网最大区别是信息资源一体化，用户看到的不是远处数不清的信息孤岛，而是一个真正的做到了时间、空间、内容的广泛整合的服务。这个任务由独立运作的ICP承担。传输网络无共享冲突按照互联网的方式传播，一条信息要经过很多卡脖子的网关和路由器。广播网格传输网络本质上无冲突、无瓶颈，因为它没有大量的网关和路由。广播型网格的主要特点收端广泛的用户群收端可以有无上限的用户群，不会造成“车多必然路堵”的现象。有效地缓解了带宽矛盾，尤其是无线或卫星信道。大幅度降低成本，消除数字鸿沟两个并播转发系统，年运行经费一亿人民币，如每天在全国范围取得一亿人时的效益，人时人均成本少于三厘钱，一亿元的运行费用，只相当建两公里高速公路，国家完全负担得起。广播成本得以除以用户数目，每个用户只需承担微不足道的数额，信息服务的成本大幅下降。广播型网格的主要特点广播型网格小结广播型网格小结分析了“全国文化信息资源共享工程”发展中存在的问题，提出了“国家文化网格”的研究目标，确立了“国家文化网格”的结构，设计并实施了“国家文化网格”的缩比实验。论述了建立“国家教育网格”的必要性和可能性，提出了“国家教育网格”的研究目标，构造了“国家教育网格”的结构，设计并实施了“国家教育网格”地面有线网络的缩比实验。提出了自主知识产权的传输协议研究，网络信息的Ontology研究，大规模的播控平台设计，低成本接收终端研究，多接收方式研究和可持续发展的运营机制研究是未来广播网格研究的重点。具有互补结构的移动网格背景移动电话的飞速发展，市场巨大，仅2003年我国手机的一个小小的增值业务--手机短信的发送量突破2200亿条，手机短信增值服务市场的规模超过200亿元。WLAN的发展人们对便捷的移动与无线服务的需求强劲。GSM、3G并不能满足这些需求。信息的交换方式单位信息传输代价函数(b)信息广播网络中单位信息传输代价nnF/nF/n(a)信息交换网络中单位信息传输代价图8-3单位信息传输代价函数移动网络互补结构的信息共享模式个性需求用户终端共性需求单向信道双向信道信息提供商

MIS-GridBeyond3G网络架构DVB广播信道GSM手机窄带CDMA其它宽带移动设备3G设备WLAN设备DABGSMDMB超3G设备WLAN窄带CDMA3G交互信道MIS-GridBeyond3G特点完全融合的业务。个人通信、信息系统、广播等都依据用户的需求融合在一个无缝网络中。用户可以以一种反映个人爱好的方式方便、安全地接入更广泛的业务和应用。多种多样的用户设备。用户可以使用各种档次的、可方便携带