（电子科学与技术专业论文）数字电视个性化信息过滤系统设计.pdf

国防科学技术大学研究生院学位论文 a b s t r a c t w i t ht h ep o p u l a r i t yo fd t va n dm a t u r i t yo ft h er e l a t e dd i g i t a lt e c h n o l o g y , a p a r tf r o mt h e t r a d i t i o n a lt vs e r v i c e 。av a i l e t yo fc o m p l e t e l yn e wv a l u e a d d e ds e r v i c e so nt h ed i g i t a l b r o a d c a s t i n gt vn e th a v ed e r i v e da n du s e r sc a ne n j o yo m n i b e a r i n gi n f o r m a t i o ns e r v i c e s s u c h a sd i g i t a lr vb r o a d c a s t i n gd a t a ，i n t e r a c tc o n n e c t i o n ，e t c t h et h e s i sa i m sa tc o n s t r u c t i n gd t vt e x ts t r e a mf i l t e rs y s t e m ( t f s ) o nt h et e r m i n a l p l a t f o r n l w h i c ho f f e r st h eu s e r sa ne m c i e n tm e a n st or e c e i v ed i g i t a li n f o r m a t i o n t h ef u n c t i o n s o ft f sa r et of i l t r a t ea n ds t o r eu pt e x ti n f o n i l a t i o ns u b m i t t e db yd t va c c o r d i n gt ot h eu s e r s i n t e r e s t s i nt e c h n o l o g yi ti ss i m i l a rt op e r s o n a l i z e di n f o r m a t i o nf i l t i n g w h i l et h ed i f f e r e n c el i e s i nt h ef a c tt h a ti ti sah o m e t i d ya n ds m a l lt e x ti n f o r m a t i o nf i l t e rw h i c hw o r k sw i t hs e t t o pb o x a st h ew o r k i n gp l a t f o r ma n dw i t ht e x ti n f o r m a t i o no ft sa so p e r a n d i ti sa p p l i c a b l ei nt h e t r a n s i t i o n p e r i o dw h e nb r o a d c a s t i n gt vn e t w o r k i sr e m o l d e d f r o m s i n g l e d i r e c t i o n t o t w o d i r e c t i o n e v e na f t e rd t vr e a l i z e st w o d i r e c t i o n t f si sa ni m p o r t a n tt e c h n i q u et h a t i m p r o v e st h ee 伍c i e n e yo fd t v v a l u e a d d e ds e r v i c e 。 t h et h e s i sh a sd o n et h ef o l l o w i n gw o r k ： f i r s t l y , i th a sd o n ed e e pr e s e a r c ho nt h es t a n d a r d so fm p e g 2 d v ba n dd a t ab m a d c a s t i n g t h a th a v ec l o s er e l a t i o nw i t ht h es t u d y , a n dm a d es e l e c t i v ea n a l y s i so ft ss t r e a m ss t r u c t u r ea n d t h em e t h o dt oe x t r a c tt e x ti n f o r m a t i o nf r o mt ss t r e a m s e c o n d l y , i ta n a l y z e st h eh a r d w a r e sa n ds o f t w a r e ss t r u c t u r eo ft f s sw o r k i n gp l a t f o r r n t h es e t - t o pb o x t h i r d l y , i tp u t sf o r w a r dt h ew a y t oj u d g et h ed e g r e eo fc o r r e l a t i o nb e t w e e np a r a g r a p h si na t e x tb yu s i n g c o n c e p tf i e l d a t t r i b u t eo fk e yw o r d si nt h ed i c t i o n a r y , w h i c hc a no b t a i nt h e b a l a n c eb e t w e e nf i l t r a t i o na c c u r a c ya n ds c r e e n i n ge f f i c i e n c yt os o m ed e g r e e f o u r t h l y , i tp r o p o s e s ，i nc o n s i d e r a t i o no ft h ef e a t u r e so fp r e s e n tb r o a d c a s t i n gt vn e t w o r k a n dt h eu s e r s p e r s o n a l i z e di n f o r m a t i o nd e m a n d at f sd e s i g na n di t sr e a l i z a t i o nm e t h o dt h a t e n d o w st f sw i t ht h ef u n c t i o no fa u t o m a t i ca n a l y s i so ft h eu s e r s i n t e r e s tt e n d e n c y f i n a l l y , i tp r o s p e c t st h ef u r t h e rr e s e a r c ho ft h es t u d y k e yw o r d s ：p e r s o n a l i z e di n f o r m a t i o nf i l t e r i n g ，s e a r c he n g i n e ，d t vv a l u e - a d d e ds e r v i c e , t s 第i i 页 国防科学技术大学研究生院学位论文 图目录 图2 1 传输码流的形成图6 图2 2t s 码流结构示意图7 图2 3t s 码流与p s i 关系图。7 图2 4p s i 和s i 的一般结构图8 图2 5 数据广播标准的总体框架图1 0 图2 6 数据轮播的数据结构图1 3 图2 7 数据轮播中信息的循环发送。1 4 图2 8 数据轮播协议中接收端的数据提取1 5 图2 9 对象轮播协议在交互业务结构框架中的位置。1 6 图2 1 0b i o p 消息在模块、数据块、g b t1 7 9 7 5 1 段中的封装和切分。1 6 图2 1 1 对象轮播协议中接收端的数据提取1 7 图3 1 机顶盒硬件平台( s t 公司s d t v 机顶盒方案) 1 9 图3 2s t i 5 5 1 8 内部结构1 9 图3 3 机顶盒软件结构( s t i 5 5 1 8 方案) 2 0 图3 4 软件系统结构图( s t i 5 5 1 8 方案) 2 2 图4 1信息过滤的基本工作流程图2 3 图4 2 用户兴趣模型示意图。2 7 图4 - 3“兴趣结构”示意图。2 7 图4 4t f s 个性化信息过滤算法2 8 图4 5 用户兴趣学习算法2 9 图4 6 特征向量集生成过程。2 9 图4 7 特征向量集中关键词的生成历史示意图3 0 图4 8索引条目点击率顺序表31 图4 9 索引条目点击率对特征向量集的影响。3 1 图4 1 0 用户输入关键词对特征向量集的影响3 2 图4 1 1 篇目浏览率对特征向量集的影响。3 3 图4 1 2 条目词出现频率直方图3 3 图4 1 3 篇目段落之间的关联度计算。3 4 图5 1d t v 个性化信息过滤系统结构图3 6 图5 2t f s 系统数据流程图3 6 图5 3索引数据结构3 7 图5 4 篇目表的数据结构示意图3 7 图5 5 段落文本库的数据结构3 8 图5 6 用户词典数据结构3 9 图5 7 文本数据信息提取3 9 图5 8d v b 和m p e g 2 的结构关系4 0 图5 9 数据接收与处理的工作流程图4 3 图5 1 0 包头检测流程图4 4 图5 1 l 特征向量匹配的工作流程图4 6 图5 1 2 按索引进行装订工作流程图4 6 图5 1 3 用户词典的修订过程4 7 图5 1 4 门限值l 的选取。4 8 第1 i i 页 国防科学技术人学研究生院学位论文 图5 15 段落存储过程示意图4 8 图5 1 6 篇目表及其段落的排序示意图4 9 图5 17e e p r o m 的组织形式5 0 图5 1 8n v m 初始化流程图5 0 图5 1 9 在t f s 系统中实现浏览交互的工作流程图5 1 图5 2 0 用户界面主菜单示意图5 2 图5 2 1 绘图函数库之间的从属关系5 3 图5 2 2 用户界面模块主程序流程图5 4 图6 1 浏览点击示意图5 7 图6 2 浏览结果显示5 8 图6 3 添加前5 8 图6 4 添加过程5 9 图6 5 添加后5 9 图6 6 软件控制流程图。6 0 图6 7 主菜单界面6 0 图6 8 电视资讯界面6 1 图6 9t f s 浏览界面6 1 国防科学技术人学研究生院学位论文 表目录 表2 - 1p s i 的t a b l ei d 取值列表一9 表2 - 2 各种应用数据对应的数据封装1 1 表2 - 3 数据广播描述符1 2 表2 - 4 数据广播i d 描述符1 2 表5 p r i v a t e s e c t i o n 的定义。4 0 表5 - 2s e r v i c en a m e ，s t r e a mt y p e ，p i d 的分配4 1 表5 - 3 时事新闻文本数据传输的s e c t i o n 语法4 l 表5 - 4 加扰控制字段值描述4 5 表5 - 5 调整字段控制值描述4 5 表6 - 1 实验结果5 7 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目：熬主壑垫仝：睦丝焦皇垫墟丕统遮让 一 学位论文作者签名：挈l 日期： 勺年脏月，日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅：可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目： 熬主塾塑仝：眭丝焦! 垦过滤丕统遮i 学位论文作者签名： 堑i 羞董日期：彦哆年，2 月f 日 作者指导撕擀：幺卜魄叩年瑚日 国防科学技术大学研究生院学位论文 第一章绪论 伴随数字电视技术的蓬勃发展，电视的使用范围早已超越了广播娱乐界，并广泛地深 入到科研管理、文化教育、医疗卫生、公共交通、军事宇航和工矿企业等各个重要部门。 数字电视作为传统模拟电视的升级，借助广电的光纤同轴混合网( h f c ，h y b r i df i b e r c o a x i a l ) 的频率资源丰富、用户量大、覆盖面广的等优势，利用数据广播技术有效地满 足人们对各种公众信息、远程教育、金融商务信息、数据点播( d o d ，d a t a - o n - d e m a n d ) 、 视频点播( v o d ，v i d e o o n d e m a n d ) 等各种多媒体数据服务的需求，并通过多元化的互动 反馈服务，引领传统观众向电视用户角色转变。本论文研究的d t v ( d i g i t a lt e l e v i s i o n ， 以下简称d t v ) 个性化信息过滤技术就是一项在数据广播平台上实现的数字电视增值业务。 本章简要介绍课题研究背景与意义，讨论个性化信息过滤技术的现状，并对全文结构 和主要工作进行描述。为了论述的完整性，本论文引述了部分参考文献，凡是引述内容， 均在后面有详细标注。 1 1 课题研究背景与意义 1 1 1 课题来源 本课题来源于我院的“一体化数字电视终端 研发项目，数字电视个性化信息过滤 系统设计是该项目的一个子课题。 1 1 2 课题研究背景与意义 随着计算机技术、通信技术和信息高速公路的快速发展和全面普及，人们很快由信息 资源匮乏变成被淹没在信息的汪洋大海之中。一方面，人们为互联网带来了如此丰富多彩 的信息资源而感到高兴：另一方面，面对纷繁复杂的信息，人们却变得无所适从，怎样区 分有用的知识和无用的“垃圾”逐渐成为一大难题。据有关调查显示，“至少9 9 的用户检 索到的信息中有9 9 是不相关的 洲。“信息迷向 问题和“信息过载 问题汹3 一直困扰 着网络用户，用户往往花费大量的时间去寻找所需的信息。在这种情况下，寻求一种能满 足用户个性化需求的信息服务方式显得尤为重要，信息过滤技术也就应运而生。 信息过滤是信息时代发展的必然产物，这是因为信息过滤技术能够适应动态变化的信 息源以及用户动态的信息需求，为用户在纷繁复杂的资源中寻找一条获取信息的捷径。信 息过滤系统提供主动式的个性化服务，摆脱了信息时代用户面对的“信息过载 的尴尬局 面。 随着数字电视的发展，电视领域出现了很多增值业务，在电视机上实现个性化信息服 务就是一项新的电视增值业务。虽然数字电视的基本工作方式是广播式的，但其发送数字 信息的颗粒度仍然较高、流量仍然很大。因此，如何从抵达用户终端的大量信息中筛选出 用户真正需要的有用信息就成了这项增值业务能否让用户满意的瓶颈。面对信息流量大而 机顶盒存储能力有限的矛盾，信息过滤技术在数字电视的个性化信息服务中的应用是推动 电视增值业务更好、更快发展的必然趋势。本课题的研究旨在保证电视用户在目前的单向 广播网络条件下，享受到更加多样化的信息服务方式，使电视用户能根据个人的兴趣和爱 好从众多的数据资源中获取自己需要的信息。 第l 页 国防科学技术人学研究生院学位论文 1 2 个性化信息过滤技术发展与应用 个性化信息过滤技术在数字电视中的应用才刚刚起步，有些技术可以借鉴其它领域 ( 比如互联网) 的个性化信息过滤技术。 1 2 1 个性化信息过滤技术概述 个性化信息过滤是指从动态的信息流中获取符合用户需求的信息，或者根据需要禁止 满足特定条件的信息流入，即根据一定的标准将不相关的信息滤掉，仅保存个性化信息， 从而提高了用户获取信息的效率汹1 。 美国科学家n i c h o l a sj b e l k i n 和w b r u c ec r o f t 曾指出“信息过滤与信息检索就 如一枚硬币的正反面”。窿铂它们虽有很多相似之处，但也有各自的特点： 1 信息过滤是针对用户个体，且持续性使用；信息检索针对大范围多用户的短期性使 用。 2 信息过滤的处理对象是非结构化或半结构化的数据，主要用来处理文本信息，而信 息检索主要处理结构化的数据。 3 信息过滤主要是去掉与用户信息需求不相关的信息，信息检索则是检出与用户信息 需求相关的信息。 4 信息过滤针对相对动态变化的信息源，而信息检索则针对相对静止的信息源。 1 2 2 具有代表性的信息过滤技术及其应用 信息过滤技术依据算法可分为三类盥 2 6 1 ：基于内容的过滤技术、基于协作的过滤技术和 基于价值的过滤技术。 1 基于内容的过滤技术 该技术是通过比较资源与用户描述文件来推荐资源的一种过滤技术。它可以利用基于 关键词的方法将信息流与用户描述文件进行匹配计算，过滤的结果只取决于用户信息需求 模型与信息源的匹配程度。 基于内容的过滤技术优点是简单有效。其缺点是：一是难以区分进入系统的信息内容 的品质和风格，而且不能为用户发现新的感兴趣的资源，只能发现和用户已有兴趣相似的 资源。二是由于这种过滤技术缺乏有效地自动分析方法，所以只适合分析文本信息，而对 声音、图象、视频等形式的媒体还不能有效地进行分析。 2 基于协作的过滤技术 基于协作的过滤技术是根据用户的相似性来推荐信息资源。与基于内容的过滤技术不 同，它是通过比较用户描述文件，根据其他用户对信息作出的评价来挑选信息。由于不依 赖于内容，这种模式不仅适用于文本格式，也可以广泛应用于非文本介质的资源，如视频、 音频等。 基于协作的过滤技术的优点是可以不考虑信息资源内容的特征，任何形式的内容都可 以推荐，而且还可以为用户发现新的感兴趣的信息。但是，它也存在两个致命的缺点：一 是稀疏性问题，即在系统使用初期，由于系统资源还未获得足够多的评价，系统很难利用 这些评价来发现相似的用户。另一缺点是系统可扩展性，即随着系统用户和信息资源的增 多，系统的性能会下降。 3 基于价值的过滤技术1 基于价值的过滤技术是按照经济的规则来选择信息资源。利用这种过滤技术来选择某 条信息是因为选择它所用的开销小于不选择它所损失的代价，信息的长度、评价潜在信息 效益时信息对发送者的成本以及质量与个性化的比较等都是需要被考虑的重要指标。基于 第2 页 国防科学技术大学研究生院学位论文 这种过滤技术的信息过滤系统原型目前还比较少见。 综上所述，这三种技术方法各有优劣，根据它们各自的特点，可以在不同的系统中加以 应用。不同的个性化定制服务系统可以根据自身不同的要求来选择适合的信息过滤方法。 当然有时可以将两种技术结合起来进行运用，这样可以取长补短，从而获得更好的效果。 1 2 3 信息过滤技术的发展现状 1 国外信息过滤技术发展现状n 郇 国外许多机构对信息过滤技术的研究起步早，也取得了丰硕的成果。1 9 8 2 年，d e n n i n g 提出信息过滤( i n f o r m a t i o nf i i t e r i n g ) 的概念。1 9 8 7 年，m a l o n e 和他的同事提出了三 种信息选择模式，即认知模式、经济模式和社会模式，并研制了i n f o r m a t i o nl e n s 系统。 随着因特网的迅速发展，需求的不断增加，在文本过滤以及相关技术方面，取得了长 足的进展，成为信息产业新的增长点，许多文本过滤系统相继开发完成。如s t a n f o r d 大 学开发的s i f t ( s t a n f o r di n f o r m a t i o nf i i t e r i n gt 0 0 1 ) 系统、s t e v e n s 研制的i n f o s c o p e 系统、基于协作过滤的系统t a p e s t r y 和g r o u p l e n s 。也有一些过滤方案试图将内容过滤 和协作过滤相结合，如f a b 系统就是结合了内容过滤和协作过滤两种模式的典型系统， 该系统用于推荐网页。 m a r y l a n d 大学的i a nm s o b o r o f f 和c h a r l e sk n i c h o l a s 介绍了一种结合内容和 协作过滤的技术。该技术使用潜在语义索引l s i ( 1 a t e n ts e m a n t i ci n d e x i n g ) 方法来生 成用户兴趣模型，这些用户兴趣模型是由与用户信息需求相关的文档中的词构成的向量。 该技术中过滤出的文档根据与l s i 中的用户兴趣模型的相似性还进了顺序排列。 p r o b u i i d e r 系统也结合使用了内容过滤和协作过滤技术，也用于推荐网页。 2 国内信息过滤技术发展现状 ( 1 ) 东北大学的姚天顺教授和林鸿飞博士等人进行了中文文本过滤技术的研究，在 他们提出的中文文本过滤模型中，用户需求采用基于实例文本的主题词表示，文本表示采 用向量空间模型，需求与文本的匹配技术采用向量夹角余弦作为相似系数，为了更好的排 列满足阈值要求的文本，在对文本进行索引的时候，他们引进文本结构分析技术，从文本 中获取逻辑层次信息，以期提高文本片断检索时文档与查询的匹配效率。 ( 2 ) 清华大学的李衍达教授和卢增祥博士等人提出潜在语义标引技术进行双语过滤 和最大间距法进行信息过滤的匹配算法，目的是为他们的b o o k m a r k 服务系统提供技术支 持。他们也进行了协作过滤的初步研究，探讨协作过滤的发展方向。 ( 3 ) 清华大学马亮对自适应信息过滤模型进行了改进，采用向量空间模型作为用户 模型，用r o c c h i o 反馈算法作为学习模块更新用户模型。 ( 4 ) 中科院软件研究所的阮彤等提出了基于贝叶斯网络的信息过滤模型b m i f ，描述 了信息过滤的基本结构，提供了6 种节点用于描述影响信息过滤的事件之间的关系，在此 基础上，提供了b m i f 的各种使用方法，将词法知识用b m i f 表示，以及将自动学习与手 动交互结合，将协作过滤与内容过滤结合等。 ( 5 ) 中科院计算所、上海复旦大学都曾经参加了t r e c 评测中的信息过滤子任务，其 中复旦大学夏迎炬和黄萱菁采用一种阈值优化算法的自适应信息过滤系统参加t r e c l o 信 息过滤任务的评测。 ( 6 ) 南开大学陈彩云提出一种基于s v d 和r o u g h 集的信息过滤策略，其目标是通过 奇异值分解得到一个与描述信息特征空间原矩阵最好的近似矩阵，该矩阵不仅在原有矩阵 的基础上大幅度降维，而且其描述的内涵与原矩阵非常近似。 ( 7 ) 北京理工大学战守义提出一种加入时间因素的个性化信息过滤策略。该策略的 核心在于利用一种线性时间函数调整相似度计算，从而协调用户长期和短期的兴趣需求。 第3 页 国防科学技术人学研究生院学位论文 1 3 个性化信息过滤技术在数字电视中的应用 1 3 1 数字电视概述 数字电视n 。3 儿2 引( d t v ，d i g i t a lt e l e v i s i o n ) 是将传统的模拟电视信号经过抽样、量 化和编码转换成二进制数代表的数字信号，然后进行各种功能的处理、传输、记录和存储 的一种全数字处理过程的端到端系统。它能使用户享受数字电视、数据广播和i n t e r n e t 接入等全方位、高质量的信息服务。数字电视和模拟电视相比具有以下优点： 1 收视效果好。由于是传输数据信号，信号在传输过程中不易失真，抗干扰能力强， 因此图像、声音质量大为提高。清晰的图像，高保真的伴音，能更好的满足人们的感官需 求。 2 频率利用率高。频率资源是重要的国家资源，一套模拟电视要占用8 m h z 的地面电 视广播和有线电视频带。采用数字电视后，一个8 m h z 频带内至少可以传输4 套以上数字 节目，频道利用率大为提高。 3 服务业务多。数字电视网可以和计算机网、电信网互联互通，使数字电视具有可扩 展性、分级性和交互性，从而实现用户自由点播节目、网上购物等多种扩展业务和增值业 务。 4 界面操作方便。数字电视具有灵活、友好的人机交互界面，便于普通观众操作。除 显示设备外，容易系统集成而大规模生产，价格低廉，便于推广普及。 目前世界上已基本形成了三种不同的数字广播电视标准啪剖：美国的a t s c ( a d v a n c e d t e l e v i s i o ns y s t e mc o m m i t t e e ，先进电视制式委员会) 、欧洲的d v b ( d i g i t a lv i d e o b r o a d c a s t i n g ，数字视频广播) 和日本的i s d b ( i n t e g r a t e ds e r v i c ed i g i t a l b r o a d c a s t i n g ，综合业务数字广播) 。其中，a t s c 标准和d v b 标准应用得比较广泛，特别 是d v b 标准已经成为世界数字电视的主流标准。我国数字电视系统采用的是d v b 标准，因 此本课题中的方案多对d v b 标准进行介绍和应用。对于a t s c 标准和i s d b 标准不作过多的 涉及。 1 3 2 个性化信息过滤技术在数字电视中应用的必要性 随着数字电视和通信技术的不断发展，用户除了能看到越来越多的电视节目外，还能 享受到电视增值业务带来的众多好处。但是，用户在享受电视资讯服务时，同样受到“信 息迷向 和“信息过载 问题的困扰。我们迫切需要一个信息过滤系统来满足观众日益俱 增的个性化需求，实现数字电视平台上的个性化信息服务。个性化信息过滤技术对于数字 电视的必要性主要基于以下几点原因： 1 电视用户一般都是相对固定的家庭成员，每个人的兴趣爱好在一段时间内是相对稳 定的，便于系统收集用户兴趣趋向，从而筛选出用户关注的信息。 2 数字电视的基本工作方式是广播式的，用户只能从前端不断循环播发过来的数据流 中选择自己关注的信息。 3 电视的使用更普遍、更广泛，用户更加大众化，因此个性化的易用性要求较高，一 个界面友好的个性化电视应该易于使用、易于学会、易于理解、易于排错、易于维护和易 于群体共享。 4 数字电视机顶盒是低成本设备，存储量有限，因此需要利用信息过滤技术将无用的 信息剔除掉。 第4 页 国防科学技术大学研究生院学位论文 1 4 本文的主要工作和内容安排 要在数字电视上实现个性化信息过滤技术，涉及数字电视标准、数字电视机顶盒、信 息过滤技术、数据库、数据结构、关键词匹配、词频统计等多项技术，本文主要对以下几 个方面的技术进行研究和讨论： 1 通过对国际标准m p e g - 2 和基于d v b 的数据广播标准的研究，以及对传输码流t s 结 构的分析，寻找从t s 码流中提取文本数据信息的方法。 2 研究数字机顶盒的硬件结构和软件结构( 以解码芯片s t l 5 5 1 8 方案为例) ，为在机 顶盒上设计并实现d t v 个性化信息过滤系统提供软硬件解决方案。 3 参照目前的信息过滤方法，结合t f s 自身特点，本文提出了t f s 个性化信息过滤算 法，并重点分析了用户兴趣模型的描述以及用户兴趣学习算法。 4 设计d t v 个性化信息过滤系统的总体结构，并对每个功能模块的数据结构和工作流 程进行了详细分析。 5 在v c 环境进行仿真实验，以验证主要算法的正确性。 论文主要内容如下： 第一章“绪论 。介绍了课题研究背景与意义，讨论了个性化信息过滤技术的现状， 并对全文结构和主要工作进行了描述。 第二章“基于d v b 的数据广播标准 。对与课题相关的m p e g 一2 和基于d v b 的数据广播 标准进行了研究和分析，寻找从t s 码流中提取文本数据信息的方法，为后续深入研究d t v 个性化信息过滤技术奠定基础。 第三章“数字电视机顶盒的基本组成和软件结构。机顶盒是d t v 个性化信息过滤系 统的工作平台，因此本章分析了机顶盒的硬件结构和软件结构( 以s t i 5 5 1 8 方案为例) 。 第四章“d t v 个性化信息过滤关键技术 。结合t f s 自身特点，本章提出了t f s 个性 化信息过滤算法，并重点探讨用户兴趣模型的描述以及用户兴趣学习算法。 第五章“d t v 个性化信息过滤系统设计 。设计t f s 系统的总体结构，详细研究重要功 能模块的数据结构与工作流程。 第六章“t f s 实验系统及结果 。在v c 环境下对t f s 进行仿真实验，并对实验结果进 行分析。 第5 页 国防科学技术人学研究生院学位论文 第二章d v b 的数据广播中的数据结构分析 d t v 个性化信息过滤系统的处理对象是t s ( t r a n s p o r ts t r e a m ) 码流中的数据信息， 因此首先要研究与t s 码流相关的知识，为设计过滤系统奠定基础。本章主要任务： 1 分析t s 码流结构，得出数据信息在t s 码流中的存在形式； 2 讨论p s i ( p r o g r a ms p e c i f i ci n f o r m a t i o n ，节目专用信息) 和s i ( s e r v i c e i n f o r m a t i o n ，业务信息) 的作用、结构以及与t s 码流之间的关系。 3 数据广播标准具体规定了如何用t s 码流来传送面向多种应用领域的数据。为了使 接收端能顺利提取出所需要的文本数据信息，重点要分析数据轮播协议和对象轮播协议中 的数据封装、传输和接收端的信息提取。 2 1 基于d v b 的t s 码流结构分析 d v b 标准是基于m p e g - 2 的数据压缩技术、复用技术和传输码流机制而制定的一种开放 标准，为数字电视广播系统提供了一个广义的技术解决方案。d v b 标准的重要部分又可分 为数字卫星电视d v b s ( e t s 3 0 0 4 2 1 ) 、数字有线电视d v b c ( e t s 3 0 0 4 2 9 ) 和数字地面电视 d v b - t ( e t s 3 0 0 7 4 4 ) 等。它们之间的信源解码、传输格式基本上相同，一种传输系统上的 电视节目很容易接入另一种传输系统上传输，这样可以构成一个由卫星到有线再到地面传 输的大系统。通过d v b 标准设计通用的数字电视系统时，各传输媒体间有最大的互通性、 能灵活传输肝e g 一2 音视频数据、广播数据与用户数据，可以实现在不同媒体和不同制造 商之间的互操作性。 2 1 1 传输码流( t s ) 的形成 在m p e g 一2 标准中，信道中传输的码流有两种类型：一种是节目码流( p s ，p r o g r a m s t r e a m ) ，适用于没有误差产生的媒体存储；另一种是传输码流( t s ，t r a n s p o r ts t r e a m ) ， 适用于有信道噪声产生的传输，可以在网络中进行远距离传送。t s 码流在实际中应用广泛， 具有便于多路节目的复用、多个节目可以或者不必具有共同的时间基准等诸多优点。 从总体结构上看，数字电视t s 码流中的数据主要包括有视音频基本流数据构成的基 本码流( e s ) 和节目专用信息( p s i ) 两类数据，其形成过程如图2 1 所示。 视频 数据 音频 数据 磊翮兰。际面r 学鬯 附加数据( p s i 等) 图2 1 传输码流的形成图 菁是蒹卜p s用码流l 1o 篱碧蒹卜t s用码流i t s 码流是以t s 包的格式构成的比特数据流。t s 包的长度固定为1 8 8b y t e ，分为包头 和净荷单元( 音频、视频或数据信息) 。有时会在有用信息中插入一段调整字段，以补充 长度不足1 8 4 字节的不完整t s 码流，并根据需要插入解码时钟( p c r ，p r o g r a mc l o c k 第6 页 国防科学技术火学研究生院学位论文 r e f e r e n c e ) t s 码流阳1 的结构如图2 2 所示。 ，苎逊e 、脱t s 盔浮开唯蒸翮 同步l 差错指l 净荷单元起l 传输优i p i di 加扰i 调整字l 连续计i 数据 字节i示器l 始指示器l 先级ii 控制i 段控制i 数器i 字节 图2 2t s 码流结构示意图 2 1 2 犯e g - 2 中的p s i 信息分析 m p e g 一2t s 不是一个传输复用，而仅仅是一个业务复用。在t s 中，需要一个适当的 p i d 对每个t s 包加标签，以便表示t s 包中的净荷属于哪个原始流。有关p i d ( p a c k e r i d e n t i f i c a t i o n ，包标识符) 信息和各p i d 之间的关系均包含在节目专用信息p s i 中。p s i 信息可以使解码器正确得到码流中所包含节目的数量以及每个节目所包含的视音频或其 它私有数据的p i d 。 p s i 信息主要使用节目关联表( p a t ，p r o g r a ma s s o c i a t et a b l e ) 、节目映射表( p m t ， p r o g r a mm a p t a b l e ) 、条件接收表( c a t ，c o n d i t i o n a la c c e s st a b l e ) 和网络信息表( n i t ， n e t w o r ki n f o r m a t i o nt a b l e ) 等四个表来定义码流的结构，这些表插入到t s 码流中进行 传输。根据m p e g - 2 中对p s i 的伪代码描述，p s i 中的这四个表和t s 码流的基本关系h 如 图2 3 所示。 节目关联表p i d = 0 节目0 1 6 j 网络信息表节目12 2 节目33 37 i 私有网络数据l 节目k 5 5 1r 1r 码流1视频 5 4 节目映射表 码流1视频1 9 码流2音频4 8码流2音频8 1 码流3 音频 4 9 码流3音频 8 2 条件访问表p i d = i 码流k数据 6 6 码流k数据 8 8 i 条件访问数据l 佶揄流 图2 3t s 码流与p s i 关系图 第7 页 国防科学技术人学研究生院学位论文 1 p a t ：p a t 的主要作用是指出t s 码流中包括哪些节目，节目的编号与对应的节目映射 表p m t 的p i d ，并指出网络信息表n i t 所对应的p i d 。p a t 表的p i d 号为o x 0 0 0 0 ，解复用器工作 总是通过寻找p a t 表开始。要保证t s 码流能被正常接收，在t s 码流中应至少有一个完整、 有效的p a t 。 2 p m t ：p m t 给出了组成该节目的原始流( e s ，e l e m e n t a r ys t r e a m ) 与其对应p i d 之间 的一一映射关系。也就是说，p m t 指出相应节目中内容，即节目由哪些码流构成，以及这 些码流的类型( 音频、视频、数据) ，指定节目中各码流所对应的p i d ，以及该节目的节目 时钟参考所对应的p i d 。 3 n i t ：n i t 表由e t s 3 0 0 4 8 6 定义，它符合i s o i e c l 3 8 1 8 1 标准，其内容是私有的，目 的是提供有关物理网络的信息。n i t 可用于提供信道频率、卫星转发器详细情况、调制方 式和业务名称等有关传输码流的物理网络信息。n i t 在m p e g 中是强制性设定并被认为是d v b s i 中的一部分。 4 c a t ：c a t 表提供一个或多个c a 系统，p i d 值固定由o x 0 0 0 1 标识。c a t 表的作用是 提供系统中条件接入的信息，指定c a s 系统与它们相应的权限管理信息( e 删，e n t i t l e m e n t m a n a g e m e n tm e s s a g e s ) 信息之间的联系，指定e m m 的p i d ，以及其它相关的参数。p s i 的 一般结构以及每个表的p i d 取值如图2 4 所示。 图2 4p s i 和s i 的一般结构图 根据i s o i e c1 3 8 1 8 一l 的定义，p s i 信息是以段( s e c t i o n ) 的形式出现在t s 码流。 第8 页 国防科学技术大学研究生院学位论文 一个p s l 分段的长度最大为1 0 2 4 b y t e ，如果p s i 表的长度大于1 0 2 4b y t e ，则可分为多个 段。i s 0 i e c1 3 8 1 8 - 1 为每种p s i 信息的分段都分配了一个长度为8 b i t 的固定标识号 t a b l e - i d ，如表2 - 1 所示。包含p s i 信息的数据包必须周期地包含在每个t s 码流中。p s i 信息必须以一定的频率不断发送，每秒至少2 0 次n ，使新开机的接收机能及时解释t s 码 流的性质。 表2 - 1p s i 的t a b l e _ i d 取值列表 t a b l e i d 值 描述 o x o o节目关联表分段 o x 0 1 条件接收表分段 o x 0 2 节目映射表分段 o x 0 3 o x 3 f 保留 o x 0 4 o x f e用户私用 o x f f禁止 2 1 3d v b 中的s i 信息分析 m p e g - 2 在p s i 中提供了不少有关节目组成和相互关系的信息，从而使得在接收端可以 正确地对t s 码流进行解复用。但是这些信息在实际使用时仍然显得不够，为此在d v b 标 准中采用s i 信息对p s i 信息进一步扩展。p s i 中的信息基本上都是与当前码流相关，即它 们所涉及的内容都与当前码流中的部分信息相关；而s i 信息可以包括不在当前码流中的 一些服务和事件