（计算机应用技术专业论文）突发事件语料噪声排除与网页去重方法研究.pdf

承诺书 本人郑重声明：所呈交的学位论文， 是在导师指导下独立完成的，学位论文的 知识产权属于山西大学。如果今后以其他 单位名义发表与在读期间学位论文相关的 内容，将承担法律责任。除文中已经注明 引用的文献资料外，本学位论文不包括任 何其他个人或集体已经发表或撰写过的成 果。 学位论文作者r 签章j ：椤永鹱 2 0 0f 年岁月2 9 目 摘要 对于新闻网页来说，所应提取的是网页的主题内容，而网页除了主 题内容之外，还包括大量噪声。通常网页中的噪声和网页的主题内容是 统一在h t m l 所构建的网页结构当中。由于h t m l 语言是一种直观表示的语 言，关于网页内容结构的信息在编辑工作完成之后很难还原出来。但我 们也发现网页中包含有丰富的h t m l 标记，突发事件新闻也有其自身的特 点，因此，我们在前人的研究基础上，挖掘w e b 页面结构特征、充分利用 h t m l 标记与突发事件新闻特征，重点从w e b 页面编者对文本修饰角度出 发，对w e b 页面的标题、正文与发布日期等内容提取进行了尝试性研究。 网页检索结果中，用户经常会得到内容相同的冗余页面，其中大量是 由于网站之间的转载造成。它们不但浪费了存储资源，而且给信息检索或 其它文本处理带来诸多不便。本文依据突发事件时间性( 易碎性) ，按 发布日期分“群”，在噪声排除的基础上，从特定区域抽取信息进行网 页去重，从而很大程度地缩小了计算时间，提高了去重准确性。 在经典t f i d f ( t e r mf r e q u e n c yi n v e r s ed o c u e n tf r e q u e n c y ) 术足重 计算方法的基础上，通过分析事件新闻网页的重复特点，以及不同的特 征单元对于文本表征作用的不同，我们采用字、词混合特征来有效地表 征文本并对权重计算作了相应的分析和改进。 本文的主要贡献在于： 1 充分利用新闻网页结构与其内容分布特征，通过分析新闻特 定格式与用词特点提出了基于网页分割的噪声排除与主题内容提取 方法。 2 根据新闻事件的易碎性，提出按发布日期分“群”，并在此基 础上进行网页去重。 3 通过对突发事件新闻事件网页重复的特点和实例用词的分 析，提出改进的t f i d f 权重计算方法。 本研究充分利用网页的结构信息和特定领域文本特点有效地提 取了新闻要素，封闭测试和开放测试都有较高的准确率。网页去重的 准确率在9 8 以上，召回率也在9 1 以上。 关键词：突发事件；新闻语料库：排除噪声；网页去重；权值计算 a b s t r a c t t bn e w sw e b p a g e ，w h a ts h o u l db ee x t r a c t e di si t sm e m e ，b u tm e r ei sa l a 唱ea m o u n to fn o i s e sb e s i d e st 1 1 et o p i cc o n t e n t u s u a l l ym e ya r eu n i f i e di n t h es t m c m r ec o n s n l l c t e db yh t m lh t m li sa1 a n g u a g eo f v i s u a le x p r e s s i o n a n di tw o u l db ev e r yd i 伍c u l tf oe x t r a c tm ei n f b 矾a t i o na b o u tt 1 1 es 缸u c t u r eo f w e b p a g ea 盘e rm ee d i t i o nf i n i s h e d a tt h es a m et i m ew ef i n d _ 1 1 e r ei s a b u n d a l l th t m lm a r k si nt 1 1 ew e b p a g ea n dt h e r ei si t so w nc h a r a c f e r i s t i co f a c c i d e n t i a ln e w s ，s ow em i n ew e bp a g es t r u c t u r e ，如1 1 yu t i l i z eh t m lm a r k o nt h eb a s i so ff o r e f a t h e r l sr e s e a r c h w em a k ear e s e a r c ho ne x t r a c t i n go f w e b p a g et i f l e ，t e x ta n dd a f ei s s u e da n ds 00 n 疔o mt h ee d i t o r sa t t i m d e b e c a u s eo ft h er e p r i n t i n gb e t w e e nw e b s i t e s ， u s e r so r e n g e c f h e r e d u n d a n tp a g ew i ms a m ec o n t e n ti nm er e s u l to fw e b p a g es e a r c h i n g i th a s n o to n l yw a s t e dt h e s t o r i n gr e s o u r c e s ，b u ta l s ob r o u g h taf e a td e a l o f i n c o n v e n i e n c et oi n f o 珊a t i o nr e t r i e v a lo ro m e rt e x t p r o c e s s i n g t h em a i n c o n t e n to ft h i st e x ti st h a td i v i d i n g 乒o u pa c c o r d i n gt od a t ai s s u e do nt h eb a s i s o fa c c i d e n t a le v e n t 矗a g i l i t ya n dt h a td e l e t i n gc h ed u p l i c a t e dw e b p a g e sb y e x 仃a c t i n gi n f b m a t i o nf o ms p e c i f i ca r e ao nt h eb a s i so f n o i s er e d u c t i o n 0 1 1 t h eb a s i so fc l a s s i c a lt f i d f ( t e mf r e q u e n c yi n v e r s ed o c u m e n t f r e q u e n c y ) m e t h o d ，w ea d 叩tm er n i x e dc h a r a c t e r i s t i cw o r dt oe x p r e s st e x t e 船c t i v e l ya n dm a l ( eai m p r o v m e n to nw e i 曲tc a l c u i a t i n gt h r o u 曲a 1 1 a l y s i n g t h ec h a r a c t e r i s t i co fd u p l i c a t e dn e w sw e b p a g e sa n dd i 盛r e n t 缸n c t i o no f d i 矗爸r e n tc h a r a c t e r i s t i cu n i tt ot h et e x t t h em a i nc o t r i b u t i o no fm i st e x tl i e si n 1 p r o p o s et l em e m o d o fn o i s er e d u c t i o na n dt h em e m e se x t r a c t i o nb y f u l l yu t i l i z i n g n e w sp a g e s t r u c t u r e ，t h ed i s t r i b u t e d c h a r a c t e r i s t i co ft h e c o n t e n ta n da n a l y s i n gt h ef o m l a to fn e w s 2 p r o p o s et o d i v i d eg r o u pa c c o r d i n gt od a t ei s s u e da 1 1 dd e l e t e t h e d u p l i c a t e dw e b p a g e s 3 t o i m p m v et d i d fa l g o r i g h m s ，p r 叩o s e t h e w e i g h tc a l c u l a t i n g a l g o r i t h mb ya c c i d e n t a ln e w sc h a r a c t e r i s t i ca n s l y s i so fd u p h c a t i n ga n dw o r d 1 1 1 i sr e s e a r c hm l l yu t i l i z e ss t r u c t u r ei n f o m a t i o na n ds p e c i f i cf i e l dt e x t c h a r a c t e r i s t i co f t h ew e b p a g et oe x t r a c tt h ee l e m e n to fn e w se f ! 【 e c t i v e ly t h e r e i st h eh i g h e rr a t ea c c u r a l yb o mmc l o s et e s ta 1 1 do p e nt e s t t h ep r e c i s i o nr a t e o fd u p l i c a t e dw e bp a g e sr e m o v a lr e a c h e s9 8 ，a r l dt 1 1 er e c a l lr a t er e a c h e s 9 l 珏y w o r d s ：a c c i d e n t a le v e n t ；n e w sc o 叩u s ；n o i s er e d u c t i o n ；d u p i i c a t e d w e b p a g e sr e m o v a i ；w e i g h tc a l c u i a t i n g 突发事件语料噪声排除与网页去重方法研究 引言 随着信息技术的高速发展和因特网的普及，w e b 已成为最重要的新闻媒体之一。 同时人们对个性化新闻服务的需求也越来越多，越来越广泛。例如，人们每天都关 心国内外发生的重大事件：政治的、经济的、社会的等等。每个人关心的焦点各不 相同。人们普遍关心“煤矿爆炸”、“火灾”、“地震”以及“翻车”、“沉船”、“飞机 坠毁”等交通事故的新闻。“9 1 1 ”之后的“炭疽事件”，特别是“s a r s ”、“高致病性 禽流感”肆虐以来，生物安全( b s ) 更成为国家安全的重要内容。2 0 0 4 年2 月1 1 日 国务院通过了关于改进和加强国内突发事件新闻发布工作的实施意见。为了准确 地、全面地反映国内外各种突发事件的发生情况和发展趋势，需要对其进行有效地 分类、索引、加工、处理。本文参考传统文本处理技术，结合网页结构特征和特定 领域文本特征探讨突发事件新闻语料库组织与加工处理过程中的相关方法和技术。 中文文本信息处理可粗略地理解为三部曲【l l ：数据准备、数据处理，以及结果的 解释评估：数据准备又可分为三个子步骤：数据选取( d a t as e l e c t i o n ) 、数据预 处理( d a t ap r e p r o c e s s i n g ) 和数据变换( d a t at r a n s f o r m a t i o n ) 。数据选取的目 的是确定发现任务的操作对象，即目标数据( t a r g e td a t a ) ，它是根据用户的需要 从原始数据库中抽取的一组相关数据。数据预处理一般可能包括消除噪声、推导计 算缺值数据、消除重复记录以及完成数据类型转换( 如把连续值数据转换为离散型 的数据，以便于符号归纳，或是把离散型的转换为连续值型的，以便于神经网络归 纳) 等。数据变换的主要目的是消减数据维数或降维( r e d u c t i o n ) ，即从初始特征 中找出真正有用的特征咀减少数据处理时要考虑的特征或变量个数。 对于上述问题中的消除噪声和消除重复记录( 去重) ，我们以突发事件新闻网 页为处理数据源进行了探讨性研究。本研究也是国家自然科学基金项目( 6 0 4 7 5 0 2 2 ) ： w e b 突发事件新闻内容过滤中的若干关键技术研究的研究内容之。 一 些堕；兰；! 堕旦翌：塑! 壅兰兰坚堡兰 第一章研究的意义与国内外动态 1 1 研究的意义 目前，绝大多数网页是用h t m l 表示的。h t m l 表示的网页具备一定的结构，但 它测重于外观和版面安排问题，而不是结构化和模型化数据。因此只能把它们称为 半结构化的数据吼网页中除了反映网页主题内容的部分外，还有很多如“导航条”、 版权信息”，甚至“广告”等与网页主题内容无关的部分( 噪声) 。如果不能有 效滤除这些噪声，他们会误导文本的检索、分类等处理，影响其处理效果，通常网 页中的噪声和网页的主题内容统一在h t m l 所构建的网页结构当中。由于h t m l 语言 恚一种直观表示的语言，关于网页内容结构的信启、在编辑工作完成之后很难还原出 来。而网页结构又是受多个因素影响的，c h e n 等在文献：3 中指出，在编辑一个网 站聍，编辑者通常会首先构思反映整个网站主题的信息结构( i n f o r n l a t i o ns t r u c t u r e ) ， 然后把他们的想法用h t m l 语言变成相互链接的网页，最后，把一些额外的信扈、如导 航条、广告以及一些版权信息、加入到网页中以美化页面。但网页处理与文本处理的 一个根本的区别在于两者处理对象的不同。网页自身的特点和网页之问的关系为网 页处理提供了一些线索，通迁对网页结构进行分析可以有效的提高网页处理性能 4 j 。 为了解决w w w 上海量的、分布式的、半结构化的信息的检索，产生了一些著名 的搜索引擎，如：y a h o o 、9 0 0 9 l e 等，使网上的信息检索有“掘”可依。但是现在的 搜索引擎技术并不完善，存在一些亟待解决的问题，集中表现在检索的准确率和召 囹率较低，且存在大量的冗余网页。冗余网页主要来自网站间转载，它不但加重了用 户检索和阅读的负担，而且浪费了大量的存储资源降低了索引效率，同时也是影响准 确率和召回率的一个主要因素。因此，把这些冗余的网页去掉将是一项具有实际意义 的工作。有的搜索引擎已经对冗余网页做了去重处理，但效果并不理想。本文以去除 内容重复的冗余网页为目标提出了基于发布日期的网页去重方法。 1 2 国内外研究的动态 目前已经研制了许多个性化服务系统，但已存在的个性化服务系统，大部分还 只是研究原型，仅有个别系统开始推向了市场，比如g r o u d l e n s 和r e s e a r c h i n d e x ( h t t p ：w w w r e s e a r c h i n d e x c o l l l ) 】等。面对日益增长的w e b 信息，必须针对不同用 户提供不同的服务才能真正解决个性化服务这个问题。例如，g r o u p l e n s 应用的领域 是u s e n e t ；s i f t ( 8 】应用的领域是网络新闻；c i t e s e e r 应用的领域是科技文档；f i l e f l y 突发事件语料噪声排除与网页去重方法研究 应用的领域是音乐和电影；a i i l a z o n c o m e b a y 应用的领域是电子商务。目前，个性化 服务系统所处理的资源几乎都属于文本范畴f i r e f l y 面向音乐和电影，其实是通过 用户评价喜欢的音乐家和电影来进行协作过滤的，所以仍然属于文本处理。 在国内，个性化服务的研究虽然起步较晚但研究进展很快。东北大学的姚天 顺教授和林鸿飞博士等人进行了中文文本过滤技术的研究( 使用新闻资料作为其实 验语料库) 。为了更好地排列满足阈值要求的文本，在对文本进行索引时，他们引 进文本结构分析技术，从文本中获取逻辑层次信息，以期提高文本片断检索时文档 与查询的匹配效率 9 1 。清华大学李衍达教授和路增祥等人曾提出用潜在语义标引技术 进行双语过滤( 使用新闻资料作为其实验语料库) 和最大间距法进行过滤信息的匹 配算法，目的是为他们的b o o k m a r k 服务系统提供技术支持。大连理工大学林鸿飞、 杨志豪等提出了基于内容和合作模式的信息推荐机制，其基本思想是根据用户所关 心的文本内容将用户划分为不同的内容类，同时按照用户的访问模式以及用户评注 的一致性，将用户分成不同的合作类。综合考虑其内容类和合作类对于用户评注的 影响，给出信息推荐机制，将相关文本推送给用户l 。清华大学孙茂松、中科院的 史忠植、白硕、李京等、上海交大王永成等领导的研究组也都在该领域进行了卓有 成效的研究。 国内外有许多人通过分析网页的上下文特征，如锚文字等来抽取网页的主要内 容。g l o v e r 等在文献 1 2 中分析了指向目标网页的网页中的文字对分类的影响，并 证实了合理利用锚文字可以提高分类效果。c l l a h a b a n i 在文献 1 3 中分析了超链接在 分类中的作用并指出简单的利用目标网页的邻居中的文本不但对分类无益，反而会 降低分类效果。 一些工作尝试通过分析网页结构、过滤网页中的噪音。y i 等在文献 4 中引入了 一种树结构，取名为“风格树”( s t y l ct r e e ) 。他们通过“风格树”来获取特定网 站上的网页的表示风格并据此抽取网页的主题内容。其实验结果表明“风格树”在 分类和聚类上都可以取得明显的进步；也有人利用摘要方法从网页中抽取出反映网 页主题的内容、滤除噪声【1 “。 当前提出的网页去重方法不是很多代表性方法主要有：基于聚类的方法雌嘲、 排除相同u r l 方法【1 7 】、基于特征码的方法【l g 】。 1 3 本文的组织 从突发事件新闻的w e b 页面结构特征和突发事件新闻特点出发，围绕新闻 山西大学2 0 0 5 届硕i 研究生学位论文 噪声排除与要素抽取、阿页去重作了尝试性的研究，组织如下： 第章对研究的目的和这研究领域的相关国内外动态进行了概括，主要 涉及个性化服务研究动态、网页结构分析方法、排噪以及排重等。 第二章阐述新闻要素的抽取方法，包括对新闻标题、新闻主题内容与发布 同鞭的抽取，以及标题、正文抽取结果评价。 第三章阐述网页去重方法，根据网页重复特点对权重计算方法进行了改 进。 第四章试验模型设计与试验结果，我们对去噪和去重算法中的待定参数， 以及各自的准确率和召回率设计了试验系统来进行验证。试验结果证明，去重 和去噪算法都有很好的效果。 第五章本文的结论与展望。 突发事件语料噪声排除与网页去重方法研究 第二章突发事件新闻网页要素提取 w e b 页面的文本信息处理与其它普通文本处理有着一定的相似性，但又有其自身 特点。我们在前人的研究基础上，挖掘w e b 页面结构特征与突发事件新闻特征，重 点从w e b 页面编者对文本修饰角度出发，充分利用h t m l 标记( t a g ) 对w e b 页面的 内容提取进行了尝试性研究。本章主要讨论突发事件新闻的标题、正文与发布日期 提取过程中的方法。 2 1 突发事件新闻特点分析与表示方法 2 1 1w e b 页面特点 w e b 页面与普通文本相似，但有其自身特点，这为网页分析提供了一些线索。 目前，绝大多数网页是用h t m l 表示的。 r r m l 表示的网页具备一定的结构，但其侧 重于外观和版面安排问题，是面向显示的，而不是结构化和模型化数据。因此只能 把它们称为半结构化的数据【2 】。它用规范的h t i i l l 标记( t a g ) 定义页面的众多数据 元素( 如标题t i t l e ) ，或定义页面文本如何显示。这些标记的理解工作由浏览 器完成，而信息的理解工作由用户自己完成。用户可通过显示的标题、副标题 等显示信息了解文本的大致内容。因此利用这些w e b 标记，可以定位文本的中心 元素，如文章标题、正文、日期等。为选择性抽取网页内容创造了条件。然而 网页包含了丰富的信息，除了反映网页主题内容的部分外，还有很多如“导航条”、 “版权信息”，甚至“广告”等与网页主题内容无关的内容，这些内容的存在必将 影响网页的分类、检索等处理的效果。 2 1 2 网络新闻的特征 在“新闻”这一新闻学的基本概念上，我国学者之间达成的共识度并不高。比 如，郑保卫在新闻学导论中认为，新闻的基本特征有四项，即“真实性”、“新 鲜性”、“及时性”和“公开性”【19 】：童兵在理论新闻传播学导论中认为新闻 的基本特征有四项：“陈述事实”、“具有新意”、“报道及时”和“公开传播”【2 0 】； 在新闻学小词典里解释“新闻”词条时，陈力丹认为【2 1 1 ：“新闻的特点是：一、 本源为事实；二、时间性：三、公开性。”虽然其表述方法不同，但可以看到，它 们基本都体现了真实性、时间性和公开性这三个特征。 新闻网页是利用w w w 技术，采用网页的方式进行新闻发布的网络新闻业务，是 传统新闻业务的一种延伸。但它有着自己的特征，就是更强的时间观、多媒体手段、 多方式互动等。 5 一 些堕奎兰! 塑! 旦堡圭! ! 茎竺兰堡笙兰 新闻的分类方法不一，例如在传统的新闻分类中，按题材分，可分为时政新闻、 经济新闻、社会新闻等：按性质分，可分为事件性新闻与非事件性新闻，事件新闻 又可分为预知事件、突发事件。还有按体裁和地域的分类方法等等2 2 1 。除此之外， 硬新闻( h a r dn e w s ) 和软新闻( s o f tn e w s ) 是谣方新闻界新闻业务中的两个基本 概念。 硬新闻相当于通常所说的事件消息，主要是报道国内夕 的重大事件，诸如政治 事件、军事冲突、乡 事活动、经济动态、自然灾害、各种事故等等。这类事件有的 是突发性的，有的是事物发展进程的飞跃阶段具有明显的突变特征。由于它报道 即时发生的事件，也被称为“易碎新闻”【2 3 】。 事件性新闻有着明显发生、发展、终结过程，持续时间性明确。而突发事件更 具有突发性、偶发性和不可预料性。 因此，我们所研究的突发事件新闻除具有上述新闻基本特点外，更强调其突发 性、易辞性 n e w s t i t l e 通过对突发事件7 4 l 篇新闻语料的分析，各标记在定位新闻标题中的作用 见表2 一l 和表2 2 ： 表2 1 标题特殊标记统计表 标记类型含此标记的此标记标识标举例 文本数题文本数 13 21 3 1 | ( h i 8 48 1 ： ： ( ，h 3 ： 表2 2 标题其它标记统计表 标记类型标题含此标记数举例 1 1 6 c l a s s 3 5 3 c l “s i t l e ；c l a s s - 标题； c l a s s = n e w s j i t l e 位置居中 4 5 0( c e n t e r ： ( c e n t e r ) a l i 印= c e n t e r ；a l i g i i q n i d d l e m a x s i z e 9 l f o n t - s i z e ：1 8 p x ； s i z c = 5 ； f o n r s i z e ：1 0 ，8 p t 强调标记( b ) 1 5 7 吲b i g ： q b ： q t r o n g 砒扛o n g 9 山西大学2 0 0 5 届硕士研究生学位论文 从表2 一l 和表2 2 的统计结果可以看到，标记 和 和 的 特殊性我们将此类标记单独处理，这对于提高准确率和运行速度都有一定的意 凡。 我们分别以 、 和 为抽取单元( 以下统称为 ) 进行抽取，因 此需要先进行预处理，将待处理页面化分为以 为单位的处理单元组合，处 理过程如图2 一l 所示： ( 1 f t 叫t r u r 图2 1 页面预处理示意图 】0 紧|8 宪：_ 窆事件语料峨声排除与| c j 4 页去重方法研究 设一篇新闻描述为f ( ( f ，p ，) ，( 己，p ：) ，( f ，p 。) ) 其中f ( 1 = 1 ，2 ，m ) 是由 和 对组成的处理单元，p ( i = 1 ，2 ， m ) 是f 在原h t m l 新闻文本中的位置。 对于每一个f 。，我们对其进行记分，从而得到分值表w ( w 。，w ：，w ，) 取w 。( j - l ，2 ，m ) = m a x 0 ，则f j 为包含新闻 标题的 单元。去除h t m l 标记即得新闻标题( n e w s t l t l e ) ，取n e w s t i t l e 在f j 中位置，并结合p ，可定位n e w s t l t l e 。 处理的基本算法： s t e p l ：设q ( q h r ，q c l a s s ，q c e n t e r ，q m 。，s ，：e ，q b ，q t l t l e ) 为选定的记分元素， 如上所述我们选取6 组幅关标记( t a g ) 对q 作部分预处理，q m 。s 。= m a x ( 字号) ，q t 】t l e = t i t l e 页面预处理，网页表示为f ( ( f r o n l t a g s e t l ，p t ) ，( f r o n t t a g s e t 。，p 。) ) 统计分值 w h j l e ( i n e w s t i t l e p o s 的所有进行处理，对于其中的每一个 ( i _ l ，2 ， m ) ，去除h t m l 标记，我们采用山大分词2 0 0 0 进行分词，取前p 个( p 为待定参数) 词表示，并进行词频统计，则 表示为： 产 溉i ，娇z ) ，慨2 ，疣) ，慨。，尻) ) 其中风( j 1 ，2 ，n ) 为第j 个特征项，历为特征项弦，j 的词频。 对于尼日计算其相应的权重加 若历 o 则加u = l 否则加i = o 将石简记为溉f ， 2 ，扣。) ，朋 o ，l ( j = 1 ，2 ，n ) 对于人工生成的新闻篇头样本，利用山大分词2 0 0 0 进行分词，统计词频，则 n e w s b e g i n s 样本表示为： t = ( ( f l ，。触g i ) ，( 如，肛9 2 ) ，( “，细。) ) 突发事件语科噪声排除与网页去重方法研究 其中 ( i _ l ，2 ，n ) 为第i 个特征项，加虮为特征项f i 的词频。 同样的，通过权重计算，记n e w s b e g i n s 样本为： t = w l ，w 2 ，w 。) ，w j o ，l ( i _ 1 ，2 ，n ) 其中是n e w s b e g i n s 样本中第i 个特征项的权重。 计算，与7 1 的用词相似度s i m ( ：，于) 。i m ( z ，亍) _ 掀毗( 2 2 ) = l 取用词相似度最大的t a b l e u n i t e 即为抽取出的新闻主