(计算机应用技术专业论文)基于中文维基百科的文本扩充.pdf_第1页
(计算机应用技术专业论文)基于中文维基百科的文本扩充.pdf_第2页
(计算机应用技术专业论文)基于中文维基百科的文本扩充.pdf_第3页
(计算机应用技术专业论文)基于中文维基百科的文本扩充.pdf_第4页
(计算机应用技术专业论文)基于中文维基百科的文本扩充.pdf_第5页
已阅读5页,还剩50页未读, 继续免费阅读

(计算机应用技术专业论文)基于中文维基百科的文本扩充.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

t e x ten r i c h m e n tba s e do n ch i n e s ew i k i pe d i a at h e s i s s u b m i t t e di np a r t i a lf u l f i l l m e n to f t h er e q u i r e m e n t f o rt h em s cd e g r e ei nc o m p u t e rs c i e n c e b y y a n gl i u p o s t g r a d u a t ep r o g r a m d e p a r t m e n t o fc o m p u t e rs c i e n c e c e n t r a lc h i n an o r m a lu n i v e r s i t y s u p e r v i s o r :h et i n g t i n g a c a d e m i ct i t l e :p r o f e s s o rs i g n a t u r e a p p r o v e d m a y , 2 0 1 1 z 眵 硕士学位论炙 m a s t e r st h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明:所呈交的学位论文,是本人在导师指导下,独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外,本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体,均已在 文中以明确方式标明。本声明的法律结果由本人承担。 储叛嘶 日期:河f 年6 月7 日 学位论文版权使用授权书 学位论文作者完全了解华中师范大学有关保留、使用学位论文的规定,即:研 究生在校攻读学位期间论文工作的知识产权单位属华中师范大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版,允许学位论文被查阅和借阅; 学校可以公布学位论文的全部或部分内容,可以允许采用影印、缩印或其它复制手 段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释:本学位论文属于保密,在年解密后适用本授权书。 非保密论文注释:本学位论文不属于保密范围,适用本授权书。 0, 作者签名:枷彩呷导师签名:何莎夸必午 日期:p 、年b 月1 日 日期:z e1 1 年易月1 日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程 ,同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库”中全文发布,并可按“章程 中的 规定享受相关权益。回壶途塞握变质进盾! 旦圭生;旦二生;旦三生蕉查! 作者签名:帕都冲 日期:扣、年i ,月1 日 夕丫, 日 牟 弘 6午 名扩 师期 硕士学位论文 m a s t e r st h e s i s 摘要 维基百科条目解释页面的内部链接将维基百科中的一个个条目有机联系起来, 使得维基百科中的知识不再是无结构的独立页面,也使得读者无需重新在维基百科 中检索即可方便地浏览与当前条目相关的其他知识。维基百科内部链接所起到的作 用以及志愿者添加内部链接的过程,给了我们一定的启发:普通中文文本也可以添 加类似的指向维基百科页面的超链接,一方面,这些超链接所指向的维基百科条目 页面能够辅助用户理解当前文本,增加阅读的乐趣,另一方面,这些超链接的锚文 本能在一定程度上代表当前文本的主题,可以作为当前文本的关键词,而文本的关 键词在自然语言处理的其他领域有着很重要的作用。 基于中文维基百科的文本扩充是指利用中文维基百科对普通文本进行分析,抽 取出其中的关键词,并进行词义消歧,最终添加指向维基百科条目页面的链接来达 到文本扩充的目的。这一过程中主要的工作和特色是充分利用了中文维基百科来辅 助本文的研究工作,具体体现在如下四个方面: 第一,从维基百科中获得词表,辅助关键词抽取的过程。关键词抽取过程中使 用基于正向最大匹配算法的分词工具来进行分词,其中分词工具的词库来源于三个 方面:中文维基百科的条目列表、中文维基百科条目解释页面内部链接的锚文本列 表、搜狗互联网词库。经过分词之后,再从分词结果中挑选出出现在前两个分词词 库中的词语作为候选关键词。 第二,将维基百科作为一个大型的半标注的语义知识库来辅助选择最终的关键 词和多义词消歧义的过程。维基百科中的内部链接和开放分类信息蕴涵了丰富的语 义知识,我们利用这两个资源来对候选关键词进行评估,以及对歧义词进行消歧。 第三,将维基百科中的条目解释页面作为文本扩充后超链接的目标指向。文本 经过本文的关键词抽取和歧义词消歧义之后,通过添加适当的h t m l 标签使其中的关 键词成为指向维基百科的超链接。 最后,将维基百科作为测试语料。为了验证本文关键词抽取和词义消歧的效果, 我们从维基百科中挑选了一定数目的条目文章作为测试集,通过与人工标注的维基 百科条目文章进行比对发现,本文的关键词抽取和词义消歧均能达到较好的效果。 关键词:维基百科;文本扩充;关键词抽取;词义消歧 a b s t r a c t t h ei n n e rh y p e r l i n k si nw i k i p e d i at e r mp a g e sc o n n e c tt e r m si nw i k i p e d i aw i t he a c h o t h e r , m a k et h ek n o w l e d g en ol o n g e ra l li s o l a t ea n du n s t r u c t u r e dp a g ea n de n a b l er e a d e r s t ob r o w s er e l a t e dk n o w l e d g ec o n v e n i e n t l yb yj u s tc l i c k i n gt h ei n n e rh y p e r l i n k sw i t h o u t s e a r c h i n gw i k i p e d i aa g a i n 1 1 1 er o l ew h i c ht h ei n n e rh y p e r l i n k si nw i k i p e d i ap l a y sa n d t h ep r o c e s so ft h ew i k i p e d i a sc o n t r i b u t o r sa d d i n gt h e l i n k st o g e t h e rg i v eu sg r e a t i n s p i r a t i o n w eb e l i e v et h a t ,a l lo r d i n a r ya n du n s t r u c t u r e dt e x tc a nb ea l s oe n r i c h e db y a n a l y z i n gi t sc o n t e n ta n da d d i n gh y p e r l i n k sw h i c hl i n kt ow i k i p e d i at e r mp a g e s ,o no n e h a n d ,t h ea d d e dh y p e r l i n k sc a nh e l pr e a d e r sb e t t e ru n d e r s t a n dt h ec u r r e n tt e x t , o nt h e o t h e r , t h ea n c h o rt e x to ft h eh y p e r l i n k sc a nr e p r e s e n tt h ec o n t e n to ft h et e x ta n db e r e g a r d e da sk e y w o r d sw h i c hp l a y sa ni m p o r t a n tp a r ti nm a n yn a t u r a ll a n g u a g ep r o c e s s i n g t a s k t e x te n r i c h m e n tb a s e do nc h i n e s ew i k i p e d i ai st oa n a l y z eo r d i n a r yu n s t r u c t u r e d t e x t s ,e x t r a c tk e y w o r d s ,d i s a m b i g u a t et h ep o l y s e m o u sw o r d sa n da d dh y p e r l i n k sw h i c h l i n kt ow i k i p e d i at e r mp a g e sb yu t i l i z i n gt h ec h i n e s ew i k i p e d i a 1 1 1 em a j o rw o r ka n d f e a t u r ei nt h i sp r o c e d u r ea r et h a tw em a k ef u l lu s eo ft h ew i k i p e d i at oa s s i s to u rr e s e a r c h , w h i c hi se l a b o r a t e di nt h ef o l l o w i n gf o u ra s p e c t s : f i r s t l y , a c q u i r ed i c t i o n a r yf r o mw i k i p e d i at oa s s i s tt h ek e y w o r de x t r a c t i o np r o c e s s w es e g m e n tt h et e x t sw i t haf o r w a r dm a x i m u mm a t c ha l g o r i t h m ,t h ed i c t i o n a r yo fw h i c h c o m e sf r o mt h r e es o u r c e s :l i s to ft e r m si nc h i n e s ew i k i p e d i a , l i s to fa n c h o rt e x tw i t h i n t e r mp a g e si nc h i n e s ew i k i p e d i a , s o g o ui n t e r a c tw o r db a s e a f t e rs e g m e n t a t i o n ,w e s e l e c tw o r d sw h i c ha p p e a ri nt h ef o r m e rt w ol i s t st oc o n s i s tt h ec a n d i d a t ek e y w o r ds e t s e c o n d l y ,r e g a r dt h ew i k i p e d i aa sal a r g es e m i - m g g e ds e m a n t i ck n o w l e d g eb a s e t h ei n n e rh y p e r l i n k sw i t h i nt h ew i k i p e d i at e r mp a g e sa n dt h eo p e nc a t e g o r yc o n t a i nal o t o fs e m a n t i ci n f o r m a t i o n w eu t i l i z et h e s et w or e s o u r c e si nw i k i p e d i at oh e l pu ss e l e c tt h e k e y w o r d sa n dd i s a m b i g u a t et h ep o l y s e m o u sw o r d s t h i r d l y , u s et h ew i k i p e d i at e r mp a g e sa st h et a r g e to f t h eh y p e r l i n k sw i t h i nt h et e x t s a f t e rk e y w o r de x t r a c t i o na n dd i s a m b i g u a t i o n , b ya d d i n ga p p r o p r i a t eh t m lt a g s ,t h e k e y w o r d sw i t h i nt h et e x tc a l lb et u r n e di n t oh y p e r l i n k sw h i c hl i n kt ot h ew i k i p e d i at e r m p a g e s f i n a l l y ,u s et h ew i k i p e d i at e r mp a g e sa st e s tc o l l e c t i o n i no r d e rt oe v a l u a t et h e k e y w o r de x t r a c t i o nm e t h o da n dw o r ds e n s ed i s a m b i g u a t i o nm e t h o di nt h i sp a p e r , w eu s e s o m ew i k i p e d i at e r mp a g e s 舔o u rt e s ts e t b yc o m p a r i n gt h er e s u l t sw i t ht h et e r mp a g e s w h i c ha r et a g g e db yw i k i p e d i a sc o n t r i b u t o r s ,w ef i n dt h a tt h em e t h o d si nt h i sp a p e ra r e q u i t ee f f i c i e n t k e y w o r d s :w i k i p e d i a ;t e x t e n r i c h m e n t ;k e y w o r de x t r a c t i o n ;w o r d s e n s e d i s a m b i g u a t i o n 硕士学位论文 m a s t e r st h e s i s 目录 摘要i a b s t r a c t 第一章绪论1 1 1 引言。1 1 2 论文的主要研究内容2 1 3 文本扩充相关研究工作3 1 4 论文的研究意义4 1 5 论文的组织结构4 第二章维基百科及其应用介绍。 6 2 1 维基百科介绍6 2 1 1 维基百科的基本单元6 2 1 2 消歧义页7 2 1 3 重定向页8 2 1 4 内部链接9 2 1 5 开放分类1 1 2 2 基于维基百科的自然语言处理研究概况1 2 2 2 1 基于英文维基百科的自然语言处理基础工作1 2 2 2 2 利用英文维基百科改进文本分类、文本聚类和信息检索1 3 2 2 3 基于中文维基百科的自然语言处理概况1 5 第三章基于中文维基百科的文本扩充的相关技术1 6 3 1 基于中文维基百科的文本扩充概述1 6 3 2 关键词抽取1 7 3 2 1 基于统计信息的关键词抽取方法1 7 3 2 2 基于机器学习的关键词抽取方法。1 8 3 2 3 基于浅层语义分析的关键词抽取方法1 8 3 3 词义消歧1 9 3 3 1 依赖外部词典的基于知识的方法1 9 3 3 2 基于语料库的数据驱动的方法2 0 硕士学位论丈 m a s t e r st h e s i s 3 3 3 基于维基百科的词义消歧方法2 0 第四章基于中文维基百科的关键词抽取。2 l 4 1 候选关键词的获取2 1 4 1 1 分词词表的获取2 2 4 1 2 分词与候选关键词的获取2 4 4 2 关键词的确定2 4 4 2 1 关键度2 5 4 2 2 相关度2 7 第五章基于中文维基百科的词义消歧3 l 5 1 相关度计算详细过程。3 2 5 2 词义消歧方法3 4 第六章系统概述与实验评估3 5 6 1 关键词抽取效果评估3 6 6 2 词义消歧效果评估3 7 第七章总结与展望 7 1 总结4 0 7 2 下一步研究工作4 0 参考文献。 攻读硕士学位期间参加的科研项目与公开发表的学术论文4 7 致谢4 8 第一章绪论 1 1 引言 超链接是万维网的一大重要特性,正是这些超链接将万维网上数以万亿计的网 页【1 】连接起来,使得网络上的信息不再彼此孤立,人们只需通过轻轻点击鼠标,就 能通过超链接进入另外一个或者熟悉或者全新的页面,也就是说,超链接的存在使 得人们浏览网页和探索信息的乐趣倍增。除了充当连接网页的功能之外,超链接还 能反映一个网页在浩瀚的万维网中的重要性:2 0 世纪9 0 年代,谷歌的创始人拉里佩 奇和谢尔盖布林发明了p a g e r a n k 算法,这个算法能根据网页之间的连接关系( 也 就是网页内的超链接信息) 来确定网页的等级,从而在返回用户的搜索结果时根据 该等级对网页进行排序1 2 。这个利用超链接信息对网页进行排序的了不起的算法大 大改建了网络搜索引擎的搜索结果,也促成了一个伟大公司的诞生。 在过去的几年中,人们见证了网络百科全书的发展和壮大,其中维基百科1 是最 具代表性的网络百科全书之一,而超链接就广泛地存在于维基百科的页面中。浏览 过维基百科条目页面的人都会发现,这些页面中往往包含有大量的链接信息,也就 是当用户浏览维基百科中一个条目的解释页面时,能通过该页面中的内部超级链接 进入另外一个条目的解释页面。丰富的内部链接将用户从一个条目引入另一个条 目,从这个意义上说,维基百科可以算作是一个知识的“小世界 ,这些链接的存 在,使得百科全书中的条目有机地联系起来,同时也给浏览网络百科全书的用户带 来了无尽的发掘知识的乐趣。 当然,并非一个条目的解释页面中所有被提到的词语都会以内部链接的形式出 现,根据维基百科的格式手册中的说明,“内部链接的目的,是要让读者容易、方 便地追随求知欲,或对其他条目的探究。一般而言,在读者很有可能会想阅读到 其他主题的地方,读者理应不需再特意找寻有关其他主题的链接。另一方面,不要 设置太多链接。 【3 】简而言之,只有那些能保住用户阅读与理解的条目才能以链接的 形式出现,但同时要避免那些常见、累赘并且没有益处的链接。 如图1 1 所示,该页面是维基百科中的一个条目解释页面,是对条目“脱氧核 糖核酸 的解释,解释正文中包含了能链接到其他条目的内部链接,图中给出了“遗 传 、“蛋白质 这两个内部链接条目的示例。 值得一提的是,网络百科全书的发展和壮大离不开w e b2 0 时代下广大网民的 1 h t t p :w w w w i k i p e d i a , o r g 蛋白葳是一种复杂的有机诧台,j 戮l l f 蒸臆 氯薹酝分子呈线性捧列所形成,】,五j 陵a 1 1 矽:。 相部置基酸殁基的羧基和氟基沮蠢锰簟红霹琵,二:斗 过髓键连接在起白质的氯;目l 盆气罗目:噔j j :o 基酝序列是由对应基园所编码 f 气蕴煮铴苈魏 ,k 除了遗传奄弭所编码的2 噼。标 嘎 ;警、 进行交互作用,进而调节基因的转录。 d f 怛双肢螺旋 图1 1 维基百科条目页面及其内部链接示例 贡献,维基百科中条目的编写,包括条目内部链接,都是志愿者根据维基百科的格 式手册共同编辑和添加的,也就是说条目页面中的内部链接是网民根据条目本身的 主题以及自身的知识经验,并在遵循一定规范的情况下,手动编写的。 1 2 论文的主要研究内容 万维网上网页与网页之间的超链接和维基百科中条目与条目之间的超链接所 发挥的作用给了我们一定的启示: 并非网络百科全书才能拥有这样的内部超链接,普通的文本也可以通过文本分 析技术来对其进行自动扩充,适当地为其添加链接信息,从而提升用户的阅读体验, 例如对于无结构化的文本,我们可以自动发掘其中提到的各种关键词并将其链接到 对应的维基百科条目解释页面,帮助用户更好地理解当前的文本。相对于维基百科 中的链接是人工添加的,该项技术旨在研究利用自然语言处理技术自动对文本进行 分析并添加合适的内部链接。 本论文旨在研究将中文维基百科作为一种大型的半标注的语义知识库来对普 通文本进行自动关键词抽取和词义消歧,并为抽取出来的关键词添加链接,使其指 2 向中文维基百科中的条目页面,从而达到文本扩充的目的。 1 3 文本扩充相关研究工作 文本扩充是指通过在文本中添加指向网页的超链接来达到丰富文本内容的目 的。 过去的几年中,也有不少与本文相关的工作,最早可以从微软和谷歌两家公司 推出的“数据检测 功能说起。 2 0 0 1 年,微软在其o f f i c e 办公软件x p 版中添加了一个叫“智能标记( s m a r t t a g s ) 的数据检测功能,它能自动识别和标记出用户所编辑文档中的特定格式的文 本,并向用户提示下一个可能被激活的功能,例如打开指定网页等。后来微软又将 该功能特性放置到了i e6 浏览器中,旨在将用户引向微软指定的某些网站。 2 0 0 5 年,谷歌发布的谷歌工具栏3 0 ( g o o g l et o o l b a r3 0 ) 给浏览器添加了一个叫 “自动链接”( a u t ol i n k ) 的数据检测功能,使得该工具栏能识别网页中的街道地 址,书籍的国际标准图书编号( i s b n ) ,或者汽车的车牌号码等。如果用户点击工具 栏中所给出的提示按钮,g o o g l e 则会将这些地址、或书籍或车牌变成指向工具栏内 含的网址的链接。 微软和谷歌所提供的功能可以在w e b 页上附加网页制作者并不希望的超链接, 而且这些添加的链接有着非常明显的商业目的,所以这两家公司提供这两个特性自 推出就遭受到了大量的批评。 相对于微软和谷歌这两家公司所做的自动添加链接的工作可能涉及商业利益以 及用户隐私的问题,d r e n n e r 等人【4 】围绕电影领域添加链接的工作要安全许多,他们 实现了一个叫“电影链接 ( m o v i el i n k i n g ) 的系统,该系统能自动识别以电影为讨 论主体的论坛中出现的电影名,并将电影名链接向另外一个包含电影信息的数据库 上。 后来,f a a b o r g 等人【5 】利用人工构建的知识库开发了一个基于目标的浏览器,当 用户浏览特定网页的时候,该浏览器能将用户潜在感兴趣的数据( 如食物、电影等) , 转换成超链接,指向用户的目标网站。他们的工具使用了人工构建的知识库来进行 数据检测,因此他们能识别多种类型的数据。 l i e b e r m a n 等人【6 】的a r i a ( a n n o t a t i o na n dr e t r i e v a li n t e g r a t i o n a g e n t ) 系统在一 定程度上也可以算是文本扩充的相关工作。该系统是一个能辅助用户编辑电子邮件 或网页的软件代理,它利用了一个常识知识库( o p e nm i n d ) 和自然语言处理的技术, 根据用户编辑过程中出现的关键词,在相册数据库中不断实时检测匹配,提示给用 户最相关的照片。 最早利用英文维基百科进行文本扩充的应属m i h a l c e a 等人【7 1 ,他们将英文维基 百科作为一种语料资源来对文本进行关键词自动识别和词义消歧。他们将关键词自 动识别和词义消歧这两项技术集成到一个叫w i k i f y 的系统中,使得系统能自动对一 个文本进行关键词抽取,进行词义消歧,并添加指向维基百科的链接,从而实现对 文本的扩充。 同样的,m i l n e 等人【8 】也将英文维基百科作为训练数据,使用一种机器学习的方 法对文本进行分析,对文本中的主题进行检测、消歧,通过给话题添加链接使其指 向正确的维基百科文章。相比m i h a l c e a 等人【7 l 的方法,m i l n e 等人更进一步利用了 维基百科的链接信息来进行主题检测和词义消歧,并取得了更好的结果。 1 4 论文的研究意义 上述的研究工作均是以英文文本为基础,部分研究者使用到的辅助语料当然也 都是英文的,就目前看来,国内尚且没有相关研究者利用中文维基百科作为一种训 练语料资源来对中文文本进行扩充。因此本文的研究内容是利用中文维基百科进行 文本扩充的一次尝试。 这种文本扩充技术一方面通过添加语义上相关联的知识,丰富了普通文本的信 息,使得读者更加深入地理解当前文本;另一方面,该项技术也可用在教育领域, 通过添加指向维基百科页面的链接,来辅助学习者理解各种作业、学术报告以及其 他教学材料;最后,该项技术也可以用在中文维基百科中条目的编写过程中,辅助 条目撰写过程中内部链接条目的添加。 进一步地,扩充后的文本中的内部链接所指向的维基百科条目也能在一定意义 上标识出了该文本的主题,一方面,这些维基百科条目能有效地标引原始文本,可 以提高人们筛选信息的效率,另一方面,该项工作也可以作为文本分类、聚类等领 域的基础,提高中文信息处理的效率。 1 5 论文的组织结构 本文重点研究了利用中文维基百科进行文本扩充的关键技术。 全文共分为7 章: 第1 章绪论,首先介绍了万维网中超链接的普遍性和重要性,以此引出维基百 科中也普遍存在的内部链接。接着引出本论文的研究内容是受前两者中存在的超链 接及其起到的作用所启发,然后概述了本论文的主要研究内容。最后介绍了与本论 文研究内容相关的研究工作,以及本论文的研究意义。 4 过程,提出其中的两个关键步骤是关键词抽取和词义消歧。然后介绍了国内外关键 词抽取和词义消歧的研究现状。 第4 章基于中文维基百科的关键词抽取,是本论文的核心研究工作之一。本章 详细介绍了利用中文维基百科来对文本进行关键词抽取的过程。 第5 章基于中文维基百科的词义消歧,是文本扩充的第二个阶段。本章详细介 绍了利用中文维基百科来对文本进行词义消歧的方法。 第6 章系统概述与实验评估。本章首先对论文整个研究过程进行了概述,然后 分别对本文关键词抽取和词义消歧的效果进行了评估。 第7 章总结与展望。本章首先总结了本文的研究内容和研究方法。接着根据论 文和实验中存在的问题,提出了下一步的工作展望。 第二章维基百科及其应用介绍 2 1 维基百科介绍 w e b2 0 时代,网民比先前更加能亲身参与到互联网的建设中,“人人都是信息 的贡献者 使得这一时代涌现出了许多划时代意义的互联网新生事物,其中网络百 科全书便是其中最具有代表性的互联网产品之一,它是w e b2 0 时代下群体智慧的 直接产物。 网络百科全书是目前存在于互联网上的一种人人可编辑的在线百科全书,目前 最具有代表性的网络百科全书便是维基百科。根据著名流量统计网站a l e x a c o m 的 数据,2 0 1 0 年1 2 月至2 0 1 1 年2 月,这三个月期间,维基百科的平均访问量位居全 球第八f 9 1 。而国内杂志社南方人物周刊则将维基百科列为“1 0 年1 0 0 个让我们 生活更美好的东西 中的八个网站之一【l 们。现如今,维基百科已经成为众多网民获 取知识、查找研究资料的重要来源之一。 维基百科是一个基于w i k 技术( 一种在网络上开放、可供多人协同创作的超 文本系统【l l 】) 的多语言百科全书协作计划,也是一部用不同语言写成的网络百科全 书。它可以由任何一个能够上网的用户在遵循一定规范的情况下对其页面或条目进 行创建、编辑、修改等。维基百科各种语言的版本之间条目的编写均是独立运行、 互不影响,目前条目数超过2 0 万的维基百科语言版本已经多达1 6 个,其中,截止 到2 0 1 0 年1 2 月1 日,中文维基百科的条目数己达到3 3 5 ,0 0 0 忆j 。 2 1 1 维基百科的基本单元 条目( a n i c l e ) 是维基百科中最基本的单元【1 3 】,也就是传统百科全书中被解释的一 个条目或者一个事件。例如“膦f 核籀核霞 、“蛋白厉 、“遗传 等都是一个条目。 对于每一个条目,维基百科中都有一个相应的页面( p a g e ) 来描述、解释该条目的含 义,该页面中包含有许多指向维基百科以内或维基百科以外页面的超链接,这些链 接是为了给页面中提到的其他条目或事件提供额外的信息。本文第一章中图1 1 所 示的就是条目页面里能连接到维基百科其他条目的内部超链接。 正是这些能连接到维基百科内部其他条目的超链接将维基百科内的所有条目 有机地联系起来,使得条目与条目之间建立了语义上的关联,而不再是孤立的知识 体。例如图1 1 中所示的“履缉孩裙孩霞 这个条目,在它的解释页面中,有“遗 传 和“蛋虏厉 两个条目均是以内部链接的形式出现,根据维基百科格式手册中 的要求,这些链接必定是为了辅助读者理解当前条目而添加的,也就是说这两个条 6 硕士学位论丈 m a s t e r st h e s i s 目与被解释的当前条目在语义上是有一定关联的,遵循着这样的思路,我们可以想 象,维基百科中的所有条目可以构成一张巨大的网络,网络上的每一个节点便是维 基百科中的一个条目,网络上的每一条边,则代表了一个条目可以通过内部超链接 连接到另外一个条目。 在维基百科中,每一个条目的名称都是独一无二的,通过在维基百科的搜索框 中键入条目的名称,则可直接定位至该条目的解释页面。当然,每个条目的名称遵 循一定的格式规范,这些将在后续有关维基百科的其他特色页面( 消歧义页和重定 向页) 的介绍中提到。 另外,条目的解释页中还包含了编辑者给条目添加的开放分类信息,列出了该 条目在维基百科中所属于的类别,每一个条目可以属于多个类别。这些类别本身可 以组成一个有向无环图。 2 1 2 消歧义页 消歧义页是维基百科的一个重要特色,也是它与传统百科全书的显著区别之一。 众所周知,人类的自然语言有着天然的不确定性,一词多义的现象十分普遍, 例如“苹果 一词,就包含有多种含义,在不同的上下文中,它可能指一种水果, 也可能指一个叫苹果的电脑公司;再如提到“笔记本 一词时,可以指一种文具, 也可以指便于携带的笔记本电脑。 为了解决这些一词多义的现象,维基百科专门建立了消歧义页面,每一个消歧 义页的标题由该多义词、空格、随后的括弧和括弧中的“消歧义 三个字构成,页 面中依次列出了该词所有可能的含义( s e n s e ) ,也即罗列出有相同或相近的标题,但 解释内容不同的条目。用户点击相应条目的链接即可进入对应含义的条目页面。 例如,图2 1 是多义词“草架”的消歧义页,图2 2 是多义词“笤起本 的消歧 义页。页面的标题分别是“单架f ,游歧妁 和“箸起本f ,游歧灼”,页面出列出了 多义词所有可能的义项,点击对应义项的超链接即可进入对应条目的解释页面。 在本章的2 1 1 小节中有提到,维基百科中每一个条目解释页面上方的标题都是 独一无二的,也就是说该条目名称是在维基百科中找到它的唯一标识符。那么,对 于一词多义的词语,维基百科是怎样保证这个词语的多个含义的名称都彼此不一样 的呢? 从图2 1 和图2 2 中可以看出,对于多义词每个含义的命名,一般来说有两种方 式,一种是该多义词特定含义下的规范全称,例如,图2 1 中的“事果公司 、“苹 果臼赧气“黉群和图2 2 中的“茗起本耐、“起萝本”均是多义词特定含义 下的规范名称;另一种是在该多义词后空一格,再加上圆括弧,并在括弧中注明该 7 硕士学位论炙 m a s t e r st h e s i s 多义词当前义项的属性,如图2 1 中的“学架( ,店动气“苹果御电动 。当然, 该多义词本身,也是一个标识符,也可以表示一个义项,例如图2 1 中的第一条义 项和图2 2 中的第一条义项,就是以该多义词本身命名的。 图2 1 多义词“苹果”的消歧义页面 图2 2 多义词“笔记本”的消歧义页面 2 1 3 重定向页 当用户在维基百科中查询某个条目的含义时,输入的是词a ,但系统返回的查 询结果却是词b 的解释页面,也就是说系统自动重新定位到了另外一个词b 的解释 页面。这种情况下,维基百科是为词a 建立了一个重定向页,使得当用户搜索词a 时,维基百科会根据词a 重定向页面中提供的信息将用户自动重定向至另外一个页 8 硕士学位论丈 m a s t e r st h e s i s 面。 日常生活中,人们在谈论同一件事物的时候可能会用不同的名字,例如,同一 种植物“马铃薯”,在中国各地,它的称呼又有所不同,东北称“土豆 、华北( 晋 语) 称“山药蛋 、西北西南与两湖称“洋芋 、江浙一带称“洋山芋 ,广东及香 港称之为“薯仔【1 4 1 。当在维基百科中搜索“土豆 、“山药蛋 、“洋芋”、“洋山芋 或者“薯仔”时,系统返回的搜索结果页都是马铃薯的解释页面,而且解释页面上 方会提示该页面重定向自你的搜索词,图2 3 右侧所示即是当用户搜索“薯仔 得 到的结果页,页面中显示“重定向自薯仔 ,图2 3 的左侧是“薯仔 的重定向页, 一般情况下,用户不会看到这个页面,系统会自动跳转到“马铃薯 的解释页面。 马铃薯 两季栽培。地下块茎呈匮、卵、椭圆等形。有芽 唆力? 穗妻。;,曩鬻戆埴稿蠡 暖。皮红、黄、白或紫色地上茎呈棱形,有貔多和,雳建。强蒜噎唾”麓謦 毛。奇数羽状复叶聚伞花序顶生花白。红或缀镪蕃,;磁醯蠡鑫翰一濯良譬;漉 紫色装果球形,绿或紫褐色。种子肾形,黄 曩镌:菇,v ,烹;镶”甄疆 色。多用块茎繁殖性喜冷凉高燥。对壤适应勃缝纛嬲嚣嚣龟* 确觏2 雾飞器 性较强,以疏松肥沃的砂质土为佳在中国备移铲渗僦,w :弋飞纡勤4 。遣 地马铃薯晰g 呼又有不同刺b 称土豆、华北丝魂彩y 磁鬈燃箴刎露露魁 ( 晋语) 称山药蛋、西北西葡与两溺称洋芋、江縻鳗l 甏荔麓霪鬣魏霞缓爨襞雾鞫琵自l 豳 浙带称洋山芋,广东及蓍港称之,g 薯仔荔锈缓缓黝笏翳黻琵警五自荔7 。l 隧 图2 3 维基百科重定向页示例 除了上述例子中的一种事物多种称呼而形成的重定向页外,还有一些其他情况 需要建立重定向页,表2 1 给出了维基百科页面中出现重定向页的几种常见情况。 2 1 4 内部链接 本章的2 1 1 小节中介绍到,一个条目的解释正文中会出现许多指向维基百科 其他条目的内部链接。这些超链接都是用一个独一无二的条目的名称加上代表超链 接表面形式的锚文本所组成。 例如,以下是维基百科中条目“采勒辫捞 【1 5 】解释页面中的一段话:“峻坌 岱 签为壶塞固圭韭于1 1 7 8 年任挂拄县尉时所撰写的笔记。书中记载塞岱亡酉的丝 理、人文、边防、风土、物产等方面的丰富的记载。 该句子在维基百科的编辑状态下实际显示为:“盯龄峁行各刃为盯蔚劫厶侗 去彻于1 1 7 8 年任盯栏栉砌崔彻县尉时所撰写的笔记。书中记载口采朝采 9 硕士学位论文 m a s t e r st i i e s i s 表2 1 维基百科重定向页面原因 重定向原因示例 简称光纤重定向到光导纤维 常见错别字模版重定向到模板 不同的译名铁达尼号重定向到泰坦尼克号 鄂重定向到湖北省 别名、另名、假名、绰号、曾花城重定向到广州市 用名和同义词周树人重定向到鲁迅 新婚旅行重定向到蜜月 b b c 重定向到英国广播公司 缩写重定向 a i d s 重定向到艾滋病 代1 1 e y - 西# t , 3 :治因广西1 】蚋f l 地理学j 8 玛】、l 【入文科学入购】、边鞴、风i 、 物产等方面的丰富的记载 。旬中包含有指向“姆群衍斧、“蒯、“屑7 若非 、 “桂林帝。、翻宋朝”4 、“广西壮族自治区m 、“地理学。4 、“a j c :h - 学 这蝓条黾甑魂 部链接。 通过上面的例子可以看到,维基百科条目解释页面中的内部超链接,是通过在 词语周围放置一对双中括号而形成的。如果文章中某个词语与维基百科中另一个条 目的名称完全相同,那么这个词语就能通过在它的周围放置一对双中括号,将其直 接转换成一个内部超链接( 例如,盯盼办臂幻,) ,但如果文章中的词语与目标条目 的名称并不一致,例如,要将词语“广西 连接到“广西壮族自治区 这个条目, 那么除了添加双中括号外,还需要使用一个竖线“i ”,并在竖线前加上目标条目的 智称( 、僦弧( f 广西壮族自治因广圆1 、) o 正如重定向页存在的原因一样,维基百科中条目的解释页面中提到的词语可能 是其他条目的简称、别名、代号、缩写、同义词等等,这就需要维基百科的志愿者 在添加内部链接的时候能将这些词语指向正确的条目页面。另外,又正如消歧义页 存在的原因一样,条目解释页面中的提到的词语可能是一个多义词,例如,一篇与 水果有关的文章中提到了“苹果 一词,如果有必要将该词转换成内部链接,那么 必然是要将其指向讲述苹果这种水果的条目页面上去,而不是讲述苹果电脑或者苹 果电影的页面。 总之,所添加的内部链接所指向的条目不应与当前条目所谈论的主题相隔太 远,不能给读者造成太大的惊喜,并且,也不应添加过多的内部链接妨碍当前条目 的阅读。 内部链接之所以是维基百科中的个重要特性,是在于这些链接将维基百科中 1 0 硕士学位论丈 m a s t e r st t l e s i s 的条目有机地连接起来,使得条目与条目之间有了一定的关联,使得维基百科中的 页面成为了一个有机的整体。图2 4 显示的维基百科中条目“宋劝群芨”与其他条 目之间的链入链出关系。 图2 4 条目“采朝群接”与其他条目的链入链出关系 2 1 5 开放分类 维基百科中每一个条目都有对应的分类信息,每个条目可以属于一个或多个分 类。这些分类也可以称作志愿者为该条目贴上的标记。例如维基百科中条目“比务盏 苈,它所属于的开放分类为:1 9 5 5 年出生,在毖人物、缴嚣、k b e 勋笱,跨 佛大学荣誉博士、世界之最、美国程亭员、美国企业家、美雷慈善家美国亿万 富豪、华盛顿州入、时代年度风云人物、t e d 演讲人、左擞子、时代百大人物。 除了条目解释页面外,维基百科还为每个类别构建了专门的页面信息,该页面 给出了类别在维基百科在整个分类体系中的位置,并列出了该类的子类,以及所有 属于该类别的维基百科条目。图2 5 是类别i 1 - 算旃z 语言在维基百科中的页面。 硕士学位论交 m a s t e r st h e s i s 分类:计算机谣言 i ;- 鑫:,。激譬,i 穗,罨譬 :罨毫, - 嚣誊毒 i 暑孽擘臻,谟:童重蜒,曾崎,薹麝, 勰孽曹 ;= 薯静冀 冀毽啻蕾薹屯子藉争觏鼍亭 一 ;:薯 穗, 鬓皇毋,粕蔓穗薯蕞癀- 专籍,争零r 鼍辜 :嬲蝴, 拜芝量j l 礓罨售,二语言 霉f 罨墓 l :葛静盏 舞乏象- 玄;c ,考, :避誊,- 嚣t 运毒 x 警静蒜- 冀:参皇妊j 2 畸 :疆警, 曩蕾毒 “ ;:薯者喳i , 爻学笨- 冀释,嚣咛, :颦蕾,露鼍

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论