（计算机软件与理论专业论文）基于xml的文档信息提取技术研究.pdf

娃fx m i ，的文档信息提取技术研究： 摘要 一 摘要 随煮w e b 技术的发展，越来越多的信息呈现在用户面前。对海量的信息资源的处 理成为个非常重要的问题。因此对于网络资源的信息提取技术具有f + 分重要的意义。 然而传统的面向纯文本的信息提取技术主要基于自然语言处理，局限于特定的领域。而 随着网络的爆炸发展，对于( 半) 结构化的文本进行信息提取越来越显示出其重要性。 然而目前构成w e b 网页主体的h t m l 语言出于自身的缺陷制约了对信息资源进行进一 步的开发利用。并且在网络上和平时的日常应用中还涉及到大量其它格式的文档。但由 于应用背景的不同，文档的组织方式和表现方式差别很大。为了对这些文档进行信息处 理和利用，就必须对文档格式进行转换。 因此，本文在综述了基本情况后，分析了采用x m l 文档进行信息提取的优点，提 出了一个基于x m i 。的中间文档格式i e m l ( i n f o r m a t i o ne x t r a c t i o nm a r k u pl a n g u a g e ) ， 包括文档的标题、篇章结构、文本格式信息、链接、表格和一些元数据信息等。详述了 将常用的文档格式如p d f 、w o r d 等转换为x m l 中间文档的方法。在这个x m l 中问文 档的基础上进行了文本内容特征提取的工作。 系统的主要特点如下： 实现多种常用格式文档的内容和结构的分析 定义通用的文档格式描述语言，并基于对文档的形式描述实现对多种文档的识 别、分析 基于中间文档格式提取出文档的标题。 根据具体模板提取出了电子期刊论文的标题、摘要、关键词等信息。 关键词：x m l ，信息提取，p d f ，w o r d ，文档 基于x m l 的文档信息提取技术研究： a b s t r a c t 一一 d o c u m e n ti n f o r m a t i o ne x t r a c t i o nb a s e d o nx m l g e y i b i n g ( c o m p u t e r s o f t w a r ea n dt h e o r y ) d i r e c t e db yb a is h u o w i t ht h ed e v e l o p m e n to ft h ew e b t e c h n i q u e ，m o r ea n dm o r e i n f o r m a t i o nr a p i d l ye x p a n d i nt h ew e b ，i th a sa t t r a c t e dm u c ha t t e n t i o nt od e a lw i t ht h e s en u m e r o u si n f o m m t i o nr e s o u r c e s t h e r e f o r e ，t h ep r o g r e s so f t h ei n f o r m a t i o ne x t r a c t i o nt e c h n o l o g yo ft h ew e br e s o u r c e si so f g r e a ti m p o r t a n c e h o w e v e r , t h e t r a d i t i o n a li et a s k sf r o mu n s t r u c t u r e dt e x t s t y p i c a l l ya r eb a s e d o nn l pa n dr e s t r i c t e di na s p e c i f i cd o m a i n w i t ht h e b o o mo f m ew e b t h e r ei sa l lu r g e n tn e e d f o rs t r u c t u r a li e s y s t e m s t h a te x t r a c t f r o m ( s e m i 一) s t r u c t u r e dd o c u m e n t s b u ta s ab a s i c f o u n d a t i o no ft h ew e b h t m lr e s t r a i nt h e f a r t h e r e x p l o i t a t i o n a n du t i l i z a t i o no ft h e i n f o r m a t i o nr e s o u r c e sd u et oi t so w nl i m i t a t i o n a n dag r e a td e a lo fo t h e rf o r m a td o c u m e n t s a r em e e t i nt h ew e ba n dd a y 3w o r k a n dt h e r ea r eg r e a td i f f e r e n c e sb e t w e e nt h em o d eo f o r g a n i z a t i o na n dr e p r e s e n t a t i o no f d o c u m e n t sa sar e s u l to fd i f f e r e n tb a c k g r o u n d ，d o c u m e n t t r a n s f o r m a t i o na m o n gd i f f e r e n td o c u m e n ts y s t e mi san e c e s s a r ya p p r o a c ht oc o n t e n ts h a r i n g a n dc o o p e r a t i o n a f t e rs u m m a r i z i n gt h ec i r c u m s t a n c e ，t h i sa r t i c l ea n a l y s et h ea d v a n t a g eo fi n f o r m a t i o n e x t r a c t i o nu s i n gx m l ，b r i n gf o r w a r dam i d d l ed o c u m e n tf o r m a tb a s e do nx m l ，w h i c hi s m a i u l yi n c l u d i n gt h et i t l e ，s t r u c t u r e , i n f c ，r m a t i o no ft e x tf o r m a t ，l i n k s ，t a b l e sa n ds o m e m e t a d a t ao fd o c u m e n t s i ti sd e s c r i b e di nd e t a i lt h em e t h o do f t r a n s f o r m a t i o nf r o mf a m i l i a r d o c u m e n tf o r m a t ，s u c ha sp d fa n dw o r d ，t ox m l m i d d l ed o c u m e n tf o r m a t w eh a v e a c c o m p l i s h e ds o m ed o c u m e n tc o n t e n t se x t r a c t i o nt a s k sb a s e do nt h ex m lm i d d l ed o c u m e n t t h em a i nf e a t u r e so f t h e s y s t e m 2 f i ea sf o l l o w s ： r e a l i z i n g t h e a n a l y s i s o fc o n t e n t sa n d s t r u c t u r eo fs e v e r a lf a m i l i a rf o r m a t d o c u m e n t s d e f i n i n gag e n e r a ld o c u m e n tf o r m a td e s c r i p t i o nl a n g u a g e ，r e a l i z i n gi d e n t i f i c a t i o n a n da n a l y s i so f a v a r i e t yo f d o c u m e n t sb a s e do n d e s e r p i t i o no f d o c u m e n tf o r m a t e x t r a c t i n gt h et i t l eo f d o c u m e n t sb a s e d0 nt h em i d d l ed o c u m e n tf o m l a t e x t r a c t i n gt h et i t l e ，a b s t r a c t ，k e y w o r d sa n do t h e ri n f o r m a t i o no f p a p e r si ne l e c t r o n i c j o u r n a lb a s e do ns p e c i f i ct e m p l a t e k e y w o r d s ：x m l ，i n f o r m a t i o ne x t r a c t i o n ，p o f , w o r d ，d o e u m e n t n 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。就我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名：蔫一多、日期：加j 车，闫，目 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复印件，允许 论文被查阅和借阅；并可以公布论文的全部或部分内容，可以采用影印、 缩印或其它复制手段保存该论文。 作者签名：葛一晨导师签名：南罚代日期：切j 辜6 目f d 回 第一章0 l 苦 一一一 11 营景 第一章引言 随着i n t e m e t i n t r a n e t 技术的迅速发展，网络正深刻地改变着我们的生活。而在网上 发腱最为迅猛的w w w ( w o r l d w i d e w e b ) 技术，以其直观、方便的使用方式和丰富的 表达能力，已逐渐成为i n t e m e t 上最重要的信息发布和传输方式。随着信息时代的到来 和发展，w e b 上的信息如雨后舂笋般迅速增长起来。截止到2 0 0 0 年7 月，i n t e r n e t 上的 网页数量就已经超过2 l 亿上同用户超过3 亿，而且网页还在以每天7 0 0 | = 1 的速度增 加【徐泽平2 0 0 1 。这给人们的生活提供了丰富的资源。 然而，w e b 信息的急速膨胀，在给人们提供丰富信息的同时，又使人们在对它们的 有效使用方面面临一个巨大的挑战。方面网上的信息多种多样、丰富多彩，而另一方 l 面用户却找不到他们所需要的信息。因而如何从这信息的海洋中找到符合用户要求的有 用信息，成为一个很重要、迫切的问题。对i n t e m e t 上的数据模型进行研究，以全面、 准确，高效的自动提取用户所需的信息，就显得十分必要。 i n t e r n e t 上的数据源有很多种，比如文本、图象、视频和声频文件等。文本是其中 最为主要的数据源。它们按比特流的方式被传输到客户终端，并被解码为某种语言的词 和句子。虽然图象、视频和音频等数据源中也包含大量的有用信息，但因为涉及图象理 解、语音理解等尚未完全解决的识尉问题，因焉提取难菠较大。 对于这些基于文本内容的网络信息资源的进行有效的开发利用，需要进行信息分 类、检索、过滤、提取等信息处理操作。然而目前i n t e m e t 上的文档神类繁多。由于应 用背景的不同文档的组织方式和表现方式差别很大。不同格式的文档只能用各自专用 的阅读器打开，并且不同格式文档之间格式转换很不方便，转换过程中可能会丢失重要 的格式信息。大部分文档无法跨平台应用，甚至有的文档的不同版本之润都不兼容，因 此在对网络信息资源进行信息处理的过程中，为了实现文档内容的共享和协作，必须进 行文档格式之间的转换。 传统的w e b 文档主要是由h t m l 创建的。创建w e b 网页时所遇到的不足首先来自 h t m i 一的一个特点，即h t m l 是用预先定义的固定数量的标签来创建w e b 网页的外观。 正是这种缺陷，使得各种信息资源缺乏进一步利用的可能，这极大的制约了信息的交换 和发展。 为此，人们把目光转向了x m l 。x m l 做为w 3 c 提出的新的标准，弥补了h t m l 在w e b 上进行数据交换的不足。从x m l 的特点可以看出在对网络信息资源进行分类、 检索、提取、过滤等操作中，适合采用x m l 对文档内容和结构进行描述，并用于数据 中闫科学院硕1 学位论文基于x m l 的立档信息提取技术研究 一 库发布和交换内容。因此我们提出了一种基于x m l 的中间文档格式，并将其它常用的 文件格式转换成x m l 中间文档，以便于进行下一步的信息处理工作。 12 本文安排 第二章概述了信息提取技术的定义、基本思想和工作流程。在第三章卑给出了一种 具体的x m i 中间文档格式，我们称之为i e m l ( i n f o r m a t i o ne x t r a c t i o nm a r k u p l a n g u a g e ) ，以用于文本信息提取。在第四章，我们对用x m l 中问文档格式来表示p d f 文档进行了讨论，对具体的转换过程及一些难点问题进行了分析。第五章对用x m lr t 间文档格式来表示w o r d 文档进行了分析和讨论。第六章讨论了对x m l 中间文档进行 信息提取的一些具体工作。最后对本文进行了总结，并给出了需要进一步研究的问题。 第三章x m l 中间文档格式 一一一 21 问题的提出 第二章信息提取概述 在日益信息化和网络化的当代社会中，如何找到所需要的信息并把有用的信息归 类、过滤或提取出来，一直是一个比较紧迫的实际问题。相应地，各种帮助人们查找、 分类和存储信息的理论、技术、应用工具和系统始终在不断地发展和更新，并保持着旺 盛的活力。近年来，一种叫做信息提取的技术逐渐受到了人们的关注，信息提取的提出 和兴起有着特定的时代背景。2 0 世纪8 0 年代后期，美国政府提出了一个专门的文本处 理研究计划( t i p s t e r 计划) ，其内容包括信息提取、文档检索、文献摘要等，以期提高 政府部门的信息处理速度和质量。其中一个重要的目标是研究和实现文本信息的自动查 找、收集汇总和存储，以期把人们从大量、低效的文本阅读劳动中解放出来。这是对信 息提取概念的首次真正意义上的实践。这一时期也正是自然语言处理理论和应用丌始发 生“范式变化”( p a r a d i g ms h i f t ) 的时侯，即从以c h o m s k y 等为代表的“纯理性范式” 转变为日益强调以对真实文本数据的统计分析和经验知识归纳为主要方法的范式。这种 趋势还同训算机处理能力不断提高和文本数据积累不断增大密切相关。尊重真实文本语 言已成为当前各种信息处理技术( 包括信息提取) 的个基本立场和出发点。 正是在这种信息化浪潮的推动下，西方发达国家都十分重视信息提取技术的研究和 应用，把它列为与信息检索、文档归类和摘要、语音识别等并重的语言工程项目。美国 多所大学、公司和研究机构都对此展开了有计划的、长期系统的研究与应用工作，并且 有专门的机构组织各种评测活动，对当前的研究进展进行评估，例如著名的m u c ( m e s s a g eu n d e r s t a n d i n gc o n f e r e n c e ) 、m e t ( m u l t i l i n g u a le n t i t yt a s k ) 、t r e c ( t e x t r e t r i e v a lc o n f e r e n c e ) 等。嗣本、西欧各国也报道了大量的有关信息提取的研究工作， 并在大规模电予词典的研制、基础资源收集等方面为深入的研究开发打下了基础。由于 信息提取是一门综合的技术，它需要比较深入的语言处理基本理论和技术作为支撑。 尤其值得一提的是m u c c h i n c h o r1 9 9 8 1 。它是美国政府支持的一个专门致力于真实 新闻文本理解的例会，至今已举行7 届。除像一般的学术会议一样交流论文外，它还负 责组织对来自世界各地不同单位的消息理解系统进行系列化的评测活动。其主要的评测 项目是从新闻报道中提取特定的信息，填入某神数据库中。评测语料大都出自各大通讯 社发布的新闻。对每一条消息，由专业人员人工给出标准答案，然后将参测系统的输出 结果与标准答案比较，按定的评价指标给出所有系统的评测结果，其中最主要的指标 是准确率、查全率等。当前，由m u c 定义的概念、模型和技术规范在国际上对整个信 息提取领域起着主导的作用。在第6 次和第7 次m u c 上，还增加了中文系统的评测项 中国科学院硕十学位论文基于x m l 的文档信息提取技术研允 一 目。台湾大学的个系统参加了m u c 一7 ，测试了中文命名实体( 人名、地名、时间、 事件等名词性短语) 的识别，取得了与英文命名实体识别系统相近的性能。当然，这只 是对中文信息提取作了比较初步的工作，并不能真正进行中文信息提取。遵照m u c 规 范的完整的中文信息提取系统目前尚未见报道。 因特网卜的数据源有很多种，比如文本、图象、视频和声频文件等。文本是其中最 为主要的数据源。它们按比特流的方式被传输到客户终端，并被解码为某种语言的阋和 刨子。虽然图琢、视频和声频等数据源中也包含大量的有用信息，但因为涉及图象理解、 语音理解等尚未完全解决的识别问题，因而提取难度较大。 22 信息提取的定义 r 文本) 信息提取的定义：按比较正式的说法，信息提取( i n f o r m a t i o ne x t r a c t i o n ) 是指 从一段文本中抽取指定的一类信息( 例如事件、事实) 、并将其( 形成结构化的数据) 填入一个数据库中供用户查询使用的过程。 例如刘于次重要会议的信息提取，包括会议时间、地点、召集人、会议名( 标题) 等：或者从+ 篇关于自然灾害的新闻报道中摘录出灾害的类型、时间、地点、人员伤f 。、 经济损失、救援情况等：或从产品发布的新闻语料中提取某产品的各种感兴趣的指标， 例如计算机网络交换器的协议类型、交换速率、端口数、软件管理方式等。这些都是文 本信息提取的具体应用。 信息提墩涉及到两个方面的因素： ( 1 ) 用，峙旨定感兴趣的信息特性，以及待分析的文本集( 数据源) ； ( 2 ) 系统过滤文本集并以一定的格式输出匹配的信息( 关系记录) 。 信息提取与相关信息处理技术，如信息检索( i n f o r m a t i o nr e 喇e v a l ) 和自动文摘、文 本理解等存在实质差异： 首先，仅仅依靠信息检索并不能有效地实现信息提取的目标，因为信息检索只是找 出满足一定检索条件( q u e r y ) 的整篇文档或段落，而人们仍然必须阅读所找到的每一个 文档或段落才能获得骶需要的信息。虽然信息检索的模型和技术还一直在不断地发展更 新，但其基本目标始终是文档与检索条件的接近程度。自然地，也可以认为信息提取是 信息检索的更进一步。信息提取不仅查找信息，而且替用户理解信息，并按用户指定的 方式输出信息。可以说，信息提取是“更高级的信息检索”。 其次，信息提取与自动文摘和文本理解也有实质的差别，即信息提取是对一个预先 定义好的信息模板进行填充，是一种高度受限的信息处理过程；而自动文摘和文本理解 则没有预先靓定目标的特性，需要对多种多样的内容进行分析和处理。相对而占，信息 提取技术更注重工程性和可操作性，希望通过使用一定程度的语言处理技术进行相当多 的信息发现和提取工作，以满足某些基本的应用需求。 可以预见，信息提取技术具有非常广泛的应用领域。首先，它可以应用于传统的信 4 第三章x m l 中间文档格式 一 息检索系统之中，在信息检索之后对相关的文本进行指定信息的提取，使单纯的信息查 找过程进一步变成信息匹配( 理解) 过程，从而把传统的信息检索系统变成智能系统， 以用户更满意的方式输出信息。例如，大型联机检索系统、图书情报检索系统、网页搜 寻引擎等，都可以通过引进信息提取技术来进行改进，或把信息提取作为辅助功能供用 户选用。其次，信息提取技术也可以集成到一些数据库应用系统( 例如产品介绍信息、 公司机构名录、分类广告信息、光盘图书报刊阅读等应用系统) 中，作为由非结构化的 文本自动生成结构化数据( 例如x m l 数据) 的前端工具，使用户能够快速方便地提取 某类指定信息。最后，信息提取也可以做成独立的应用系统，直接用于各种文本信息的 处理过程之中，例如在办公文档处理、报刊处理、字处理与校对过程中，由用户指定信 息束源，直接进行信息提取操作。 23 信息提取系统实现的两种方法 对于i e 系统的设计，有两种基本的方法：知识工程方法( k n o w l e d g ee n g i n e e r i n g a p p r o a c h ) 和自动训练方法( a u t o m a t i c t r a i n i n g a p p r o a c h ) 【a p p e l t a n d i s r a e l1 9 9 9 。 知识工程方法的一个显著特点是具有一个i e 系统的“知识工程师”。知识工程师 是指一个熟悉i e 系统和表达该系统规则形式的人，他独立地或与应用领域的专家相协 商，写出了i e 系统组件的规则，以标记或者抽取广受欢迎的信息。典型的知识工程师 具有相关领域文本的一个适度大小的文集( 适度大小是指一个人能够适当的亲自检查) 和他( 她) 自己的直觉。后者是非常重要的。显而易见的是知识工程师的技能在提高整 个系统性能的层次上扮演了一个很重要的角色。 除了需要特定i e 系统的技能和详尽的知识之外，知识工程方法通常还需要做许多 工作。建一个高性能系统通常是个反复的过程，要写一整套规则，系统运行一个训练 文本集，用输出来检查规则哪儿出了问题。然后知识工程师对规则进行适当修改，并反 复这个过程。 自动训练方法则完全不同。这个方法并不需要一个对i e 系统的工作或是怎样设定 规则具有详尽了解的人。仅需要知道足够关于获得文本集和适当地为提取的信息标注文 本的领域和任务的人。典型的自动训练方法中注释将集中于系统处理的一个特定方面。 例如，通过解释一个相关领域的名字的文本集来i i 练个识别命名的系统。 一旦得到了一个适当的训练文集，运行个训练算法，系统就能够获得相应的信息 来分析新的文本。另个获取训练数据的方法是和处理文本过程中的用户进行交互。允 许用户指出系统对于文本的假定是否正确，如果不正确，系统会根据新的信息来修改自 己的规则。 知识工程方法的一些优缺点如下： 优点： 只要具备技能和经验，不难开发出一个高性能的系统 5 中周科学院硕士学些兰二兰三兰竺竺兰堂竺呈坚苎塑竺 。 一一 已经手工建立起最佳性能的系统 缺点： p ! j 1 ：发过程非常繁琐 对于些规范的改变系统很难适应 不一定能够找到需要的专家 自动l i 练方法的一些优缺点如下： 优点： p 直接面对相关领域 不需要定制一个系统专家 “数据驱动”规则确保了对样例的完全覆盖 缺点： 可能无法获取用于训练的数据，或者代价非常昂贵 可能需要大量的训练数据 对于规范的改变可能需要重新标注相当多的训练数据 2 4 信息提取的一般过程 信息提取技术中提取的信息一般包括以下几个方面：命名实体的提取、与模板有关 的内容信息提取、各个实体之间关系的提取和预置事件的信息提取。 命名实体n e ( n a m e de n t i t i e s ) 的提取。它包括组织机构、人名、地名的提取， 时间、日期、钱币和百分数的提取、专有名词的提取、隐含指代名词和集合名 词的提取。命名实体的自动提取能力已近似于人工提取：查准率达到了7 0 以 上，查全率是6 0 。【g r i s h m a n e ta 1 1 9 9 9 】 模板内容信息的提取。用户预先设置模板，自动抽取用户关心的详细内容，反 映时间、地点、人物和发生的事件。 实体关系e r ( e n t i t yr e l a t i o n s ) 信息的提取。比如某些疾病的因果关系。 预置事件信息的提取。比如公司宣布破产、合并的消息、原因等等。事件信息 抽取的查准率目前维持在5 0 6 0 。f g r i s h r n a ne ta 1 1 9 9 9 1 典型的信息提取系统的内部工作过程主要包括了如下几个步骤： 1 ) 用一组信息模式( i n f op a t t e r n s ) 描述感兴趣的信息。信息模式通常可表示为简 单的一个句式，例如： 推出 。系统可以针对某一领域的信息特征预定 义好一系列的信息模式，存放在模式库中供用户选用。 2 ) 对文本进行“适度的”( 浅层、非完整的) 词法、句法及语义分析，并作各种文 本标引。这个过程通常包括识别特定的名词短语( 人名、机构名、产品名、事件、地点 等) 和动词短语( 事件描述、事实陈述) 。这需要使用合适的词典、构词规则库等知识 库的支持。 第三章x m i 。中问义档格式 3 ) 使用模式匹配方法识别指定的信息( 即找出信息模式的各个部分) 。 4 ) 进行上下文关联、指代、引用等分析和推理，确定信息的最终形式。 5 ) 输出结果。例如生成一个关系数据库，或给出自然语句陈述等。 中国科学院硕十学位论文基于x m l 的文档信息提取技术研究 3 1 背景 第三章i e m l 中间文档格式 对网络信息资源丌发利用，需要进行信息的分类、检索、过滤、提取等等操作。然 而目前i n t e m e t 上的文档种类繁多。由于应用背景的不同，文档的组织方式和表现方式 差别很大。不同格式的文档只能用各自专用的阅读器打开，并且不同格式文档之间格式 转换很一i 方便，转换过程中可能会丢失重要的格式信息。大部分文档无法跨平台应用， 甚至有的文档的不同版本之间都不兼容。因此在对网络信息资源进行分类、检索、过滤、 提取的过程中，为了实现文档内容的共享和协作，必须进行文档格式之间的转换。 x m l 是s o m l ( s t a n d a r dg e n e r a l i z e dm a r k u pl a n g u a g e ) 标准通用标记语言针对特定 应用领域的一个子集，或者说是s g m l 的一种受限形式。x m l 是一种高灵活性和扩展 性的标记语言，实现了信息内容与显示豹分开处理，使其成力能广泛应用在w w w 上 的电子文档，x m l 主要着重在如何将文件结构化，以便进行资料的交换。因此，x m l 可以很容易地用来定义新的应用，面h t m l 是不可实现的。由于x m l 是s g m l 的了 集，所以x m l 文件也象其他的s g m l 文件一样可以被解析和验证其有效性。 x m l 便于网络传输、高度结构化、具有良好的数据存储格式和可扩展性，决定了 其卓越的性能表现。x m l 提供一种标准化、灵活、强大的方法，用于在许多不同平台 和应用程序之间交换数据。它作为一种标记语言，有许多特点： 简单。x m l 规范简单明了，由若干规则组成，这些规则可用于创建标记语言，并 能用解析程序处理所有新创建的标记语言。 开放。x m l 是s g m l 在市场上有许多成熟的软件可用来帮助编写、管理等，开放 式标准x m l 的基础是经过验证的标准技术，并针对网络傲最佳化。 高效且可扩充。支持复用文档片断，使用者可以创建和使用自己的标签，也可与他 人共享，可扩展性大，x m l 中，可以定义无限量的一组标签。x m l 提供了一个独立的 运用程序的方法来共享数据，使用d t d ，不同的组中的入就能够使用共同的d t d 来交 换数据。应用程序可以使用这个标准的d t d 来验证收到的数据是否有效，也可以使用 一个d t d 来验证自己的数据。 国际化。标准国际化，且支持世界上大多数文字。这源于依靠它的统一代码的新的 编码标准，这种编码标准支持世界上所有以主要语言编写的混合文本。凡能阅读x m l 语言1 的软件就能顺利处理这些不同语言字符的任意组合。因此，x m l 不仅能在不同的 计算机系统之间交换信息，而且能跨国界和超越不同文化疆界交换信息。 x m l 可用于不同类型系统间的交换格式的传送，简化了从一个应用程序到另一个 第三章x m l 中间义档格式 一 应用程序之间传递信息的工作，即使应用程序设计者不知道其它的产品t 只知道文件格 式规则。x m l 的结构化信息促进了数据的交流。各个产业联盟通常彼此独立地创建自 己的标准，并应用这些标准来规定一定的内容模式，基于约定模式的标记信息爿可以方 便地高效地在彼此之间共享。按照行业的技术术语，结构化信息的模式被称为文件类型 定义( d o c u m e n tt y p ed e f i n i t i o n ，d t d ) 。因为h t m l 缺乏必要的数据格式。于是不能表 达一定的内容模式和语义。而x m l 却能够服务于更为广泛的e d l 应用领域，在象诸如 w e b 网络这样的对电子数据交换有很高要求的地方大显身手。 结合以上x m l 特性考虑，可以看出在对网络信息资源进行分类、检索、提取、过 滤等操作中适合采用x m l 对文档内容和结构进行描述，并用于数据库发布和交换内 容。 因此，我们提出一种基于x m l 的中间文档格式，把它称之为i e m l ( i n f o r m a t i o n e x t r a c t i o nm a r k u p l a n g u a g e ) 。将其它常用的文件格式转换成i e m l 格式的中间文档，以 便于进行下一步的信息处理工作。 32 l e m l 的d t d 为了对得到的中间文档进行下步的信息处理工作，我们考虑如何来设定i e m l 文 档的元素。 首先将文档的内容分为文本和非文本的部分。对于文本定义一个t e x t 元素来表示： 定义了个o b j e c t 元素，来表示文档中的非文本对象： ! 文档中捅入的非文本对象 ! e n t i f y o b j e c t s ( * o u r c e s ；l t a b l e l e m b e d ) 文档的标题代表了文档的主题，最直接的反映了文档的核心内容。网页的标题是 h t m l 网页源代码 和 之间标记的文字。有人曾对2 0 0 0 多网页作了统计吕 津，赵明生2 0 0 0 ：如标题中出现与某个主题相关的关键词，则其主要内容与该主题也 相关的网页占全部网页的9 7 8 ，由此可见标题的重要作用。因此需要对标题进行准 确的提取判断。 文档标题定义如下： ( 一文档标题一 ! e l e m e n t t i t l e ( t e x t s ；fp ) + 1 a t t l i s tt i t l e l e v e lc d a t a # i m p l i e d 对于文档的正文部分，如果直接从纯文本的角度通过自然语言理解的方法来对文档 内容进行把握，从文本中提取深层次的篇章、句法结构，这将是十分困难的。为了更好 d 中国科学院填十学位论文基于x m l 的叉：档信息提取技术研究 的分析文档的内容，进行信息分类、检索和提取等工作，有必要在x m l 中间文档中对 文档的篇章结构进行表示。所以这里采用了s e c t i o n 元素来表示文档的章节。文档由 s e c t i o n 组成，而s e c t i o n 是可以嵌套的。并且每个s e c t i o n 也可以具有自己的标题，以表 示黎个s e c t i o n 的主题和核心内容。 s e c t i o n 元素定义如下： f ，帝仃，直奉块- ) 文档的f 文一般按照行文的习惯都存在着段落。这里对段落的判断是以硬回车为段 落的分界标志。通过对文档段落的判断有利于对文档内容进行信息提取和过滤。例如， 一个网页上经常存在着许多垃圾信息。对于连续的许多长度很短豹段落可以当作垃圾信 息直接过滤掉。 p a r a g r a p h ( 段落) 定义如下： 文档中的文本往往带有字体、颜色以及着重符号等格式信息。例如h t m l 网页中 存在各种超文本标记。这些标记提供了对文档中文本的重要程度的一种标识。通过对文 本格式的判断可以更好的进行文本信息关键词的提取、检索和过滤等。例如文档的标题 一般说来会采用比正文更大的字体，并采用粗体等强调的方式。 对这种带有格式信息的文本定义如下： ! e l e m e n t p a n ( i x b ；) + 标记间的文字，即“旅 游景点”；超链接的目的地址为“l v y o u j i n g d i a n h t m l ”。超链接的文字说明和目 的地址中部含有很重要的信息。 文档中的链接能够反映文档的结构信息。文档之间的链接往往反映了文档问内容的 第三章x m l 中间史档捂式 相关性。对于链接的分析对文档的信息处理过程中起着十分重要的作用 h e n z i n g e r 2 0 0 1 】。如用于网络信息采集、检索结果排序、寻找镜像站点、w e b 页面分类、计算网 页的兴趣空间等。例如w e b 信息检索系统能够利用链接信息来优化相关文献的查询。 采用链接分析能够极大地提高检索结果的相关性，以至于所有的w e b 搜索引擎都宣称 他们使用了超链分析技术。 链接元素的定义如下： ( ! 链接一) ! e l e m e n tl i n ke m p t y ! a i 。i 【。i s ti i n k hr e f c d a t a # r e q u i r e d 哼p en m t o k e n # i m p i t e d c o m m e n tc d a l l a # l m p l i e d ) 文档中有时会存在着b o o k m a r k ( 书签) 。书签是文档特定位置的标记，实现了链接 对文档的交叉引用。 b o o k m a r k 定义如下 ( ! - - 书笠。锚点) ! a t t l i s tb o o k m a r k n a r l l ec d a t a # r e q u i r e d l y p ec d a t a # i m p l i e d 文档中往往还存在着也一些表格。表格通常也说明了文档的一些重要信息。 对表格的定义如下： e l e m e n t t a b l e r o w ( t a b l e c e l ii s o u f c c s ： ) ( ! a 丌l i s r l a b t c e e l | a l i g n ( 1 e f tfc e n t e ri r i g h tl j u s t i f y ) # i m p l i e d 。其中文本的属性包括编码、字体、大小、强调、粗体、斜体、下划线、颜色、背景 色等： 一” 中国科学院硕士学位论文基于x m l 的义档信愚提取技术研究 章节段落的属性包括对齐方式、标记。 ! e n t i t y p s t y l e l c s t y l e ； a l i g n ( t e n l c e n t e o r i g h t l j u s t i f y ) # i m p l i e d m a r kn m t o k e n # i m p l i e d l ) 某些文档例如p d f 可能会在文档中加入一 元素来畦录这些元数据信息，包括标题、作者、 几期： 第二章 x x x x x x x x l 刁7 早 戤敞煳 第：童 x x x x x j 一一 图4 5 用b o o k m a r k 来划分文档的篇章结构 对于段落的判断可以通过一些规则来实现。p d f 文档本身并没有提供段落的信息， 但是可以从文档在视图中显示的角度来大致的划分段落。p d f 中给出了每个所显示的字 符在页面视图中的坐标，因此我们可以通过文本的坐标来判断段落的位置。一般说来在 。个p d f 文档中显示段落有两种方式，种是通过增大段间距，一种是首行缩进。我 1 9 中国科学院硕士学位论文基于x m l 的文档信息提取技术研究 们可以由此制定规则来划分文档的段落。 制定判定段落的规则如下： 1 ) 如果发现两行文本之间的间距大于这一页文档平均的行距，则认为这两行文本 分属两个段落。 2 ) 如果行首文本的坐标大于前一行文本的行首坐标，则认为这一行文本是新段落 的开始。 这晕的g o t o a c t i 。n 可以起到和上面的d e s td i c t i o n a r y 同样的作用。 一要苎竺竺r e c t d i c t i 。n a l y 表示链接的一个区域，也就是说点击这个这个区域就能将 挈苎转向目的地址。因此根据位置坐标读取这个区域里的文本，就可以得到链毒磊羔菜 窆i 二一p d f l ：兰加了c 。n t e n t s 关键字，来表示链接所包含的内容，使得对链接文本内 容的提取更加方便。 一“ p d f 中的元数据有两种方法存储，一种存储在d o c 啪e n ti n f 0 珊a t i 。nd i c t i 。n a r v 中， 第四章用中问文档格式表示p d f 文档 一种是存储在。个m e t a d a t as t r e a m 早。d o c u m e n ti n f o r m a t i o nd i c t i o n a r y 可以通过c a t a l o g 对象来引用。 m e t a d a t as t r e a m 则是p d f1 4 新增的功能，它的内容是用x m l 来表示的元数据。 采用m e t a d a t as t r e a m 的好处是方便那些互联网上对文档进行分类、编目的工具，这样它