（计算机应用技术专业论文）基于aie的半自动web页标注关键技术研究.pdf

河海大学硕士学位论文 摘要 实现语义w 曲构想的关键是创建本体，并使用本体词汇对w 曲内容进行语义 标注。在标注工具中集成信息提取( i e ) 技术，可大大提高语义标注工具的自动 化程度、减轻用户负担而自适应i e 系统( a i e ) 使用机器学习，能自动从训练 数据中学习信息提取的规则，以适用于新的应用和领域，这正是语义w 曲环境的 需求。 本文分析了现有的集成a 掘的语义标注工具的技术特性，指出它们的两个主 要不足之处：不支持w 3 c 的标准w 曲本体语言o w l 和使用的i e 功能较为简单。 据此，本文首先提出了一个基于a j e 的w 曲页半自动标注工具的框架，它支持 o w l l i t e 本体语言，借助自适应信息提取系统a m i l c a r e 提供的自动信息提取功能， 实现w 曲页的半自动语义标注。针对现有语义标注工具的以上两个缺点，在本文 的标注工具的框架申，选择了两个关键技术进行深 研究：基于a 戚l c a r e 用主 动学习方法半自动提取待标注事实的技术；利用提取的待标注事实产生o w i 。 l 沁语义元数据的技术本文通过对加n i l c a 托及其应用编程接口( a p i ) 的深入研 究，提出了在半自动标注工具中实现基于a m i l c a r e 的主动学习、半自动提取待标 注事实的方法和流程，给出了相应的设计与实现技术；在对o w ll i t e 语言的构造 子及约束进行分析总结的基础上，描述了w 曲页语义元数据应有的结构以及使用 提取的待标注事实生成语义元数据的设计思想与实现技术。案例研究和实验表明： 本文提出的技术方案是合理和可行的。 关键词：语义标注；自适应信息提取；本体；o w l ；语义网 河海大学硕士学位论文 摘要 a b s t r a c t t h ek e yt or e a l i z et l 地s e ma _ d cw 曲i st oc r e a t eo n t o l o 百e sa n ds e m a d t i c a l l y m 缸k l l p ( i 矗，卸n o t a t e ) w 曲c o m e n tmo n ：t o l o g yt e r n 抟i n t e 罂地gi n f o m l a 主i o n 咖t i o n ( i e ) t e c m q u e si l l t o 掘m o 锄o nt o o l sw o l l l de n l 姗c e 掣删ym ea m o m a l i o n d e g 陀eo fs e m a 埘ca n n o 像吐o nt 0 0 l s t h ea d a 埘v ei es y s o e m ( 越e ) u s e sm a c h i n e l e a 威n gt e c h n i q u et ol e 锄e x 吮c t i o nn l l e s 矗o mm e 锄n gd a 诅t oa d a p tt on e w 叩p l i c a 主i o nd o m a i n ，w h i c hi s j u s tt b ei e q u i m m e n ti ns e m 枷cw 曲e n v i r o n m e n t t h i sp a p e r 锄a l y 辩st l l et e c h 】缸c a lf e 狐聪so fa v a i l a b t es e m 删ca n 删o nt o o l s 也a ti n t e g r a _ t ea i es y s t 锄s t w om a i nd e 矗c i c c i c so f 吐璩t o o l sa r ei n d i c a 把d ：吐l e y d o n t 跚p p o no w l ，m ew 3 c r e c o m m e n d 撕o no fw c bo n t o l o g y1 a 1 1 9 1 1 a g e ，a 1 1 dt 1 e yu s e i e 劬c t i o n si l las i m p k 啪y a c c o r d i l l gt ot h i s ，畦1 i sp a p e r 觚tp r e s e n t sa i la i e - b e d s e i n i a u t o m a t i cw e bp a g 船锄o t a _ t i o n 蠹蛐e w o r k i t 唧r t so w ll i t eo n t o l o g y l a i l g u a g ea n du s 也ef i l ：n c 曲璐o f 吡o m a t i ci i l 】白瑚觚0 n e x 缸t i o np r o 、，i d e db y a l i l i i c a r e ( a 1 1a s y s t e m ) t or e a l i z es e m i a 咖m 撕c m 枷ca n n o t a t i o no fw e bp a g e s t ot 1 1 ed e f i c i e n c i e so fe 粗s 血gs 锄趾t i c 锄。雠i o nt o o l sm e n 畦o n e da b o v e ，咖k e y t e c h i l i q u e s i no u r 缸m o t a t i o n r a m e 、v o r ka r ec h o s e nf o rm o r o u 曲r e s c a r c h ： a r n i l c a r e - b 够e ds e m i a u t o m a l i c 蝴c 石o nt e c h i l i q u e so f 也ef h c t st 0b ea 1 1 n o t a t e db y u s i n ga 1 1a c t i v el e 鲫血gm c 廿1 0 d ；( 虿址eg e n e r a 蛀o nt e c h n i q u e so fo w l l i t cs e m a 蚰c m e t a d a t a l l s i n g 也e 燃d 船t s t h r o u 曲d e e pr c s e a r c h o n a m i l c a r e a n d 砥a p i ，碱s p 印e rp r e s e n t st l l em 拙0 da n dp r o c e s sf o ra l i l c a r e - b 勰e da c d v el e 衲g t 0e x t r a c t s e m i a u t o m a t i u yf a c t st ob ea n n o t 砒e di l l m i a m o m a d c 趾n o t a t i o nt o o l s b a do nt l l e 姐a l y s i s 衄d 锄删m r yo fo w l l i t el a n g 岫g ec o n s 虮l c t o r sa n dr e s 缸c t 0 】1 s ，t 1 1 i sp a p e r a l s od e s c r i b e st i 城跎枷cm e t a d a 扭姐l c t u r eo fw 曲p a g e sa n de x p l a i n sd e s i g ni d e a s a n di n 】i p l 唧e 血o nt e c h n i q 嘴so fs 锄删cm e t l d a l ag e n e r a t i o n1 l s i n gt l l ec x t r a c t e df a c t s c 越es t u d ya n de x l ) c r i 】n c n ts h o w s 妇t l l et c c h n i c a ls c h 蹦l ei sr e a s o n 毫由l ea 1 1 df e 鹊i b l e k e y w o r d s ：s e m a n t i ca n n o t a t i o n ，a d a p 娃、，ei f o r m a t i o n 旺t r 曩c t i o n ，o n t o l o 蹈o w l ， s 蛐a n t i cw e b 河海大学硕士学位论文基于a i e 的半自动w 曲页标注关键技术研究 第一章绪论 1 1 研究背景与选题依据 w e b 是现在最流行的信息服务系统，它将i r l t c m e t 上现有的信息资源全部连 接起来，使用户能够在i n t e i n e t 上查找已建立w 曲服务器的站点的所有信息资源。 当前w 曲上的信息主要采用超文本标记语言( h n 皿。) 编写，h n 儿仅指定在浏 览器中显示w 曲页的布局和格式，以及w 如页之间相互链接的方式，而w 曲页 的内容是由人来浏览的，而非计算机能理解和处理的。因此，当前w 曲又称作 语法w 曲( s y n t a c t i c w 曲) i “，机器无法为用户提供自动处理网上数据的功能。 相对于语法w 如，语义w 曲( s e m a 而cw 曲) 的概念由t i mb e 眦s l e e 在 2 0 0 1 年正式提出【2 】，它是当前w 曲的一种扩充，试图使计算机能够理解和自动 处理w 曲内容，以便机器和人更好地协同工作。语义w 曲研究的重点就是如何 把信息表示为计算机能够理解和处理的形式，这就需要对当前w 曲内容增加形 式语义，即建立描述w 曲内容形式语义的元数据，并集成这些语义数据，从而 建立新的信息处理基础结构。 图1 1t i mb e m e r s _ l e e 提出的语义w 曲体系结构 图1 1 为t i mb e 越e r s l e e 提出的语义w 曲分层基础结构【3 】o 第一层( 底层) 河海大学硕士学位论文 基于a i e 的半自动w 曲页标注关键技术研究 是u 1 1 i c o d e ( 统一字符编码) 和u 刚( u 1 1 i v e r s a lr e s o u r c ei d e n t i f i e r ，统一资源标 识符) ，这是整个语义w 曲的基础，提供w 曲资源编码、资源及资源间关系的唯 一标识，其中u n j c o d e 处理资源的编码，u r l 负责标识资源。第二层是l ( e e n s i b l e m a 出叩l a n g u a g e ，可扩展标记语言) + n s ( n a i n e s p a c e ，命名空间) + x m ls c l 煳a ，用于表示数据的内容和结构，它提供了语法互操作性的基础。第 三层为) f ( r e s o u r c ed e s c r i 砸o nf r 黜e w o r k ，资源描述框架) + ) fs c h e m a ， 用于描述各种资源及资源之间的联系，是w 曲语义互操作性的可扩充基础。第 四层为od _ t o l o g y ( 本体) v o c a b u l a r y ，将在更具表达性的知识形式化描述层上提 供语义互操作性。第五层到第七层是在下面四屡的基础上所进行的逻辑推理、证 明和信任。其中核心层为) 。咀。、r d f 、o n t o l o g y ，通过这三层就可以支持用户在 w 曲内容中加入语义元数据以表示其含义。 x m l 【4 】是i n t e n l e t 上数据表示及数据交换的工业标准，具有可扩展性、自描 述性、内容与表示的分离性、独立于平台和应用、以及支持模式校验等特点。它 是一种元语言( m e t a l 趾g u a g e ) ，可以定义一套自己的标记，描述文档的结构。 x m ls c h e m a p l 用来规定l 文档的结构( 如文档中可包含哪些元素和属 性，它们出现的地方和次数，元素如何嵌套和引用，元素和属性如何结合等) ， 它本身也使用咀。语法，并可以定义新的数据类型，支持继承和命名空间。尽 管l 为数据提供了简单的结构，但它仍然是语法层次上的，没有含有有用的 语义信息【6 j 。 r d f 【7 1 是描述资源的通用框架，它提供了一种标准的方式来描述元数据，其 数据模型包含三种对象类型：资源( r e s o u r c e ) 、属性( p r o p e r 移) 、陈述( s t a t e m e n t ) 。 ) f 的基本模型原语是对象属性值三元组：a ( o ，v ) ，即对象o 的属性a 其值 为v ，其中，对象是由u 】r i 唯一标识的资源，属性值可以是字面值也可以是资源。 通过三元组可以使文档包含对资源的描述，也就包含了资源相关的语义信息。 r i ) fs c h e m a 【8 1 是描述) f 资源属性和类的词汇表，它提供了一个x m l 词 汇表来表达类、类间的关系及类的属性，规范了机制以约束类及关系的组合和这 些约束冲突的检测。砌) fs c h e m 可视为简单轻量的本体语言，包括资源 ( r d f s ：r e s o u r c e ) 、类( r d 砖：c l 勰s ) 、属性( r 托p r o p e 竹y ) 、类型，实例关系( r d ft y p e ) 、 子类( r d f s ：s u b c l a s s o f ) 、子属性( r d f s ：s u b p r o p e r t y o f ) 、定义域( r d f s ：d o m a j n ) 和 河海大学硕士学位论文 基于a i e 的半自动w 曲页标注关键技术研究 值域( r d f s ：r a n g e ) 等基本原语，可以进行简单的推理。 r d f 和列) fs c h e m a 奠定了表示w c b 资源语义的基础，然而由于缺乏足够 的表达能力，只能提供有限的推理支持。为了解决由于因特网的快速发展所带来 的信息过载问题，需要功能更为强大的本体语言。 本体是语义w 曲中的一个关键技术，是对一个特定领域共享的概念化的形 式描述【9 l 。本体的目标是捕获相关领域的知识，提供对该领域知识的共同理解， 确定该领域内芡同认可的概念( 词汇) 以及概念间相互关系，从而明确定义领域 模型【10 1 ，它是一组描述领域内实体及其属性以及实体关系的词汇、定义和公理的 集合。通过将w 曲上各种内容资源( 如：w 曲页) 联系到特定本体( 即建立语 义元数据) ，并定义本体之间的映射，达到共享与集成w e b 信息的目的；代理 ( a g e n t ) 在访问w 曲页的同时访问其相关本体，从而理解w 曲内容、获取正确 的信息。所以说，本体是解决语义层次上w 曲信息共享和交换的基础 9 l 。 w c b 本体语言包括：s h o e 【1 1 】、0 1 1 t o b m k e r 1 2 1 、r d fs c h e m a 、d m l + o i l 1 3 l 和o w l f l 4 郴】等。其中，o w l 是w 3 c 于2 0 0 4 年2 月1 0 日发布的标准本体语言， 它建立在r d fs c h e m a 基础之上，是d m l + o i l 语言的后继和标准化。o w l 被 设计为需要处理信息内容的程序所使用，而不是仅将信息呈现给用户。o w l 通 过提供附加的带有形式语义的词汇，比) ( 】l 、r d f 、r d fs c h e m a 带来更好的机 器可理解性。o w l 语言的主要特点有【l 】：一个o w l 本体是一系列公理和事实 加上到其他本体的蕴涵引用，o w l 本体是w 曲文档，可通过u i 也引用；公 理( a 】( i o m s ) 给出了类和属性的其他逻辑信息，公理包括类公理、属性公理和属 性约束；事实( f a c t s ) 以个体所属的类加上属性值的形式声明了特定的个体信 息。根据不同用户和实现，o 、l 提供了三个表达能力逐渐增强的子语言【14 】：o 、l l i t e 、o 吧d l 和o 、l f u l l 。 基于本体的语义标注就是利用特定本体中的词汇在w 曲页面上标注语义元 数据的过程。通过将w 如页联系到特定本体，创建了描述w 如内容形式语义的 元数据，将原来的w 曲内容升级( u p g r a d e ) 为语义w 如内容，使机器理解和处 理w 曲内容成为可能。j 锄e sh e n d l e r 指出：实现语义w 曲的关键是使得一般 w 曲用户而不仅是逻辑专家都能够创作机器可读的w 曲内容。w e b 上的大部分 用户应不需要知道w e b 内容中语义元数据的存在，语义标注只作为通常的计算 河海大学硕士学位论文 基于a j e 的半自动w 曲页标注关键技术研究 机应用的一个副产品( b y p r o d u c t ) 。这就要求有易用、高效的语义标注工具来帮 助用户创建语义元数据。 基于本体的标往工具使用现有本体的词汇，在w 曲页或文档中插入语义元 数据，或借助已标注的文档产生知识库1 9 1 。当前公开发布的基于本体的标注工具 根据自动化程度可分为以下三类 2 0 】【2 1 】： ( 1 ) 手工( m a l l u a j ) ：用户直接在文档中输入语义元数据。一般标注工具将 手工标注作为辅助功能。 ( 2 ) 自动( a u t o m a t i c ) ：用户只需输入一个文档、选择一个本体，工具则自 动为该文档生成标注，用户无须任何交互，此类工具通常集成一个信息提取 ( i n f o n n a t i o ne x 汀a c t i o n ，i e ) 工具，使用自然语言处理( n l p ) 技术来解决自然 语言的词类标记、语法解析等问题。 ( 3 ) 半自动( s e f n i a u t o m a t i c ) ：此类工具又可分为两类：被标注的文本和 本体词汇的选择需要用户通过“鼠标拖放”进行，而标注的生成是自动的。它的 最大问题在于标注耗时、乏味、代价高、易于产生错误，而且很难被语义w 曲 新手或“外行”用户使用( 因为本体的语义对“外行”来说可能是不明白的，选 择正确的概念、甚至选择正确的本体都可能超出这些用户的能力) 。标注自动 生成，但需要用户的核实，系统借助“i e 工具+ 用户确认”进行标注，又称混合 ( h y m d ) 的标注工具。 在标注工具中集成i e 工具，可大大提高语义标注工具的自动化程度、减轻 用户负担。i e 在电子文档中自动定位重要事实以供后用，如用来标注文档或存储 知识( 比如用实例安景( p o p u l a t i i l g ) 本体) 。i e 能支持文档的自动标注( 信息的 无监督提取) 或半自动标注( 如在文档中通过高亮显示信息来定位相关事实从而 辅助标注者) 。i e 在语义w 曲上的应用，起初为标注提供一般性( g e n e r i c ) 支持， 当使用i e 支持特殊的任务时。开发周期中通常需要有专家来开发规则或知识库。 然而，建立语义w 曲的一个至关重要的方面是要让不是逻辑专家的用户也能够 建立枫器可读的w 曲内容。为解决这一阀题，引入了自适应信息提取( a d a 面v ei e a j e ) 的概念。 a i e 系统使用机器学习自动从训练数据中学习提取规则，以适用于新的应用 4 _ | 町海大学硕士学位论文 基于a i e 的半自动w 曲页标注关键技术研究 领域。触e 的一般思想是 2 2 】：人类专家标注一个小型训练文档集，这些文档中 含有需要坡提取的文本片段，学习系统将这些例子一般化，产生某种形式的知识 或规则，使用它从其它文档中提取相似内容。虽然由人来标注训练数据代价很高， 但a j e 假设标注文档比直接书写提取规则容易，因为后者需要一定程度的设计知 识和技能。 集成趟e 工具的标注过程主要分为五步：用户手动标注一批w 曲页( 训 练集) ：用手动标注的w 曲页训练a j e 系统：调整受训a j e 系统的性能； 运行硝e 系统自动标注w 曲页面；用户对自动产生的标注校对核实。 集成a i e 工具的标注方法的优点是：a i e 系统自动学习提取规则 ( e x 缸a c t i o nr m e s ) ，诱导标注的产生，有助于提高标注工具的自动化程度：减 轻用户标注负担，提高标注效率。缺点是：a j e 系统自动生成的标注准确性往 往不是很高：用户要核实校正e 系统产生的标注，这样就增加了用户同a j e 系统交互的工作量。 目前语义标注工具中常用的a j e 工具有： ( 1 ) s h e 伍e l d 大学的a m i l c a r c 【2 3 1 ，a m i i c a r e 是专为支持语义w 曲中文档标注 而设计的，从新手到信息提取专家都能使用它，并能插入到广泛的标注环境中。 a n l i l c a r c 的默认体系结构包括与g a t e 的信息提取系统m l l l i e 【2 4 1 的连接，i e 执 行标记化( t o k e l l i z a t i o n ) 、词类标记、地名辞典查找和命名实体的识别。它基于 ( l p ) 2 口5 l 口q 算法，一个使用l 竭，n l p 的属于包装器归纳系统( w i s ) 的监督算法， 将包装器技术与n l p 技术结合起来，能处理的文本文档包括自由文本、m m l 文档、姬。文档、表格等类型以及它们的混合。a m i l c a r e 有三种工作状态： 训练状态：通过分析用l 标签标注的训练文集归纳规则，学习如何在一个特 定应用场景( 如一个本体) 中执行i e ；测试状态：在一个未见过的已标记文档 集上测试归纳的规则，从而了解它在一个特定应用中的性能，测试中可用不同的 系统参数再训练，以调整正确度( 如获得更高的查全率和或更高的准确度) ； 生产状态：使用前面归纳出的规则来标注提交给系统的任意文档，如果用户修改 标注结果，可使用用户所做的改正进行再训练。目前尝试集成a m n c a r c 的已公开 发布的语义标注工具有o p e n 大学开发的m 州【2 7 1 、k 甜l s m h e 大学开发的 o n t o m a t m m o t i z e r 【2 8 】和s h e 岱e l d 大学开发的m e l i t a1 2 9 】。 河海大学硕士学位论文 基于a i e 的半自动w 曲页标注关键技术研究 ( 2 ) m a s s a c h i l s e t t s 大学的b a d g e r i e 系统 3 0 】刚，它由三个模块构成：m a r i l l o t 文本分割( b f a c k e t t i n g ) 模块，对自然语言进行预处理；c r y s t a l 字典归纳模块， 从训练集中学习提取规则，产生概念结点( c o c 印tn o d e ) 定义建立概念字典： b a d g e r 信息提取模块，将文本的每个句子与概念结点定义进行匹配，产生模板 的实例。 d n m 的早期版本曾集成过b a d g c r i e 系统。 a m i l c a r e 是一个针对在语义w 曲框架中标注文档而设计的a i e 系统，它在 设计时就考虑到可用性( 比如使w 曲新用户也能使用) 、新应用程序的代价、可 移植性和可维护性等问题，而这些问题都是在语义w 曲环境中集成i e 应用程序 的主要设计问题。w 曲页上可能包含任何类型的文档，甚至是文本类型混合的文 档，比如它们可能同时包含自由的、半结构的和结构化的文本，但b a d g e ri e 系 统仅能处理a s c 文档：b a d g e r 最终提取的信息并不是用v 几格式表示的，这 降低了系统的可移植性；另外它也缺少图形界面，提取的信息没有进行可视化， 这些都使得应用程序在集成此系统时需要做大量的工作。综上所述，在考虑集成 何种a i e 工具到语义标注工具中时，自然选择a m i l c a r e 。本文后面提出的标注框 架将基于a m i l c a r e 进行研究。 当前，语义标注工具m n m 、o n t o m a t - a n n o t i z e r 和m e l i t a 都在尝试集成a i e 工具a m i l c a r e ，但它们的具体实现都存在着一些缺点，一是功能比较简单：心v i 和o m o m a t 仅提供训练和标注两个菜单项，完成基本的学习和提取功能，a m i l c a r e 提供的功能没有得到充分运用；而m e l i 乜只是一个论证系统，标注界面简单，只 支持自定义本体，只标注文本文档。二是这些工具尚未支持w 3 c 标准的w 曲本 体语言o w l ，这不利于语义w 曲技术的广泛应用和长远发展。 l 。2 研究目标与内容 根据上文所述的现有尝试集成a i e 技术的语义标注工具存在的不足，本文提 出以下研究目标：提出基于a i e 、支持o w l l i t c 本体的w 曲页标注框架的总体 设计，并在这个框架中选择了两个关键技术进行深入研究：基于a m i l c 越e 嫣主 动学习方法半自动提取与本体词汇相匹配的待标注事实；根据提取的待标注事 实生成o w l l i t e 语义元数据。 主要研究内容包括四个方面：对现有的集成a i e 的语义标注技术进行比较 6 河海大学硕士学位论文 基于a j e 的半自动，c b 页标注关键技术研究 和分析；提出基于加l l i l c a r e 的、支持0 w l l i t e 本体的w 曲页语义标注框架； 在以上标注框架中选择两个关键技术进行研究：用基于a m i l c a r e 的主动学习方 法半自动提取w 曲页中的待标注事实以及利用提取的待标注事实生成w 曲页的 0 w l l i t e 语义元数据；在实现以上技术的基础上给出具体的案例。 1 3 相关技术现状综述 本文研究一个基于a m i l c a r e 的支持o w l 本体的w 如页标注框架，需要对 o w l 语言及集成a m i l c a r c 的方法作深入研究，下面先简要介绍o w l 语言，然 后介绍a m i l c a r e 应用程序的开发周期，最后对现有的集成a m i l c a r e 的语义标注 工具进行综述。 1 3 1o w l 本体语言 根据不同用户和实现，o w l 提供了三个表达能力逐渐增强的子语言：o w l l i t e 、o r l d l 和o 、l f l l l l 。 o 仉l i t e 支持那些主要需要分类层次结构和简单约束的用户。比如，o w l l i t e 支持基约束，但它仅允许基约束的值为o 或1 。在提供对o w l n t e 的工具支 持和对更富表现力关系的工具支持方面，前者实现相对简单，并且o w ll i t e 为 分类结构提供一个更快的迁移路径。o w ll i t e 比o w ld l 的形式复杂度要低。 o w l d l 支持那些想获得最大表达能力但要保证计算的完备性( 所有结论 保证是可计算的) 和可判定性( 所有的计算可以在有限时间内完成) 的用户。o w l d l 包括所有的构造子( c 伽如u c t s ) ，但是这些构造子要在一定的约束下使用。比 如，个类可以是很多个类的予类，但是不能是一个类的实例。o w l d l 这个子 语言的提出跟描述逻辑( d e s c 咖t i o nl o g i c s ) 有很大关系，它是一个研究逻辑并已 形成o w l 形式基础的研究领域。 - o w lf u 是支持那些在没有计算保证的情况下想获得最大表达能力和 r d f 语法自由的用户。比如，在0 w l f l l l l 中一个类既可以作为个体的集合，也 可以是一个个体。o w lf u l l 允许用户在定义一个本体时扩大预先定义的词汇表 的意义。如果要支持o w lf u l l 中每个特征，没有任何的推理软件能够支持完全 推理。 7 河簿大学硕士学位论文基于a i e 的半自动w e b 页标注关键技术研究 和分析；提出基于a m i l c a r c 的、支持o w ll i t e 本体的w e b 页语义标注框架； 在以上标注框架中选择两个关键技术进行研究：用基于a m i l c a r e 的主动学习方 法半自动提取w 曲页中的特标注事实以及利用提取的待标注事实生成w 曲页的 o w l l i t e 语义元数据；在实现以上技术的基础上给出具体的案例。 1 3 相关技术现状综述 本文研究一个基于a l i l c a r e 的支持o w l 本体的w 曲页标注框架，需要对 o w l 语言及集成a i i l i k a 的方法作深入研究，下面先简要介绍o 帆语言，然 盾介绍a r n i l c a f e 应用程序的开发周期，最后对现有的集成a m i l c a r e 的语义标注 工具进行综述。 1 3 1o w l 本体语言 根据不同用户和实现，o w l 提供了三个表达能力逐渐增强的子语言：o w l l h e 、o w l d l 和o w l f l l l l 。 - o w ll i t e 支持那些主要需要分类层次结构和简单约束的用户。比如，o w l l 沁支持基约束，但它仅允许基约束的值为o 或l 。在提供对o w l l h 的工具支 持和对更富袭现力关系的工具支持方面，前者实现相对简单，并目o w ll i t c 为 分类结构提供一个更快的迁移路径。0 w l l n e 比o w l d l 的形式复杂度要低。 - 0 w l d l 支持那些想获得最大表达能力但要保证计算的完备性( 所有结论 保证是可计算的) 和可判定性( 所有的计算可以在有限时间内完成) 的用户。o w l d l 包括所有的构造子( c o n s 帅c t s ) ，但是这些构造子要在一定的约束下使用。比 如，一个类可以是很多个类的子类，但是不能是一个类的实例。o w l d l 这个子 语言的提出跟描述逻辑( d e s c i p d o nl o g i c s ) 有很大关系，它是一个研究逻辑并己 形成0 w l 形式基础的研究领域。 - o w lf u l l 是支持那些在没有计算保证的情况下想获得最大表达能力和 r d f 语法自由的用户。比如，在o w l f u l l 中一个类既可以作为个体的集合，也 可以是一个个体。0 w lf u l l 允许用户在定义个本体时扩大预先定义的词汇表 的意义。如果要支持o w lf 山l 中每个特征，没有任何的推理软侔能够支持完全 的意义。如果要支持o w lf 山l 中每个特征，没有任何的推理软侔能够支持完全 推理。 7 河海大学硕士学位论文 基于a i e 的半自动w e b 页标注关键技术研究 在合法表示和正确推导方面，每个子语言都是前面简单语言的扩充。三者有 如下关系，反之不成立： 每个合法的o w ll i t c 本体是一个合法o w ld l 本体； 每个合法的o w ld l 本体是一个合法的0 w lf l d l 本体； 每个正确的o w l l i t e 结论是一个正确的o w l d l 结论； 每个正确的o w ld l 结论是一个正确的o 、) 旺。f u l i 结论。 如果工具实现者想支持0 w l 语言，一般从o w ll i t e 予语言开始起步，相 对简单的语言特征集便于工具的实现。本文后面提出的标注框架将支持o w l l i t e 本体语言。 1 3 2a m j l c a 应用程序开发周期 灿1 1 i l c a r e 在整个应用程序开发周期中对用户提供全面支持，从设计到交付， 甚至通过它独特的工具集在售后( p o s t m a r k e t i n g ) 提供协助。应用程序开发分为 以下步骤【3 2 】： ( 1 ) 应用程序场景设计：这一步的目标是定义一个模板，也就是系统用提 取的信息进行填充的种格式。m i l i l c a r c 提供了组工具帮助用户确定正确的应 用程序设置：它提供个允许在文本中高亮显示信息的图形界面，和一组半自动 地将信息组织入模板的方法。 ( 2 ) 系统训练：在这个阶段，系统通过分析大量用户定义的例子( 即包 含提取信息的一组文档) ，学习如何为一个特定的应用提取信息。a m i l c a r e 提供 一个简单的图形界面，允许使用鼠标将信息高亮显示。考虑到选择代表性的训练 集可能是困难的，a m i l c a r e 提供了许多统计工具( 如统计文本平均长度、 t m l 标签的分布、文本中各词类的出现频率等) 来检查用户选择文集的代表性，丽避 免错误选择。 ( 3 )结果验证：在这个阶段，根据特定的应用需求调整结果。假定用当 前技术无法得到一个1 0 0 正确的信息提取过程，必须能够对发现信息的能力( 即 查全率) 与信息识别的精确度两者进行平锯，确定精确度与查全率的恰当取值。 a m i l c a r e 提供了一组工具，在一组测试文本上检查系统结果，通过在文本上高亮 河海大学硕士学位论文 基于a j e 的半自动w 曲页标注关键技术研究 显示错误的标注，或显示统计数据( 正确度、精确度、查全率) 这两种方法来监 测结果。为了避免没有经验的用户使用技术和数字概念，a m c a f e 的调整界面将 定性说明视图( 如“你没有捕获足够的信息”) 与系统能够处理的数字概念( 如 移动误差阈值以获得更高的查全率) 关联起来。重新调整所需的时间是初始学习 时间的l l o 。 ( 4 ) 应用程序交付：一旦系统性能调整达到应用程序需求，信息提取引 擎就可作为一个黑盒模块交付，集成到用户环境中。加n j l c a r e 通过一个a p i 输送 文本和提取结果。 ( 5 ) 售后监测：应用程序交付使用后，接收的文本种类可能变化( 例如， 初始只有很短的文本被接收，但后来长文本开始出现) ，用户必须确保这样的变 化不会影响系统性能。a m i l c a r e 提供一些工具，对接收的文集作分析，与在训练 测试时获得的结果进行统计比较。此外，舳l i l c a r e 还能够通过测量识别出的信 息在文本上的分布，来监测应用程序在新文本上的正确度，当这个分布根本不同 于在训练文集上观测到的分布时发出警告。 1 3 3 集成a m i l c a r e 的语义标注工具 目前集成a m i l c a r c 的公开发布的语义标注工具有三个： ( 1 ) m n m 如mm 3 】在a k t 项目下由k m i ( k n o w l e d g em e d i ai i l s t m e ，t h eo p e n u n i v e r s 时) 研究开发，最新版v 2 1 于2 0 0 4 年1 月1 2 日发布。h 血m 采用了易于 理解的通用处理模式( g e n e d cp r o c e s sm o d e ) ，对于特定的本体服务器和使用的 信息抽取工具来说是通用的。m m 集成了一个w 曲浏览器和一个本体编辑器， 并提供了连接本体服务器和集成i e 工具的开放a p i 。它有四类基本操作：浏 览( b r o 、v s e ) ：浏览本体服务器上的知识模型库，从中选择特定的知识组件集( 如 本体、类) ，它能同时处理多个本体，本体间切换很方便；标记( m a r k u p ) ：用 户用本体中定义的词汇对文档的文本片断进行标注，m n m 将相关的s g m l ，) ( m i 标签插入文档，这些手动标注的文档可作为学习过程的训练集：学习( l e a r l l ) ： 运行i e 工具的学习算法，从训练集中提取标注规则，【州没有内置i e 工具， 而是提供了一个插入接口，其早期的版本曾集成b a d g e r 系统，现在则集成 9 河海大学硕士学位论文 基于a i e 的半自动w 曲页标注关键技术研究 a m i l c a r e ；提取( e x 妇c t ) ：对未标注的文档( 集) 运行i e 机制，使用标注规 则自动提取信息，产生带语义标注的文档( 集) 。 m n m 支持) f 或d a m l + o i l 本体，对t e x t 或h l 文档进行标注，产 生的语义元数据是x m l 格式，以独立的知识库文件存储而非嵌入h t m l 页面， 同时又可作为知识库单元存储在本体服务器w 曲0 呲。中。 ( 2 ) o n t o m a ta n n o t i z e r o n t o m a t a n n o t 酶产8 】f 3 哪由德国k a r l s m h e 大学a i f b 研究院开发，是c r e a m 标注框架的一个实现，最新版本为2 0 0 5 年2 月2 6 目发布的v o 8 2 例。 o n t o m a t - a n n o t i 刁e r 是一个用户友好的交互的w 曲页创作与标注工具，其交互模 式使用户可在创作和标注之间自由转换。它采取模块化的体系结构，为进一步的 功能扩充( 如协同的元数据创建、集成的本体编辑和演化) 提供了插件接口，它 的新版本包括本体浏览器、本体管理器和h r m l 浏览器，另外集成了文档管理 器、简单文档管理器，以及a m i l c a r e 和元本体( m e t a o n t o l o g y ) ( 存储本体和标 注过程的元信息) 等插件。在o n t o m a t a n n o d z e r 中，标注者通过高亮显示w 曲 页上相关部分，用拖拉方式建立新的实例。a m i l c a r c 作为一个插件，在o n t o m a t 运行时可以选择是否集成，它提供两个基本操作：训练和标注。 o n t o m a t a j m o t i z e r 支持i o f 、d 地“l + o i l 本体，对h 刚l 文档进行标注， 产生的语义元数据以r d f 格式整体安放在h t m l 文档的 元素中作为注释 信息。 ( 3 ) m e i i t a m e l i t a 口2 】【3 叼是在简汀项目下由s h e m e l d 大学研究开发的，最新版本是2 0 0 3 年7 月1 7 日推出的m e l i 乜v r l o 。m e l i 乜是基于本体的半自动的文本标注工具， 集成了a m i l c a r e 。m e l i 乜运用c l i e 州s e r v e r 模式，客户机运行m e l i 乜界面，实现 用户与服务器之间的交互，服务器运行系统负责学习，以及时和非入侵方式 无缝集成了手动标注、渐进训练和自动信息提取。m e l i 诅的目的并不是进一步发 展标注界面，而是论证用户如何与i e 系统进行积极交互来满足及时性和非入侵 的要求，因此它的标注界面比较简单，只接受两类本体文件：a i n i l c a r e 场景文件 ( o n t o l o 料s c e ) 和m e l i 乜本体( o h t o l o g y o n t ) ，而且只标注文本文件，不支持h t m l 河海大学硕士学位论文 基于a i e 的半自动w e b 页标注关键技术研究 页面。m e l i t a 的主控面板分为三块：本体浏览：以树型结构显示本体的概念和 关系，表示可插入的标注；文档浏览：显示要标注的t e x t 文档，用鼠标选择 文本片断再点击本体的结点就插入了标注，通过将标注的文本片断的背景色设成 相关的结点的颜色来表示标注；i e 系统建议：显示a i e 算法得出的建议性标 注，若用户选择接受建议，该标注就加入文档中。 m e l i t a 支持自定义本体，仅对t e 疵文档进行标注，产生的语义元数据以“l 格式加在文档中。 通过以上分析可以看出，这几个集成a i e 的工具尚未支持标准的w 曲本体 语言o w l ，且功能比较简单，m n m 和o m o m a t 仅实现a m i l c a r c 所提供的众多 功能中最基本的学习和提取功能，而m e l i t a 只是一个论证系统，并不作为一个实 用的标注工具。 1 4 本文组织 本文由5 章和参考文献、附录组成，这5 章的内容组织安排如下： 第一章，绪论。介绍本文的研究背景和选题依据( 包括语义w 曲、本体、 w 曲本体语言、基于本体的语义标注技术、a i e 及集成a i e 的标注技术) 、研究 目标和内容，并对相关技术进行综述。 第二章，基于a i e 的半自动标注框架及其关键技术。提出一个基于a i e 的 半自动w 曲页标注工具的系统框架，研究借助a m i l c a r e 标注w 曲页的两个关键 技术：用主动学习方法半自动提取与本体词汇相匹配的待标注事实；根据己 提取的待标注事实产生基于o w ll i t e 本体的语义元数据。对于前者，给出一个 流程图，并对其中涉及的重要技术作了方法描述：对于后者，通过将语义元数据 生成的步骤进行分解来逐一阐述相应的技术方法。 第三章，关键技术的实现。首先对内部数据结构进行了说明，然后从训练文 档的生成、场景文件的生成、使用a m i l c a r e 学习和提取、用户验证标注建议和 计算标注建议的正确度五个方面详细描述了如何用主动学习方法提取待标注事 实。接着通过个体创建、个体信息填充、本体实例生成三个步骤详细分析和描述 了用提取的待标注事实生成语义元数据的具体实现技术和实现过程。 河海大学硕士学位论文基于a i e 的半自动w e b 页标注关键技术研究 第四章，案例研究。通过案例来展示已实现的功能，有效地说明了设计思路 的正确性和方法的有效性。 第五章总结与展望。对本文的研究进行总结，并展望下一步研究重点。 河海大学硕士学位论文基于a 腰的半自动w 曲页标注关键技术研究 第二章基于a i e 的半自动标注框架及其关键技术 通过对现有集成a 瑾的语义标注工具的研究