信息组织与信息构建（第二版）课件 10互操作

第10章互操作本章系统讲授网络环境下数据异构问题的解决方案——互操作的概念、类型、标准、实现方法及典型项目，涵盖词表互操作与元数据记录互操作两大核心领域。本章结构总览0110.1互操作的概念及类型互操作的定义、信息互操作背景、系统层与信息层分类、元数据互操作三种类型0210.2词表互操作互操作标准发展历程、实现步骤（五步法）、形式化表示（SKOS/RDFS/OWL）、典型项目0310.3元数据记录互操作互操作类型（转换/集成/聚合）、互操作协议（Z39.50/OAI-PMH）、实现方法、典型项目本章学习要点：互操作概念与类型；词表互操作标准与步骤；映射形式化表示；元数据记录互操作类型与协议；典型项目分析。10.1互操作的概念及类型网络环境下，元数据对资源发现至关重要。各领域产生了大量元数据标准，标准间无法兼容，导致使用不同标准描述的数据无法共享与检索。核心矛盾元数据标准多样→格式不兼容→数据无法跨库检索与共享解决需求通过元数据互操作解决检索、转换与重用问题，实现分布式信息的有效组织与统一检索历史节点1990年美国NSF讨论会首次提出"信息互操作"概念，确立构建异构数据库信息共享环境为重要研究方向10.1.1互操作的概念NISO定义互操作是不同软硬件平台、数据结构及接口下多个系统交换数据的能力，旨在减少数据内容及功能损失。关键术语辨析元数据标准：定义元素结构及语义的元素集合元数据模式：指明元素含义及机器处理格式（XML/RDF）元数据记录：依据标准对资源的描述结果互操作的意义元数据互操作能够按照不同元数据模式描述的数据进行共享及交换，帮助用户实现：跨库检索跨语言检索跨领域资源发现一站式信息服务元数据互操作已成为图书情报领域研究的关键问题。10.1.2互操作的类型——Sheth分类框架依据信息系统的异构性，Sheth将互操作分为系统层与信息层两大层次（图10-1）。系统层互操作解决软硬件系统不兼容问题，属最基础层。借助网络、计算机、Web服务可有效解决。语法互操作解决编码及表示差异，如数据类型、格式问题。结构互操作解决数据模型、模式及结构差异问题。语义互操作解决数据语义一致性，确保从语义层面准确理解用户请求，是信息层互操作的关键。10.1.2元数据互操作的三种类型（图10-2）模式层互操作关注不同元数据标准之间的互操作。方法：衍生（翻译/精简已有标准）、应用纲要（混合多标准元素）、对照表（建立元素/语义/语法映射）。记录层互操作通过元素映射实现元数据记录集成。包含：转换（一种模式转为另一种）、集成（组合不同来源元素）、聚合（通过RDF建立内外部链接）。数据仓储层互操作将不同来源记录存储于仓储库，实现统一存取。包含：元数据收割、对照服务、映射（匹配不同记录元素，实现跨库检索）。10.2词表互操作——概念导入网络知识组织工具及元数据标准均可称为词表，以概念为描述对象，描述概念间关系。由于不同词表构建角度、语种、领域各异，用户采用不同检索方式获取资源，词表间互操作问题由此产生。词表互操作的目的将一种词表的表达式转换成另一种或几种词表的对应表达式，实现语义层面的信息交流与共享。互操作的难点词表类型多样化，涉及语种、领域、结构差异，需以专业领域专家为核心，按规范步骤实施映射。10.2.1词表互操作标准的发展（一）：早期标准11974年ISO2788首次发布《单语种叙词表编制准则》，奠定叙词表编制标准基础，涵盖词汇控制、术语选取、展示及构建原则。21985年ISO5964《多语种叙词表编制规则》发布，是对ISO2788的扩展，重点解决不同语种叙词的对应与转换问题。32005年NISOZ39.19-2005《单语种受控词表的结构、格式和管理指南》，指出影响互操作的因素及互操作方法。42007年BS8723-4:2007（英国）《词汇表之间的互操作性》，对词表互操作方法与模型的选择、实施做出规范指导。10.2.1词表互操作标准的发展（二）：ISO25964与国家标准ISO25964（国际标准）2007年ISO以N458文件发布修订计划，将ISO2788与ISO5964更新扩展为ISO25964。第一部分（2011年）：单/双语种叙词表发展与维护，含数据交换格式与协议第二部分：不同叙词表及叙词表与其他词表间的映射与维护建议强调概念层面的语义匹配，而非简单语词形式匹配目标：鼓励跨网络资源的高质量信息检索中国国家标准早期标准：GB/T13190—1991《汉语叙词表编制规则》、GB/T15147—1994《多语种叙词表编制规则》（仅适用纸质版）。遵循ISO25964原则，全国信息与文献标准化技术委员会出版了GB/T13190《信息与文献叙词表及与其他词表的互操作》（两部分）。第2部分规定：互操作目标、映射元素识别、跨词表映射模型与映射类型，适用于叙词表与分类表、本体、同义词环等各种词表的互操作。10.2.2词表互操作的实现步骤（总览）依据GB/T13190标准，词表互操作的实现可总结为五个步骤：①明确映射目标确立映射结果的最终去向，属用户需求导向②确定映射对象明确来源词表、目标词表、映射方向与范围③选择映射模型结构统一/直接连接/中心结构三种模型④确定映射类型等同映射、等级映射、相关映射⑤实施映射人工映射与自动映射结合，存储与维护10.2.2步骤①：明确映射目标映射目标取决于映射结果的最终去向，不同目标决定映射模型与类型的选择。当前映射目标分为三方面：1生成新词表扩大词表领域覆盖范围，发挥不同词表互补性，通过互操作建立新词表，与多个词表建立概念对应关系。2用于数据收割从不同数据库自动持续获取数据，建立统一元数据格式，在来源库与本地元数据间建立映射。案例：Europeana将EAD、DC、MARC等标准与EDM建立映射，收割上千家成员馆数据。3用于联邦检索同时从不同数据源检索并整合结果，实时提交用户。需在联邦检索系统中心词表与各数据源词表间建立映射，将用户检索提问转换为各数据源所需表达形式。10.2.2步骤②③：确定映射对象与选择映射模型确定映射对象（三要素）来源词表与目标词表：来源词表为起始点，在目标词表中找对应语词映射方向：单向映射（单箭头）或双向映射（双箭头），双向工作量较大映射范围与数量：全部映射（尽可能找到对应）或选择式映射（部分映射，仅在重叠领域建立）三种映射模型（ISO25964）结构统一模型：词表结构完全相同，仅语言/符号/编码不同。如《汉语主题词表》中英文版。操作简单，属精确匹配。直接连接模型：词表结构差异较大，逐一建立两两对应关系。最常用，适用于2-3个词表，工作量大，维护成本高。中心结构模型：词表数量多、类型复杂时，以一个词表为中心表，其他为卫星表，建立间接映射。减少映射工作量，但对中心表要求高。10.2.2步骤④：确定映射类型映射类型定义两词表间概念的映射关系。选择顺序：首选等同映射→等级映射→相关映射。等同映射（EQ）概念范围相同时建立。分为：简单等同（一对一）、复合等同（交叉复合/并列复合）。按相似程度分：精确等同、非精确等同、部分等同。等级映射（NM/BM）概念范围具有包含关系时建立。NM（下位映射）/BM（上位映射）。细分：属种关系（NMG/BMG）、实例关系（NMI/BMI）、整体部分关系（NMP/BMP）。相关映射（RT）概念范围部分重叠、有一定语义关联时建立。语义关联程度最弱，需根据具体应用环境判断，防止纳入语义关联性较弱的概念，增加噪声数据。10.2.2步骤⑤：实施映射映射识别要点识别映射项的关键在于明确概念的内涵与外延。需检查词表内部概念的等级关系、等同关系、相关关系及注释，判定内在含义后完成映射。映射方法对比人工映射：准确率高，需专家熟悉词表结构，工作量大自动映射：效率高，采用概念匹配或共现映射，形成候选映射集排序输出，准确率相对较低，需专家审核映射存储与维护映射完成后需将数据存入管理系统，基本信息包括：来源词表目标词表映射结果表映射的注释信息需定期维护：来源词表或目标词表发生变化时，及时修改映射数据，确保映射数据质量。10.2.3词表映射的形式化表示——W3C三大标准W3C推出的SKOS、RDFS、OWL是支持知识组织体系规范化表示和互操作的技术标准，分别定义不同类型和语义层次的知识组织体系一致性表示框架。SKOS为表达叙词表、术语表、分类表等简单知识组织体系而建立。将传统叙词表以术语为基础的描述转变为以概念为基础的描述，用RDF图模型定义概念，使传统KOS在语义网环境下与RDFS、OWL共存兼容。RDFS采用RDF图模型陈述简单知识组织体系的概念。可定义属性的定义域和值域，允许定义子类、子属性，构成定义简单知识组织系统的充分条件。OWL万维网本体表示语言，2003年发布，已成为语义网共同遵守的本体表示规范。在RDFS基础上添加更丰富的公理和语义约束，owl:Class可看作rdfs:Class的一个实例。10.2.3SKOS映射关系属性详解SKOS规范明确定义了与其他SKOS知识组织体系互操作的语义关系属性，用于在两个不同知识组织体系之间建立概念映射：SKOS属性对应映射类型说明skos:exactMatch精确等同映射两概念范围完全相等，可彼此替代skos:closeMatch非精确等同两概念相似但不完全等同skos:broadMatch上位等级映射目标概念范围更宽skos:narrowMatch下位等级映射目标概念范围更窄skos:relatedMatch相关映射两概念有一定语义关联majorMatch/minorMatch重合程度细分重合范围较大/较小两种情况示例：DDC类号363.34与LCSH"Pollution"建立exactMatch，与"Naturaldisasters"建立narrowMatch。10.2.3RDFS与OWL的语义关系表示在关联开放数据云中，56.11%的数据集至少和一个数据集建立了RDF链接。排名前三的链接谓词为owl:sameAs、rdfs:seeAlso、skos:exactMatch。等同关系owl:sameAs：为同一个体创建不同名称，链接指向同一事物的两个URI。owl:equivalentClass：两个类有完全相同的实例。owl:equivalentProperty：声明两个属性等价。等级关系rdf:type：表示实例关系（A是B的实例）。rdfs:subClassOf：表示类之间的继承关系（A是B的子类），具有传递性。rdfs:subPropertyOf：表示属性之间的子属性关系。相关关系rdfs:seeAlso：资源B可提供关于A的附加信息。rdfs:domain：定义属性的定义域。rdfs:range：定义属性的值域。10.2.4词表互操作项目（一）：DC与MARC21对照表都柏林核心元数据元素集（DC）1995年由OCLC与NCSA联合创建，针对网络信息资源著录格式，共15个元素（均可选、可重复、顺序任意）。三组分类：资源内容描述：题名、主题、描述、来源、语种、关联、覆盖范围知识产权描述：创建者、出版者、贡献者、权限外部属性描述：日期、类型、格式、标识符DC与MARC21的对应关系类型一对一：dc.Source↔MARC21786$o一对多：dc.Subject↔多个6××字段多对一：dc.Relation不同限定词↔同一字段无对应：Date.Modified只能对应500附注字段MARC21简介用于描述、存储、交换、控制和检索的机读书目数据标准，由000~999之间上百个字段组成。DC与MARC21的差异：MARC21体系完备、内容复杂；DC仅有十多个元素和限定词，表达意义与MARC21丰富字段相去甚远。映射由美国国会图书馆发布，"$"用于指定子字段，未指定则使用所有子字段。10.2.4词表互操作项目（二）：Europeana项目2005年法国组织欧洲19国联合创建，旨在整合欧洲文化遗产资源，提供一站式浏览与检索服务。截至2018年底，成员馆2235家，数字资源超5750万条。EDM数据模型Europeana设计数据模型EDM，统一不同资源内容提供商的数据格式，实现元数据语义融合。EDM具有强可扩展性，与EAD、CIDOCCRM、MARC建立关联，实现语义层互操作。EDM核心类信息资源类（书、唱片等）、非信息资源类（事件、主体、地点等）、聚合类（与文化遗产对象关联的资源集合）、文化遗产对象类。EDM的作用数据提供者可直接映射元数据到EDM或创建专门EDM用例，通过添加父子关系（如dcterms:isPartOf）建立与EDM核心类的对应关系，将元数据损失降至最小。10.2.4词表互操作项目（三）：HILT项目项目背景与目标英国提出，以DDC作为高层"词表"（映射转换中心），与其他叙词表实现互操作，达到资源共享目的。2000年9月启动，2003年9月基本完成，由JISC资助。核心词表DDC、LCSH、UNESCO叙词表、MeSH等，允许其他术语服务器与其他词表建立映射关系。八种映射类型精确匹配精确互参照匹配进一步澄清匹配按语义因素匹配上位类匹配下位类匹配拼写变化匹配概念匹配提供消歧服务：通过DDC等级结构上下文帮助用户选择合适词语。10.3元数据记录互操作——概念导入元数据记录的互操作旨在实现资源对象之间的数据交流与共享，运用一定方法及手段将不同来源、格式、结构的数据进行整合，推动数据共享与重用及更大范围的数据存取。与词表互操作的关系词表互操作属知识组织体系层面的数据交流，旨在形成一致的可共享知识体系，为元数据记录互操作提供语义理解基础。三种类型元数据记录转换、元数据记录集成、元数据记录聚合，复杂程度依次递增。10.3.1元数据记录互操作的三种类型元数据记录转换将遵循某元数据标准的记录转换为基于另一标准的记录，实现统一存取。转换难度取决于标准差异，差异越大越易导致数据丢失或失真。工具示例：美国国会图书馆提供MARC↔MODS、DC↔MODS转换工具。元数据记录集成将不同来源的元数据记录经去重、映射、合并、链接等处理生成新记录。比转换更复杂，应用于大型数据仓储或元搜索。METS标准（XML）将来自不同来源的不同部分整合在一个结构框架中，有效黏合成一条记录。元数据记录聚合将不同来源元数据按不同颗粒度分类、分组、合并、拆分、抽取、链接，组成新记录集合。强调通过聚类、实体链接等语义网技术实现语义层面互操作。Europeana是典型跨机构、跨领域元数据记录聚合项目。10.3.2互操作协议——联邦式：Z39.50协议Z39.50协议概述1998年NISO公布，全称《信息与文献信息检索：应用服务定义和协议规范》。基于OSI参考模型的应用层协议，独立于任何特定类型的信息或数据库系统。工作原理（APDU）核心：创建请求/响应、检索请求/响应、提交请求/响应。客户端将检索表达式转为逆波兰表达式（RPN），依据基本编码规则（BER）编码，形成APDU位串发往服务器，服务器解码执行检索，返回结果集。典型应用项目VEL（美国13所大学）：统一检索界面查询本地或异地资源VCUC（加拿大）：虚拟联合目录，链接不同数据库Zedweb（澳大利亚）：统一界面检索全国信息资源CALIS（中国）：高等教育文献保障系统，实现联机编目与资源共建共享10.3.2互操作协议——收割式：OAI-PMH协议OAI-PMH发展历程起源于1999年圣菲会议，2001年1月推出OAI-PMH1.0，2002年6月推出OAI-PMH2.0，两个版本是OAI协议历史上的里程碑。两种角色数据提供者：元数据发布方，拥有仓储，采用OAI技术框架发布元数据服务提供者：元数据收割方，向数据提供者发出请求，接收元数据构造增值服务六种HTTP请求动词Identify：获取仓储基本信息ListMetadataFormats：获取支持的元数据格式ListSets：获取记录等级情况ListIdentifiers：获取相关条目号ListRecords：列出完整元数据记录GetRecord：根据条目号获取记录内容OAI-PMH以都柏林核心元数据元素集为互操作标准，也支持其他可编码为XML格式的元数据标准。10.3.2联邦式与收割式协议对比互操作协议需满足的基本条件：本身具备互操作性；允许用户在协议范围内建立满足特殊需要的元数据格式；简单、灵活且易于遵循不同的作用机制。10.3.3互操作的实现方法（一）：自动映射自动映射是根据一定规则或统计计算原理，由计算机自动进行映射关系的确定，实现不同词表术语之间的自动映射。基于同现统计的类目映射又称共现映射，在书目数据库基础上实现。统计同一元数据集中不同分类号的同现频次，计算相关度，实现类目匹配。常用方法：互信息模型、Dice测度、Jaccard系数。案例：美国国会图书馆网络系统中LCC与DDC的关联显示。基于类目相似度计算的映射将类目整体概念分解为若干单位概念，通过计算单位概念间相似度得到整体概念相似度。常用方法：基于词素的语义相似度算法、基于语义距离的相似度算法、基于向量空间模型的相似度算法。基于交叉浏览检索的方法从分类法A标引的语料库中检索关键词，在分类法B标引的语料库中检索获得对应类号，通过统计出现频率较高的类目建立映射关系。基于机器学习的方法将类目映射问题转化为分类问题：将一个分类法的类目信息分类到另一个分类法的类目上，从而建立映射关系。10.3.3互操作的实现方法（二）：本体对齐本体对齐的定义发现不同本体的实体语义关系，判断来自不同本体的两个实体是否指向现实世界中的同一种对象，实现本体间匹配映射。对齐结果用四元组表示：(id,e1,e2,s)，其中s为相似度。待对齐本体类型概念、属性、关系。对齐结果分为一对一、一对多、多对一三种类型，大部分为一对一匹配。本体对齐五步流程①本体选择：寻找相关领域本体，人工审查确定②本体预处理：统一格式，标准化概念标签，统一实体IRI格式③本体解析与特征提取：使用Jena解析，提取类、属性、三元组及实体特征信息④相似度计算：基于语言学特征（编辑距离、WordNet）或基于结构特征（Jaccard系数、RDF树状结构）⑤相似实体对输出：利用分区索引技术提高效率，避免全量比较10.3.4元数据记录互操作项目（一）：VIAF项目项目背景2003年德国国家图书馆、美国国会图书馆和OCLC在柏林达成共识，开发个人名称的虚拟国际规范文档（VIAF）。2007年法国国家图书馆加入，2012年转型为OCLC服务。项目目标在各国图书馆名称规范档之间建立匹配链接降低名称规范档编目成本，促进数据共享使用户能用熟悉语言访问不同语种、不同格