基于元数据的蛋白质组数据资源整合关键技术研究与应用平台开发——元数据库及元数据查询工具研究与开发

1、基于元数据的蛋白质组数据资源整合关键技术研究与应用平台开发元数据库及元数据查询工具研究与开发 jIllllllr!lr11llll51111Hll1llll1ll Y1523419 分类号 学号 UDC 密级 工学硕士学位论文 基于元数据的蛋白质组数据资源整合关键技术 研究与应用平台开发 元数据库及元数据查询工具研究与开发 硕士生姓名 刘文杰 学科专业 计算机科学与技术 研究方向 计算机应用技术 指导教师 宁洪教授 国防科学技术大学研究生院 -OO k年十一月 国防科学技术大学研究生院T学硕士学位论文 摘要 随着人类基因组计划的实施，生命科学研究已进入后基因组时代，人们基于指数形式 增长的核酸

2、、蛋白质序列和结构等数据，开发了数百种不同类型的数据库。这些分布、自 治、异构的数据库给研究者对它们的整合应用造成了很大的困难，因此，研究种通用的 分布异构数据源集成方法具有重要意义。 本课题以疾病蛋白质组学多实验室合作研究为应用背景，针对多数据源数据集成的共 性问题，对蛋白质组学数据资源共享与整合的关键技术进行了研究，提出了通过元数据与 本体相结合的方式来解决各数据源之间的结构异构与语义异构问题，从而形成一个逻辑上 一致的虚拟中心数据库。基于上述思想，我们提出了一个基于元数据的蛋白质组学数据资 源整合的总体方案并设计了一个实现该方案的数据共享与整合平台。 基于该方案，我们首先制定了一个适用于

3、多数据源数据集成的公共元数据标准来对各 数据源的元数据进行一致化描述，并依照该标准建立了个存储各数据源元数据的元数据 库，与此同时，我们提供了丰富、完善的存储过程以支持对元数据库的访问、管理和维护， 并对这些存储过程进行了不同粒度的分类封装以方便用户使用，最后，我们阐述了如何通 过本体对元数据的标注将二者进行有机结合以解决各生物数据源之间普遍存在的结构异 构和语义异构问题。 针对不同用户的不同需求我们设计了几种基于元数据和本体的查询并为用户开发了 一个可视化原型工具MetaPr010，该工具能够使用户在图形界面的支持下完成元数据的提 取与导入、对元仓库的管理与维护以及基于元数据和本体的查询等功

4、能，是平台的一个重 要组成部分。 关键词：蛋白质组学，数据集成，元数据，元数据标准，元数据库，本体，原型工具 第i页 国防科学技术大学研究生院工学硕士学位论文 ABSTRACT has the of Genome scienceentered With HGP HumanProject，HGP ，life implementation the ofdifferentofdatabaseshavebeen to era，hundreds types developedaccording postgenomic andstructuredataThese the ofnucleic distrib

5、uted， exponentialgrowth acid，proteinsequence resultedin difficultiesin and autonomousand databases great sharingintegrating heterogeneous for ofauniversal forthe dataresearchersTherefore，studies distributed， integrationapproach sourceshave data heterogeneous greatsignificance researchindisease labor

6、atoriesas Taking proteomics applicationbackground， cooperative wemadean onthe of and data indepthstudy keytechnologiessharingintegratingproteomics atcommon ofdata amethodtosolvethe resources，aimingproblemsintegrationWeproposed structuralandsemantic betweenvariousdatasources heterogeneityproblem byco

7、mbining and a consistentcenter metadata virtual，logical ontology，consequently，formed these ametadatabased schemefor data on resources， ideas，weproposed integration proteomics wealso adata and to thisscheme designedsharingintegrationplatformimplement Basedonthe firstestablishedacommonmetadatastandard

8、 tothe scheme，we applied aconsistent ofmetadatafromdifferent multidatasourcetohave description coming integration inaccordancewiththestandardstostore dataSOurCeSThenwebuiltametadatadatabase thesame have abundant inorderto the metadataAttime，weprovided procedures support alsohave in and we these meta

9、data maintenance，and procedures access，management wrapped to them the howtosolvethe different make end，we granularities easy-usedIn explmned betweenvariousdatasources structuralandsemantic problem byannotating heterogeneity metadatawith ontology to differentneedsfromdifferent We severalkindsof satis

10、fy users， designed query which usersto a visualtoolcalledMetaPro10 enabled prototype developed suchas and and metadata maintaining operationsextractingimportingmetadata,managing dataviametadataor isan ofour database，querying ontology，itimportantpart platform tool ontology，prototype 第ii页 国防科学技术大学研究生院

11、工学硕士学位论文 表 目 录 表31裁剪前后的CWM对比情况15 表32 7 CWM简单数据类型的映射1 表41 表42JMI包接口模板30 表43JMI代理类模板30 l 表44JMI实例模板3 表45 1 JMI关联模板3 表46 JMI关联模板一32 表47JMI关联模板32 表48 表51生成全局模式的核心代码43 表52基于元数据词汇查询的核心代码48 第1lI页 国防科学技术大学研究生院工学硕士学位论文 图 目 录 图11典型的数据仓库体系结构【18】2 图12典型的联邦数据库体系结构【18】2 图21使用桥的元数据层的集成7 图22使用元数据存储库的元数据层的集成8 图23CWM

12、元模型结构图。10 图24基于CWM元模型的元数据集成体系结构1l 图25基于元数据的数据集成体系结构11 图26基于元数据的蛋白质组学数据资源整合平台架构13 图27疾病蛋白质组学数据资源元数据的维护和管理14 图28疾病蛋白质组学实验室数据分析人员整合数据的流程14 图31公共元数据标准涉及的CWM包16 图32枚举数据类型映射18 图33基于类的数据类型映射18 图34Table类和它在元仓库中的固定表19 图35单值属性映射19 图36多值属性映射20 图371：1关联映射2l 图381：N关联映射2l 图39N：M关联映射22 图310 图311CWM部分元模型23 图41元数据仓库

13、访问接口26 图51使用GO本体对元数据进行标注35 图52对各个数据源元数据的查询36 图53对各个数据源数据的查询37 图54基于蛋白质组学本体的查询38 图55 图56 图57元数据提取界面 一 40 图58元数据提取界面 二 41 图59元数据导入界面41 第1V页 国防科学技术大学研究生院T学硕士学位论文 图51O元数据浏览界面42 图511使用CWM中的四种关联生成全局模式42 图512元数据查询界面47 图513基于元数据词汇的查询界面47 图A1 Model层包间关系55 Object 图A2Core包56 图A3Behavioral包57 图A4 Business 图A5 I

14、nformation包59 图A6 DataTypes包60 图A7 Expression包6l 图A8 Keys&Indexes包62 图A9 图A10 1 图A一1Typemapping包65 图A12总体结构图66 图Al3表、列和数据类型67 图A14结构类型68 图A15关键字68 图A16索引69 图A1 7触发器一70 图A18存储过程70 第V页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位

15、或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明删明僦违源堑燃排汹氍锻荔；蔽，数箍弱安龋诅耋摄凌源堑奄灸邈筏滁汹氍定 学位论文题目： 塞墼亟垦垄鱼数堡垒鱼丛登盘鳋篓： 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 蝽密学位论麓猫磁黼螫耧!西数琏蝴甍芗左囝珊莨 勰乏教艇鸽妥白良 IL熬jl呈笺：磊、整全擞；之式溺瓷

16、芗压彤牛气笈 学位论文题目：二 二垂鳖盏圣量壑煎奎鱼丛蛩暨查孟篓 国防科学技术大学研究生院T学硕士学位论文 第一章 绪论 11研究背景及意义 生物信息学的广泛兴起部分源于对各类基因组数据的存储、共享、分析、解读。数据 整合、共享、分析在以数据密集为特征的各类组学研究中始终扮演中心角色。近年来蛋白 质组技术的普及和基础研究的深入，给生物信息学提出了一系列新的挑战。蛋白质组海量、 高度复杂的实验数据的存储、整合即是其中最根本的问题之一。 蛋白质组数据具有远高于以往的、固有的结构和系统复杂度，其特点包括： 1 数据呈 指数量级增长且数据问具有复杂关联； 2 数据多来源，数据标准与数据处理支撑工具尚不

17、 成熟； 3 数据的回顾性分析、综合分析不可避免，数据需要长期存储、广泛共享且与分析 工具密切整合； 4 数据具有多个可挖掘的属性且具有长期挖掘意义； 5 数据的充分挖掘有 赖对基因组、转录组等大量关联数据的综合分析。 在蛋白质组功能研究中，多种来源的数据如基因组、转录组、蛋白质组的综合分析必 不可少。此外，出于资源优势互补原因，合作研究也十分常见，在结果汇总阶段常常需要 集中所有实验产出数据，对数据做再分析、质量控制和数据挖掘后将结果形成数据库向外 界公布。 通常一个独立实验计划产出数据都存放在独立的数据库中。对综合分析或合作研究而 言，对于大量独立数据的统一访问已成为一个急需解决的问题。因

18、此，开发一种使用方便、 高效的生物数据整合通用平台，支持面向专题研究所需的数据资源的整合与共享，是当前 迫在眉睫的任务。 12相关理论研究 从广义的角度说，目前比较成熟的数据集成方法大致可以分为两大类别：数据仓库 Data Warehousing 和联邦数据库 Database 思想及其优缺点进行分析。 121数据仓库 数据仓库的核心思想是将各数据源的数据经过某种一致化映射后集中存放到一个中 心数据库中，而如何进行一致化映射使得来自不同数据源的数据能够相互理解是数据仓库 的核心问题之一，图11给出了典型的数据仓库体系结构，它主要有以下几方面特点： ， 1 使用一个中心数据库存放各数据源的数据

19、2 当各数据源的数据量较大时中心数据库的存储开销非常巨大 3 为了保持中心数据库中的数据与各数据源中的数据一致，必须周期性地对中心数据 第1页 国防科学技术人学研究生院工学硕士学位论文 席进行更新，否则用户查询结果可能“过期”，而这种更新的开销也是非常巨大。 f41通常情况下用户只能使丌丁中心数据库提供的全局模式和查询接几进行查询。 DahS四 Wafhous0 UFs 趴卜乡趴卜乡 圈l1熊型的数据仓库体系结构I四 1 22联B数据库 在联邦数据库的集成方法中也有一个中心数据库，但它不是J_ j来存放各数据源的数 掘，而是存放各数据源的模式信息，形成一个虚拟的集成数据库，同12给出了典型的联

20、 邦数据库体系结构，它主要有下几方面特点： o眦le mu SouKo 帷i一客翻 。l ： 口一-_ 一三固_J。DB2。Fami-V 酉 图12典型的联邦数据库体系结构”l 第2页 国防科学技术大学研究生院工学硕士学位论文 1 有一个中心数据库对各数据源的模式、各数据源之间的映射等信息进行存储，但各 数据源中的数据不需要进行集中存储。 2 用户的查询将依据中心数据库中存储的信息被重写为多个子查询分发至相应数据 源，而各个子查询结果经过组合后返回给用户。 3 当数据源模式发生变化时也需要对中心数据库进行更新，但这种更新的频率要远远 低于数据更新的频率。 4 用户的查询结果不会“过期”。 5

21、通常情况下用户可以依据本地数据源模式进行查询，也可以使用中心数据库提供的 全局模式进行查询。 经过对数据仓库和联邦数据库集成思想的分析研究，针对生物信息学中的数据集成问 题，我们提出了一个基于元数据的蛋白质组学数据资源整合方案，该方案继承了联邦数据 库集成方法的主要优点，并提出了一种通过本体和元数据相结合的方法来解决传统数据集 成中面临的结构异构和语义异构难题。 13课题研究内容 按照一种通用的公共元数据标准对各数据源的结构和语义信息进行描述，实现逻辑上 一致的虚拟中央数据库是多数据源数据集成的一种有效途径。本课题作为863课题基于 元数据的蛋白质组数据资源整合关键技术与平台的子课题，将以疾病

22、蛋白质组学研究中 的生物信息学综合分析为应用背景，研究一种通用的多数据源数据集成技术，通过元数据 和本体相结合的方式解决分布、异构数据源之间普遍存在的结构异构和语义异构问题，并 基于上述思想设计开发一个基于元数据和本体、支持跨地域、跨数据库的数据资源共享与 整合平台。本课题研究内容主要包括： 1 适用于多数据源数据集成的公共元数据标准 Warehouse 以数据仓库和业务分析领域的一个开放元数据标准CWM Common 数据集成这一特定的应用领域，制定一个适用于多数据源数据集成的公共元数据标准。 2 存储元数据的元数据库 设计并实现一个基于公共元数据标准的元数据库，并提供完善的元数据管理功能，

23、 具体包括：元数据的分类浏览、搜索、更新等。这些功能将采用统一的数据访问接口，以 统一、透明的方式帮助用户找到所需资源的元数据。通过这些集中管理的元数据，用户能 高效地在各种分布、异构的合作研究环境中定位所需的数据资源。同时，元数据更新工具 允许用户随时将数据源的变化反映到元数据库中，实现元数据库中的信息与数据源的同 步，确保共享信息的有效性。 3 元数据库的访问接口 向用户提供不同层次的访问接口来屏蔽元数据库实现细节，便于用户正确、高效地访 第3页 国防科学技术大学研究生院工学硕士学位论文 问元数据库，为元数据库的管理、维护以及上层应用程序对元数据库的访问提供坚实的基 础。 4 元数据的浏览

24、、查询 按照不同用户的需求提供多种元数据浏览、查询功能，为数据整合提供依据。 5 面向蛋白质组学数据整合的可视化原型工具 本课题将开发一个数据整合的可视化原型工具MetaPr010，该工具支持以图形化的方 式辅助用户完成元数据的提取与转换、元数据的管理与维护、知识本体对元数据的标注以 及基于元数据和本体的查询等操作，进而为多数据源数据集成提供有效支持。 14论文组织结构 本文共分为六章，每章的内容如下： 1、第一章为绪论部分，主要介绍了课题的研究背景和本文的主要研究内容。 2、第二章在分析了蛋白质组学数据资源整合的技术难点之后提出了一种基于元数据 和本体的通用数据集成方案，在对该方案中的相关理

25、论基础进行介绍之后，针对蛋白质组 学数据资源整合这一具体需求提出了基于元数据的蛋白质组学数据资源共享与整合平台 并对该平台的体系结构进行了详细介绍。 3、第三章基于第二章中提出的通用数据集成方案，首先对如何制定一套适用于多数 据源数据集成的公共元数据标准进行了讨论，进而介绍了基于该标准的元数据库的设计与 实现。 4、第四章阐述了元数据库访问接口的设计与实现，其中重点介绍了对元数据库中存 储过程不同层次的分类封装。 5、第五章以蛋白质组学资源整合需求为实例，首先介绍了使用生物学本体对元数据 进行标注的意义和方法，之后介绍了针对不同用户的不同需求而设计的几种查询，最后介 绍了本课题为基于元数据的蛋

26、白质组学数据资源共享与整合平台开发的一个集成了元数 据提取与导入、元数据管理维护以及各种查询功能的可视化原型工具MetaPr010。 6、第六章中总结了已经完成的工作，并提出了对进一步研究工作的设想。 第4页 国防科学技术大学研究生院工学硕士学位论文 第二章基于元数据的蛋白质组学数据资源整合方案 本章从蛋白质组学数据资源整合这一具体应用领域入手，分析了多数据源集成所存在 的共性问题。通过对各数据源元数据的一致化描述可以有效解决各数据源之间的结构异构 问题，而知识本体则能够对各数据源数据的语义进行描述，消除语义上的歧义，解决各数 据源之间的语义异构问题，基于上述思想本章给出了基于元数据的蛋白质组

27、学数据资源整 合总体方案。 21蛋白质组学数据资源整合的技术难点 通常情况下数据集成可以通过从一个数据源将数据移植到另外一个数据源来完成，也 可以直接进行局部数据源的全局访问来实现。然而来自不同数据源的数据，在数据内容、 数据格式、数据质量等方面有着很大差别，无法保证数据的一致性，在实施数据共享时甚 至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题【33】。数据源的异构性一 直是困扰很多数据集成系统的核心问题。 不同系统中异构、分布和自治的数据给数据集成带来很多困难。现有较成熟的数据集 成方法包括：模式集成、数据复制，以及两者综合的方法。但是，异构数据源的数据在数 据格式、数据内容等

28、的方面大多是不一致的，也就是说，被集成的数据的元数据无法达成 一致，这给数据集成带来了巨大的困难。因此，数据集成之前首先必须使得不同的数据源 能相互理解，即，元数据层上的集成是数据有效集成的前提。 蛋白质组学数据资源整合的核心任务就是将互相关联的分布式异构数据源集成到一 起，使用户能够以透明的方式访问这些数据源，其难点主要有以下几个方面： 1、异构性：各个实验室的数据源通常是独立开发的，因此数据不论是在结构上还是 语义上都存在异构特征，尤其是与领域相关的语义异构问题给数据整合带来了很大的困 难。 2、分布性：各个实验室分布在全国各地，因此数据源具有明显的分布性，各数据源 之间依赖网络传输数据，

29、存在网络传输的性能和安全性问题。 3、自治性：各个实验室数据源有很强的自治性，它们可以在不通知集成系统的前提 下改变自身的结构和数据。 22基于元数据的数据集成 221元数据简介 第5页 国防科学技术大学研究生院工学硕士学位论文 1元数据的概念 随着信息技术不断发展，以及人们对信息共享的迫切需求，元数据技术在许多领域都 得到了应用，也因此具有不同的定义，例如：在图书馆与信息界，元数据被定义为提供关 于信息资源或数据的一种结构化的数据，是对信息资源的结构化的描述；在数据仓库领域 中，元数据被定义为描述数据及其环境的数据：在软件构造领域，元数据被定义为在程序 中不是被加工的对象，而是通过其值的改变

30、来改变程序的行为的数据【20J12l】。 about 元数据最本质、最抽象的定义为：data 数据、信息和知识库等的描述12引，它不仅表示数据的类型、名称、值等信息，还提供了数 据的上下文描述信息，比如数据的所属区域、取值范围、数据间的关系、业务规则甚至是 数据的来源。目前网络信息时代和数据化环境的形成对人类的知识管理技术提出了新的挑 战，元数据作为人类管理信息和知识的工具，其应用在许多领域受到密切关注。如数据库、 图书馆、远程教育、地球科学等。 2元数据在数据仓库中的作用 数据仓库的元数据作用于数据仓库系统的设计、建立、使用和维护等各个环节之中， 元数据对整个数据仓库系统的作用主要表现在以下

31、几个方面： 元数据是进行数据集成所必需的 数据仓库最大的特点就是它的集成性。这一特点不仅体现在它所包含的数据上，还体 现在实施数据仓库项目的过程当中。一方面，从各个数据源中抽取的数据要按照一定的模 式存入数据仓库中，这些数据源与数据仓库中数据的对应关系及转换规则都要存储在元数 据知识库中；另一方面，在数据仓库项目实施过程中，直接建立数据仓库往往费时、费力， 因此在实践当中，人们可能会按照统一的数据模型，首先建设数据集市，然后在各个数据 集市的基础上再建设数据仓库。不过，当数据集市数量增多时很容易形成“蜘蛛网”现象， 而元数据管理是解决“蜘蛛网的关键。如果在建立数据集市的过程中，注意了元数据管

32、理，在集成到数据仓库中时就会比较顺利；相反，如果在建设数据集市的过程中忽视了元 数据管理，那么最后的集成过程就会很困难，甚至不可能实现。 元数据定义的语义层可以帮助最终用户理解数据仓库中的数据 最终用户不可能像数据仓库系统管理员或开发人员那样熟悉数据库技术，因此迫切需 要有一个“翻译”，能够使他们清晰地理解数据仓库中数据的含意。元数据可以实现业务 模型与数据模型之间的映射，因而可以把数据以用户需要的方式“翻译”出来，从而帮助 最终用户理解和使用数据。 元数据是保证数据质量的关键 数据仓库或数据集市建立好以后，使用者在使用的时候，常常会产生对数据的怀疑。 这些怀疑往往是由于底层的数据对于用户来说

33、是不“透明”的，使用者很自然地对结果产 生怀疑。而借助元数据管理系统，最终的使用者对各个数据的来龙去脉以及数据抽取和转 换的规则都会很方便地得到，这样他们自然会对数据具有信心；当然也可便捷地发现数据 所存在的质量问题。甚至国外有学者还在元数据模型的基础上引入质量维，从更高的层次 上来解决这一问题。 第6页 国防科学技术大学研究生院工学硕士学位论文 元数据可以支持需求变化 随着信息技术的发展和企业职能的变化，企业的需求也在不断地改变。如何构造一个 随着需求改变而平滑变化的软件系统，是软件工程领域中的一个重要问题。传统的信息系 统往往是通过文档来适应需求变化，但是仅仅依靠文档还是远远不够的。成功的

34、元数据管 理系统可以把整个业务的工作流、数据流和信息流有效地管理起来，使得系统不依赖特定 的开发人员，从而提高系统的可扩展性。 本文提出的多数据源数据集成方案没有采用传统数据仓库中将各个数据源中抽取的 数据按照一定模式存入数据仓库的方式，而是试图通过对各数据源的元数据进行集成进而 实现一个虚拟的、逻辑上一致的中心数据 仓 库，尽管这两种继承方式有所不同，但元 数据在数据集成过程的作用大致相同。 22-2元数据集成方案 基于上文提出的多数据源数据集成思想，要能有效的进行数据集成，首先要对各数据 源的元数据进行集成。下文首先给出两种传统的元数据集成方案，在对这两种方案的不足 之处进行分析后，我们将本课题采用的基于CWM元模型的元数据集成方案进行介绍。 1 基于桥的元数据集成解决方案田J 元数据桥是一种能将一个产品的元数据转换成另一个产品所需元数据格式的软件。 “桥”必须从一种产品中获得足够详细的元数据，将其映射到另一种产品中，再指出两者 意义或编码的差别，通常系统有数百、数千种元数据，必须对每种元数据重复这一过程。 “桥”必须了解它要集成的每个产品、数据源的元数据结构和接口的详细知识。以下 图 21 是元数据桥连接的ISC组件，空心箭头表示全部数据流，阴影箭头表示一种不同的元 数据桥和与它关联的元数据流。 可操作的数据 数据提取、转换和