PubMed数据库可下载XML数据的转换和整合

1 PubMed 数据库可下载数据库可下载 XML 数据的转换和整合数据的转换和整合 郝婷 西北师范大学数学与统计学院 兰州 730070 摘要摘要 PubMed 是美国国家医学图书馆维护的免费搜寻引擎 提供生物医学方 面的论文搜寻以及摘要 它的数据库来源为 MEDLINE 其核心主题为医学 根据研究的需要 课题组从 PubMed 下载所有与疾病相关的 XML Extensible Markup Language 数据 因数据规模大 且网络传输不稳定 从而造成数据的 一次性下载几乎不可能 因此 作为可能的方法之一 我们按照出版时间将需 要下载的 XML 数据拆分成不同的数据段 分别下载 这种方式同时也方便进 行并行的分布式处理 然而 下载的 XML 文件不能直接进行高效的分析使用 因此 需要通过格式转换然后导入数据库中才能进行后续的分析 本文的工作 就是实现不同 XML 数据段的格式转换 然后导入到 SQL 数据库中 最后将这 些数据段在数据库中进行合并 从而实现数据的完整性和一致性 关键词关键词 PubMed XML 整合 Transformation and Integration of XML File Downloaded from PubMed Hao Ting College of Mathematical and Statistical Sciences Northwest Normal University Lanzhou 730070 Abstract PubMed is a free search engine accessing primarily the MEDLINE database of references and abstracts on life sciences and biomedical topics On querying the resulting items can be downloaded the format of XML Extensible Markup Language In this study the research needs all XML data downloaded from PubMed However as the resulting items is large in number together with situation that the network is not stable which causes it is difficult to download all data one time One possible solution is to split whole data into different slices w r t publishing time which can also facilitate parallel LX2000 PIII600 128M 15XGA 21000 2 2 标记标记 作为标记语言 XML 可以在文档中创建 使用新的标记 Tags 新标记 的创建和使用要遵循一定的规则 2 2 1 标记的构成标记的构成 XML 文档中的标记由如下三部分组成 标记的起始字符 2 2 2 标记的命名规则标记的命名规则 标记的名称必须符合以下规则 可以含字母 数字以及其他的字符 不能 4 以数字或者标点符号开始 不能以字符 xml 或者XML Xml 开始 不 能包含空格 可使用任何名称 没有保留的字词 但是名称中有英文字母时 对大小写是敏感的 2 3 元素和属性元素和属性 2 3 1元素元素 XML文档包含XML元素 XML元素指的是从 且包括 开始标签直到 且包括 结束标签的部分 元素可包含其他元素 文本或者两者的混合物 由于元素中包含了其他元素 这就构成了元素的嵌套 几乎所有的XML文档都 是由嵌套的元素构成的 除非整个文档只有一个元素 XML 规定 不管文 档中有多少元素 所有的元素都必须被包含在一个称为 根元素 3 Rootelement 的元素中 对于元素的嵌套 有如下原则 1 所有XML 文 档都从一个根节点DOCUMENT 开始 该根节点代表文档本身 根节点包含了 一个根元素 2 文档内所有其他元素都包含在根元素中 3 包含在根元素中 的第一个元素称为根元素的子元素 如果不止一个子元素 且子元素没有嵌套 在第一个子元素内 则这些子元素互为兄弟 4 子元素还可以包含子元素 5 包含子元素的元素称为分枝 没有子元素的元素称为树叶 2 3 2 属性属性 属性是元素的可选组成部分 其作用是对元素及其内容的附加性信息进行 描述 由 分隔开的名称 数值对构成 如下所示 内容 例例2 22000 例例3 属性的命名规则与标记和元素的命名规则相似 1 英文名称必须以英文 字母或者下划线 开头 中文名称必须以中文文字或者下划线 开头 2 在使用缺省编码集的情况下 名称可以由英文字母 数字 下划线 连接符 和点号 构成 3 名称中不能含有空格 4 名称对大小写敏 5 感 5 同一个元素不能有多个同名的属性 属性值必须被引号包围 不过单引号和双引号均可使用 比如一个人的性 别 person标签可以这样写 或者也可以这样 如果属性值本身包含双引号 那么有必要使用单引号包 围它 如 2 3 3 元素和属性的区别元素和属性的区别 例例4 Anna 例例5 female Anna 在例4中 sex是一个属性 而在例5中 sex则是一个子元素 两个例子都可以 提供形同的信息 但是这样容易引起混淆 所以在XML中 应该尽量避免使用 属性 如果信息感觉起来很像数据 可以使用子元素 例6 例7 例8三个 XML文档包含完全相同的信息 例例6 使用了date属性 例例7 使用了date元素 08 08 2008 例例8 使用了扩展的date元素 08 08 2008 2 4 预定义实体引用预定义实体引用 6 XML 中有一些与计算机编程语言中有关键字相似的 关键字符 这些 字符用于构成XML 的置标 如小于号 单引号 双 引号 与字符 与其原来的样子大相径庭 可读性很差 针对这种情况 XML 提供了CDATA 段以解决所面临的问题 CDATA 段用于使解析器将一段含有 关键字符或者置标的内容解释为字符数据 CDATA 段的起始定界符为 如例9 例例9 CDATA The price is 22000 但是使用 CDATA 段需要注意的问题是 CDATA 段的消化能力极其强大 什么都能容纳 惟一不能容纳的是CDATA 段的终止定界符 所以 CDATA 段是无法嵌套的 3 文件类型定义 文件类型定义 DTD XML 作为一种可扩展的标记语言 或者说作为一种元标记语言 它可以 定义新的标记 或者可以定义新的标记语言 新的标记或新的标记语言是通过 文件类型定义 Document Type Definition 来定义的 DTD是 文件类型 定义 的缩写 其中规定XML文档中的元素 属性 标记 文档中的实体及其 相互关系 3 1 在文档中引用在文档中引用DTD 有两种DTD的引用方法 1 内部DTD引用 即在文档中直接设定DTD 2 外部DTD引用 文件类型定义一个独立的文件 XML文档引用独立文 件中的文件类型定义 称为外部DTD引用 8 3 1 1 内部内部DTD引用引用 DTD语义约束与xml文档的内容放在同一个XML文档中 内部DTD紧跟在 XML声明和处理指令之后 以 结束 其语法 格式如下 XML文档主体部分 例例10 DOCTYPE book redarmychen JavaWeb开发 3 1 2 外部外部DTD引用引用 使用外部的文档格式定义 通常要指定一个扩展名为 DTD 的文档 同 样这个文档也只能放在文档头 与内部声明放在同一个地方 但是 使用外部 DTD 声明时 XML声明里面的standalone no 外部DTD 声明的语法主要区 分两大类SYSTEM 4 和PUBLIC 1 SYSTEM 参数 9 SYSTEM 参数调用的DTD 通常是 私有 自定义 用途的文档定义格式 其语法如下 注 SYSYTEM DOCTYPE是关键字 必须要大写 URL路径可以是相对路 径 也可以是绝对路径 该语句必须出现在XML文档的序言区 2 PUBLIC 参数 相对于SYSTEM 参数 PUBLIC 参数通常用来调用 公有 用途的DTD 这种DTD 通常获得某一个领域的用户认同 并经过大家讨论得到公有的文档 格式定义 语法如下 注 PUBLIC为关键字 必须大写 并说明该外部DTD具有名称 DTD的 标识名 为XML文档所引用的外部公共DTD的名称 公用的DTD的URL地址 为外部DTD文件的路径 含义与SYSTEM引用方式中的 DTD URL 一致 该语句必须出现在XML文档的序言区 3 1 3 内部内部DTD和外部和外部DTD混合使用混合使用 XML文档格式如下 3 2 DTD中的元素声明中的元素声明 10 元素 ELEMENT 是在DTD 定义中 详细说明此元素的名称 内容 可 能出现次数的语法 利用元素可以明确地定义在XML文档中的标记该怎样使用 也就是将 元素 对应到 标记 其语法格式如下 注 1 表示声明的结束 3 元素名称 就是在XML 文档中使用的标记名称 其命名规则与标记 的命名规则相同 4 元素定义 规定该元素将包含哪些子元素以及子元素之间的顺序 或 者对于不包含子元素的元素定义数据类型 3 2 1 元素的定义元素的定义 元素定义的类型 分为以下几类 父元素 5 包含子元素的元素 EMPTY 空元素 ANY 自由类型元素 只包含文本字符串的元素 1 父元素 父元素下面通常包含有子元素 基本使用格式如下 这种格式要求相应的XML文档中的各个子元素必须且只能出现一次 并且 必须按照子元素列表中给定的顺序出现 否则XML文档将不能通过有效性验证 例例11 2 EMPTY EMPTY 类型是用来定义空标记的 其基本使用格式如下 它是一种不包含任何子元素和文本的元素 如果一个元素已经被声明为空 元素 而在XML 文档中该元素又包含一定的内容 则此时文档将不能通过解 析器的有效性检查 11 例例12 DOCTYPE book 3 ANY ANY 类型是指该元素中可以包含其他任何被声明过的元素 但是不能包 含没有声名的元素 其次被该元素包含的元素在出现顺序和次数上都不受限制 第三 在该元素中可以包含文本 ANY 将一系列的限制都解除了 其基本使 用格式如下 例例13 DOCTYPE book 4 文本数据类型 只包含文本字符串的元素的类型 PCDATA PCDATA 是DTD 所定义的一种元素类型 是XML 中默认的一种数据类 型 该类型的元素只能包含可解析的字符数据 Parsed Character DATA PCDATA 即只能是文本内容和CDATA 段 它的语法如下 例例14 XML 中有五个保留字 比如 和 The Bible Unknown 69 88 但是 当XML 文档中使用了较多的XML 保留字 比如文档中含有一段程 序 此时如果仍然采用实体引用 则会降低文档的可读性 同时增加文本输入 的工作量 此时 应采用CDATA Character Data 段 CDATA段是一种用来 包含文本的方法 其格式如下 因为这是CDATA 段的结束字符 串 3 3 DTD运算符运算符 3 3 1 元组运算符元组运算符 声明标记出现的次数声明标记出现的次数 在DTD 的定义下 我们可以规定某标记出现的次数 它的控制有以下四种 方法 见下表3 符号允许出现次数 零或一次 大于等于零次 大于等于一次 没有符号一次 表3 XML中标记出现次数的定义符 例例16 13 DOCTYPE Person Gary 6 26 beijing 0109920625 0109280972 在上例中 没有加符号的只能出现一次 spouse 加上 的允许出现零 或一次 Address 加上 号 至少要有一次 TEL 用 号 可以出现任 意次 3 3 2 顺序运算符和选择分隔符号顺序运算符和选择分隔符号 所谓顺序分隔符 决定了元素出现的顺序 用 所谓选择分隔符 是用在对子元素希望有选择项时使用 多选一 例如 下例中 学历 这一项 可能是高中 大学或是研究生 而这三者有同时是元素 所以我们就要选择了 于是用 这个符号把可选择的子元素隔开 例例17 DOCTYPE Person 14 Gary 多选一 NCTU beijing 02786551234 02712345678 3 3 3 组合使用运算符组合使用运算符 混合型元素混合型元素 有时元素可能是基本元素 即其内容为字符数据 但也可能含有子结构 其内容为子元素 在这种情况下 可以将元素定义为混合型元素 定义混合型元素的基本语法为 元素声明的例句为 4 DTD中的属性设定中的属性设定 15 属性是元素的可选组成部分 其作用是对元素及其内容的附加性信息进行 描述 由 分隔开的名称 数值对构成 成为一个有效并合法的 XML 文档 所有在文档中使用的属性都必须是在DTD 中定义过的 DTD 中定义属性的语 法为 上面语法说明如下 1 ATTLIST 表示该指令为定义属性的指令 ATTLIST 为关键字 必须 大写 2 element name 为包含该属性的元素的名称 3 attribute name 为要定义的属性的名称 4 Type 为属性值的类型 5 Default value 为属性的缺省值 如果在文档中未明确设定该属性的值 则属性的值即为该缺省值 4 1 属性值的类型属性值的类型 属性值类型一共有四种选择 如下表 属性值类型说明 REQUIRED表示在标记内的此属性是必需的 IMPLIED表示在标记内的此属性是可选的 FIXED 缺省 表示此属性的属性值被固定了 不能修改 默认值表示如果标记没有设置该属性值 就会以该值为 属性值 表4 属性值类型的选择 例例18 DOCTYPE DOG 16 PoPo Gary 10 17 3 Husky 在上例中 DOG 一共有id 和sex 这两个属性 属性类型为CDATA 即表 示这项属性的属性值是字符符号所组成的 而且 这两个属性值是必需的 不 可以省略 因为属性值类型设置为 REQUIRED Breeder 有Lastname 属性 这 个属性与DOG 的id 属性的不同之处在于 它是可选的 Birthday 这个元素设 了两个属性 一个是属性year 的 IMPLIED 另一个就是type 属性 它的 属性值类型是 FIXED 值取为 AD 4 2 属性类型属性类型 属性类型的种类非常多 在DTD 定义中使用属性类型来规范属性值的取值 种类 标准中的属性类型一共有十种 如下表 属性类型说明 CDATA属性中只能使用字符 字串 ENTITY属性值为DTD 声明中的实体引用 ENTITIES同上 但允许多个实体 NOTATION其属性是引用DTD 声明过的NOTATION 符号 17 ENUMERATED属性值为其枚举的属性值之一 NMTOKEN属性只可以由字符组成 NMTOKENS同上 但允许多个字符 ID属性是唯一的 不可再被用作相同属性 IDREF属性值为引用到其他ID 的属性 IDREFS属性值为引用到多个ID 的属性 表5 属性类型的选择 5 数据整合数据整合 数据整合流程图如下 5 1数据下载数据下载 在PubMed主页面输入 disease or research or protein or drug or therapeutic or immune or clinical or cell or study or Chinese or gene or metabolism AND 1960 01 01 Date Publication 1970 01 01 Date Publication 然后根据检 索出的文献进行下载 下载的文献格式为XML 由于需要下载的数据量过于庞 大 约为90GB 所以只能根据出版时间 1960 2014 拆分成不同的数据 按 照年份以及数据的大小 数据保持在4GB以内 依次下载 如下所示 PubMed 1960 PubMed 1970 PubMed 1975 PubMed 1981 PubMed 1983 PubMed 1987 PubMed 1989 PubMed 1990 PubMed 1991 PubMed 1992 PubMed 1993 PubMed 1996 PubMed 1997 PubMed 1998 PubMed 1999 PubMed 2000 PubMed 2000 1 PubMed 2000 2 PubMed 2001 1 PubMed 2001 2 PubMed 2002 1 PubMed 2002 2 PubMed 2003 1 PubMed 2003 2 PubMed 2004 1 PubMed 2004 2 PubMed 2005 1 PubMed 2005 2 Pub Med 2006 1 PubMed 2006 2 PubMed 2006 3 PubMed 2007 1 PubMed 2 007 2 PubMed 2012 1 PubMed 2012 2 PubMed 2012 3 PubMed 2012 4 PubMed 2012 5 PubMed 2012 6 PubMed 2013 1 PubMed 2013 2 Pub PubMed 数据库下 载数据 EmEditor 软件检查 数据完整 性 依次将数 据导入数 据库 数据整合 18 Med 2013 3 PubMed 2013 4 PubMed 2013 5 PubMed 2013 6 PubMed 2 014 1 PubMed 2014 2 便于以后的分布式并行处理 然后用EmEditor软件打 开 根据XML文档根元素的起始标记和终止标记检查数据的完整性 5 2 数据数据转换转换 在数据库软件SQL Server2008R2 6 中建立数据库PubmedArticle 图1所示 是通过VS2010编译生成数据转换可执行文件 其中 主要用到file按钮 关联 分析表按钮 清空关联表按钮 File按钮 选择需要插入数据库PubMed的XML 源文件路径 关联分析表按钮 执行数据转换 将XML中的数据转换到数据库 中 清空关联表 将相关表格清空 图1 5 3数据整合数据整合 5 3 1 select into select into 语句的作用 从一个表中选取数据 然后把数据插入另一个表中 用于创建表的备份复件或者用于对记录进行存档 在本文中 select into用于从 数据库PubmedArticle当中选取表tb medlinecitation中所有数据及表结构 然后复 制到数据库PubMed中 具体代码见附件1 5 3 2 insert into 19 insert into语句用于只向已知表中插入新的数据 在本文中 insert into语句 分别用于数据库 CK PubMed LR PubMed NZK PubMed SMM PubMed WLR PubMed WT PubMed SHH PubMed向数据库PubMed中插入数据 具体代码见附件2 结论结论 本文从对PubMed数据库的认识出发 继而从多方面对XML数据格式进行了 解与阐释 然后从PubMed数据库中下载XML数据 依次将分段下载的XML数 据转换到数据库中 通过select into语句从数据库PubmedArticle当中选取表 tb medlinecitation中所有数据及表结构复制到数据库PubMed中 然后通过insert into 语句将分段的七个数据库分别整合 各个数据库整合所用时间及处理节点 数如下表6所示 数据库名称运行时间运行结果 节点数 CK PubMed03 03 163790963 LR PubMed02 01 582583098 NZK PubMed02 15 591058586 SMM PubMed01 08 361782141 WLR PubMed00 51 061378124 WT PubMed00 49 281674013 SHH PubMed00 31 121120611 表6 最后把上表中的数据库整合最终数据库PubMed 合并以后的数据库大小为 68126 69MB 总记录的数量为13387536 数据总合并的时间为10 41 35 以此 数据库保持其完整性和一致性 参考文献参考文献 1 卢啸龙 XML完全实例教程 M 北京 电子工业出版社 2001 2 丁跃潮 叶文来 XML 实用教程 M 北京 机械工业出版社 2006 3 XML Media Types RFC 3023 Internet Engineering Task Force 9 11 2001 01 2010 01 04 4 唐琳 XML 基础及实践开发教程 M 北京 清华大学出版社 2013 20 5 Bill Evjen Kent Sharkey 中文版由 Thiru Thangarathinam 王春楠 刘永金 等翻译 XML 高级编程 M 北京 清华大学出版社 2009 6 郑阿奇 刘启芬 顾韵华 SQL Sever 实用教程 第三版 M 北京 电子工业 出版社 2009 附件附件 1 select 从数据库PubmedArticle的表tb medlinecitation中选出所有 列插入到数据库PubMed的表tb medlinecitation中 into PubMed dbo tb medlinecitation from PubmedArticle dbo tb medlinecitation select 从数据库PubmedArticle的表TB PubmedArticle中选出所有列 插入到数据库PubMed的表TB PubmedArticle中 into PubMed dbo TB PubmedArticle from PubmedArticle dbo TB PubmedArticle select into PubMed dbo TB PubmedData from PubmedArticle dbo TB PubmedData select into PubMed dbo TB PublicationType from PubmedArticle dbo TB PublicationType select into PubMed dbo TB PersonalNameSubject from PubmedArticle dbo TB PersonalNameSubject select into PubMed dbo TB MeshHeading from PubmedArticle dbo TB MeshHeading select into PubMed dbo TB Journal from PubmedArticle dbo TB Journal select into PubMed dbo TB Investigator from PubmedArticle dbo TB Investigator select into PubMed dbo tb history from PubmedArticle dbo tb history select into PubMed dbo TB grant from PubmedArticle dbo TB grant select into PubMed dbo TB databank from PubmedArticle dbo TB databank 21 select into PubMed dbo TB CommentsCorrections from PubmedArticle dbo TB CommentsCorrections select into PubMed dbo TB chemical from PubmedArticle dbo TB chemical select into PubMed dbo TB author from PubmedArticle dbo TB author select into PubMed dbo TB article from PubmedArticle dbo TB article select into PubMed dbo TB articleid from PubmedArticle dbo TB articleid select into PubMed dbo TB Abstract from PubmedArticle dbo TB Abstract select into PubMed dbo TB JieGuo from PubmedArticle dbo TB JieGuo select into PubMed dbo TB LinShi from PubmedArticle dbo TB LinShi select into PubMed dbo TB ZhongJian from PubmedArticle dbo TB ZhongJian 附件附件2 insertinto PubMed dbo TB PubmedArticle 从数据库CK PubMed中选取表TB PubmedArticle所有列插入到 数据库PubMed中表TB PubmedArticle select from CK PubMed dbo TB PubmedArticle insertinto PubMed dbo TB PubmedData PubmedArticleID 从数据库CK PubMed的表TB PubmedData中选择列 PubmedArticleID PMID HistoryID PublicationStatus ArticleIdList ID插入到数据库PubMed的表TB PubmedData中相同的列 PMID HistoryID PublicationStatus ArticleIdListID select PubmedArticleID PMID HistoryID 22 PublicationStatus ArticleIdListID from CK PubMed dbo TB PubmedData insert into PubMed dbo TB MedlineCitation PubmedArticleID PMID DateCreated DateCompleted DateRevised ArticleID Article PubModel Country MedlineTA NlmUniqueID ChemicalListID CitationSubset CommentsCorrectionsID MeshHeadingListID NumberOfReferences OtherID OtherID Source InvestigatorListID CommentsCorrections PersonalNameSubjectList OtherAbstract KeywordList select PubmedArticleID PMID DateCreated DateCompleted DateRevised ArticleID Article PubModel Country MedlineTA NlmUniqueID ChemicalListID CitationSubset CommentsCorrectionsID MeshHeadingListID NumberOfReferences OtherID OtherID Source InvestigatorListID CommentsCorrections 23 PersonalNameSubjectList OtherAbstract KeywordList from CK PubMed dbo TB MedlineCitation insertinto PubMed dbo TB PublicationType PublicationTypeListID PMID PublicationType select PublicationTypeListID PMID PublicationType from CK PubMed dbo TB PublicationType insertinto PubMed dbo TB PersonalNameSubject PMID LastName ForeName Initials select PMID LastName ForeName Initials from CK PubMed dbo TB PersonalNameSubject insertinto PubMed dbo TB MeshHeading MeshHeadingListID PMID DescriptorName DescriptorName MajorTopicYN QualifierName QualifierName MajorTopicYN select MeshHeadingListID PMID DescriptorName DescriptorName MajorTopicYN QualifierName QualifierName MajorTopicYN from CK PubMed dbo TB MeshHeading insertinto PubMed dbo TB Journal PMID ISSN IssnType JournalIssue JournalIssue CitedMedium Volume Issue 24 PubDate Title ISOAbbreviation select PMID ISSN IssnType JournalIssue JournalIssue CitedMedium Volume Issue PubDate Title ISOAbbreviation from CK PubMed dbo TB Journal insertinto PubMed dbo TB Investigator InvestigatorListID PMID ValidYN LastName ForeName Initials select InvestigatorListID PMID ValidYN LastName ForeName Initials from CK PubMed dbo TB Investigator insertinto PubMed dbo TB History PubmedDataID PMID PubMedPubDate PubMedPubDate PubStatus select PubmedDataID PMID PubMedPubDate PubMedPubDate PubStatus from CK PubMed dbo TB History insertinto PubMed dbo TB grant GrantListID PMID GrantID Acronym Agency 25 Country select GrantListID PMID GrantID Acronym Agency Country from CK PubMed dbo TB grant insertinto PubMed dbo TB databank DataBankListID PMID DataBankName AccessionNumber select DataBankListID PMID DataBankName AccessionNumber from CK PubMed dbo TB databank insertinto PubMed dbo TB CommentsCorrections MedlineCitationID PMID CommentOn RefSource CommentOn PMID CommentIn RefSource CommentIn PMID ErratumIn RefSource ErratumIn PMID ErratumIn Note ReprintIn RefSource ReprintIn PMID SummaryForPatientsIn RefSource SummaryForPatientsIn PMID OriginalReportIn RefSource OriginalReportIn PMID UpdateIn RefSource UpdateIn PMID select MedlineCitationID PMID CommentOn RefSource CommentOn PMID CommentIn RefSource CommentIn PMID ErratumIn RefSource ErratumIn PMID 26 ErratumIn Note ReprintIn RefSource ReprintIn PMID SummaryForPatientsIn RefSource SummaryForPatientsIn PMID OriginalReportIn RefSource OriginalReportIn PMID UpdateIn RefSource UpdateIn PMID from CK PubMed dbo TB CommentsCorrections insertinto PubMed dbo TB chemic