数据质量检查模块V0功能规范.doc

.CALIS学位论文和特色库本地系统数据质量检查模块V2.0功能规范CALIS管理中心2006年10月一、概述CALIS OAI Record格式和发布规范定义了“CALIS数据发布模式2”。对于该模式中的“数据质量检查模块V2.0”，本文给出了具体功能规范。“数据质量检查模块V2.0”（简称“数据质量检查模块”）需作为学位论文或特色库本地系统的一个组成部分。该模块有两种使用方式： 方式1：该模块用于对“CALIS数据发布模式2”中的OAI记录文件（该文件遵循“CALIS OAI Record V2.0格式”，可以在同一条OAI记录中同时包含元数据和数字对象）进行校验。 方式2：本地系统在将数据送入OAI-DP之前，自动调用该模块对拟发布的元数据和数字对象进行质量检查和校验。数据质量检查模块的使用者主要图书馆中学位论文或特色库本地系统的系统管理员或者数据管理员。对于学位论文本地系统，需设置一个系统参数“论文必备性校验分界日期（CALIS_ETD_verify_sep_date）”，若某篇学位论文的“论文授予日期”大于等于指定该分界日期，则采用“CALIS学位论文元数据必备性规则2”进行校验，否则采用“CALIS学位论文元数据必备性规则1”进行校验。二、界面规范管理员首先使用本地系统的OAI文件导出模块进行OAI记录文件（遵循“CALIS OAI Record V2.0格式”）的导出。然后，管理员再使用“数据质量检查模块”对 OAI记录文件中的数据在数据格式、必备性、一致性等方面进行检查和校验。校验无误后，管理员才能将这些文件通过FTP上传，或者通过OAI-DP自动对外发布。数据质量检查模块的界面应尽量简单易操作，提示信息明确。该界面至少应包含以下部分：1 oai记录文件夹（文件名）输入框，可以手工输入要检查文件存放的文件夹或文件名。2 oai记录文件夹选择按钮，可以用可视对话框的方式选择要检查的文件夹或文件3 oai文件检查按钮4 结果提示文字框数据质量检查模块的界面如下图所示：图1：数据质量检查模块V2.0的界面示意【特别注意】 对于学位论文本地系统，参数CALIS_ETD_verify_sep_date（论文必备性校验分界日期）应能由管理员统一配置。三、功能规范“数据质量检查模块V2.0”对于“CALIS数据发布模式2”的OAI记录文件进行校验时可能会发现一些错误，这些错误提示应遵循CALIS学位论文和特色库本地系统的数据质量检查模块的错误代码规范规范。“数据质量检查模块V2.0”对OAI记录文件的校验分为以下两种情形：1) 用于对OAI记录文件进行校验；2) 与本地系统联动，用于对OAI-DP中即将发布的OAI记录数据进行校验。3.1对OAI记录文件的校验对“OAI记录文件”，按照“CALIS OAI Record V2.0格式”要求进行校验，该校验工作包括以下几个方面：（1） 对OAI Record文件名称的校验（a） 文件名称是否采用以下拼接形式生成：“完整的MetaID” “” “导出时间戳” “.oai.xml”这种校验的错误代码为01002A。（b） “完整的MetaID”部分是否采用以下拼接形式生成：“仓储标识” “-” “本地应用系统前缀” “/” “本地元数据标识”这种校验的错误代码为01003A。（c） “完整的MetaID”部分是否进行了application/x-www-form-urlencoded MIME格式转换，型如：oai%3A211011.%3Aetd-dr%2FA1002这种校验的错误代码为01003B。（d） “导出时间戳”部分是否为型如“2005-01-01T10:02:30Z”的20位零时区时间格式这种校验的错误代码为01004A。（e） “导出时间戳”部分是否进行了application/x-www-form-urlencoded MIME格式转换，型如：2005-01-01T10%3A02%3A30Z这种校验的错误代码为01004B。（f） OAI Record文件名称是否型如：oai%3A211011.%3Aetd-dr%2FA10022005-01-01T10%3A02%3A30Z.oai.xml这种校验的错误代码为01002B。（2） 对OAI Record文件的内容进行校验（a） 用Record Schema（record.xsd）校验XML文件是否合法，schema地址为：/metadata_ns/oai/record/record.xsd这种校验的错误代码为01009。（b） 取出record-header-identifier下的元数据标识符的值，并同OAI Record文件名称中的“完整的MetaID”进行比较，这两个值应该一致这种校验的错误代码为01010。（c） 取出record-header-datestamp下的元数据时间戳的值，该值应该是一个20位的零时区时间值这种校验的错误代码为01011。（d） 取出record-metadata下的元数据XML片断，对元数据内容进行校验a) 该部分的元数据，当符合不同元数据格式时，所使用的元数据Schema是不同的，所以，需要取出根元素的xsi:schemaLocation属性值，并获得其中包含的schema的地址，利用该schema对当前元数据XML片断进行校验这种校验的错误代码为01012。b) 根据对应格式的元数据规范和著录规则，逐一对各个元素和子元素修饰词的必备性（1,1或1,）和不可重复性（0,1或1,1）进行校验对于学位论文系统，若该元数据的“论文授予日期”大于等于指定的“论文必备性校验分界日期”，则采用“CALIS学位论文元数据必备性规则2”进行校验，否则采用“CALIS学位论文元数据必备性规则1”进行校验。对于特色库，没有上述分界日期。但type取值必须在专题特色库信息资源名称规范列表中取词。对于学位论文，按照“CALIS学位论文元数据必备性规则1”进行校验所用的错误代码为0200102001E；按照“CALIS学位论文元数据必备性规则2”进行校验所用的错误代码为0200102001E。对于特色库，这种校验的错误代码为0200102001E。c) 当语种元素（language）的编码体系修饰词为“scheme=ISO 639-2”时，语种值必须符合ISO 639-2（/iso639-2.html）这种校验的错误代码为02009。d) 当与时间相关的元素或子元素修饰词的编码体系修饰词为“scheme= W3C-DTF”时，其时间值必须符合W3C-DTF（/TR/NOTE-datetime）这种校验的错误代码为02010。yyyyyyyy-mmyyyy-mm-ddyyyy-mm-ddThh:mm:ssZ当该元数据含有对应的数字对象时，需要在元数据中携带CALIS-OID（1）需要在元数据中携带CALIS-OID，型如：urn:CALIS:211011-ETD/C2005000001这种校验的错误代码为02001F。（2）需要在元数据中携带format（从CALIS METS包结构规范附注一中取值）这种校验的错误代码为02001G。e) 当含有CALIS-OID时，CALIS-OID的构成方式必须符合CALIS数字对象唯一标识符命名规范中复杂对象CALIS-OID的命名方式，即型如：“urn:CALIS:”“高校馆代码或资源商代码”“-”“本地集合名”“/”“本地标识”这种校验的错误代码为01015。f) 当元数据中含有学科信息时，需要提供相应的学科代码信息。i. 对于教育部学科代码，型如教育部学科代码这种校验的错误代码为02008。ii. 对于其他的学科代码，采用相应的学科代码值表进行校验（e） 取出record-about下的METS包XML片断，并按以下步骤对其进行校验a) 利用METS 1.3的Schema对METS数字对象文件进行校验，schema地址为：/standards/mets/version13/mets.xsd这种校验的错误代码为01014。b) 取出mets元素的属性LABEL的值，该值必备，而且必须与OAI Record文件的文件名称中的“完整的MetaID”部分的值一致这种校验的错误代码为02007A。c) 取出mets元素的属性OBJID的值，该值必备，而且必须元数据（metadata）中的CALIS-OID的值一致这种校验的错误代码为02007B。d) 取出mets元素的属性PROFILE的值，该值有则必备这种校验的错误代码为02007C。e) 取出mets-metsHdr的属性LASTMODDATE的值，如有数字对象（存在mets-file）则该值必备，而且必须为20位零时区时间这种校验的错误代码为02007D。3.2对OAI记录数据的校验对“OAI记录数据”，按照“CALIS OAI Record V2.0格式”要求进行校验，该校验工作包括以下几个方面：（1） 对OAI Record内容进行校验（a） 用OAI-PMH Schema（record.xsd）校验XML文件是否合法，schema地址为：/OAI/2.0/OAI-PMH.xsd这种校验的错误代码为01008。（b） 取出record-header-datestamp下的元数据时间戳的值，该值应该是一个20位的零时区时间值这种校验的错误代码为01011。（c） 取出record-metadata下的元数据XML片断，对元数据内容进行校验f) 该部分的元数据，当符合不同元数据格式时，所使用的元数据Schema是不同的，所以，需要取出根元素的xsi:schemaLocation属性值，并获得其中包含的schema的地址，利用该schema对当前元数据XML片断进行校验这种校验的错误代码为01012。g) 根据对应格式的元数据规范和著录规则，逐一对各个元素和子元素修饰词的必备性（1,1或1,）和不可重复性（0,1或1,1）进行校验对于学位论文系统，若该元数据的“论文授予日期”大于等于指定的“论文必备性校验分界日期”，则采用“CALIS学位论文元数据必备性规则2”进行校验，否则采用“CALIS学位论文元数据必备性规则1”进行校验。对于特色库，没有上述分界日期。但type取值必须在专题特色库信息资源名称规范列表中取词。对于学位论文：按照“CALIS学位论文元数据必备性规则1”进行校验所用的错误代码为0200102001E；按照“CALIS学位论文元数据必备性规则2”进行校验所用的错误代码为0200102001E。对于特色库，这种校验的错误代码为0200102001E。h) 当语种元素（language）的编码体系修饰词为“scheme=ISO 639-2”时，语种值必须符合ISO 639-2（/iso639-2.html）这种校验的错误代码为02009。i) 当与时间相关的元素或子元素修饰词的编码体系修饰词为“scheme= W3C-DTF”时，其时间值必须符合W3C-DTF（/TR/NOTE-datetime）这种校验的错误代码为02010。j) 当该元数据含有对应的数字对象时，（1）需要在元数据中携带CALIS-OID，型如：urn:CALIS:211011-ETD/C2005000001这种校验的错误代码为02001F。（2）需要在元数据中携带format（从CALIS METS包结构规范附注一中取值）这种校验的错误代码为02001G。k) 当含有CALIS-OID时，CALIS-OID的构成方式必须符合CALIS数字对象唯一标识符命名规范中复杂对象CALIS-OID的命名方式，即型如：“urn:CALIS:”“高校馆代码或资源商代码”“-”“本地集合名”“/”“本地标识”这种校验的错误代码为01015。l) 当元数据中含有学科信息时，需要提供相应的学科代码信息。i. 对于教育部学科代码，型如这种校验的错误代码为02008。教育部学科代码ii. 对于其他的学科代码，采用相应的学科代码值表进行校验这种校验的错误代码为02008。m) 取出record-about下的METS包XML片断，并按以下步骤对其进行校验n) 利用METS 1.3的Schema对METS数字对象文件进行校验，schema地址为：/standards/mets/version13/mets.xsd这种校验的错误代码为01014。o) 取出mets元素的