数据质量检查模块V0功能规范

1 CALIS 学位论文和特色库本地系统学位论文和特色库本地系统 数据质量检查模块数据质量检查模块 V2 0 功能规范功能规范 CALIS 管理中心 2006 年 10 月 一 概述一 概述 CALIS OAI Record 格式和发布规范 定义了 CALIS 数据发布模式 2 对于该模 式中的 数据质量检查模块 V2 0 本文给出了具体功能规范 数据质量检查模块 V2 0 简称 数据质量检查模块 需作为学位论文或特色库 本地系统的一个组成部分 该模块有两种使用方式 方式 1 该模块用于对 CALIS 数据发布模式 2 中的 OAI 记录文件 该文件遵 循 CALIS OAI Record V2 0 格式 可以在同一条 OAI 记录中同时包含元数据 和数字对象 进行校验 方式 2 本地系统在将数据送入 OAI DP 之前 自动调用该模块对拟发布的元数 据和数字对象进行质量检查和校验 数据质量检查模块的使用者主要图书馆中学位论文或特色库本地系统的系统管理员 或者数据管理员 对于学位论文本地系统 需设置一个系统参数 论文必备性校验分界日期 CALIS ETD verify sep date 若某篇学位论文的 论文授予日期 大于等于指定该 分界日期 则采用 CALIS 学位论文元数据必备性规则 2 进行校验 否则采用 CALIS 学位论文元数据必备性规则 1 进行校验 二 界面规范二 界面规范 管理员首先使用本地系统的 OAI 文件导出模块进行 OAI 记录文件 遵循 CALIS OAI Record V2 0 格式 的导出 然后 管理员再使用 数据质量检查模块 对 OAI 记录 文件中的数据在数据格式 必备性 一致性等方面进行检查和校验 校验无误后 管理员 才能将这些文件通过 FTP 上传 或者通过 OAI DP 自动对外发布 数据质量检查模块的界面应尽量简单易操作 提示信息明确 该界面至少应包含以 下部分 1 oai 记录文件夹 文件名 输入框 可以手工输入要检查文件存放的文件夹或文 件名 2 oai 记录文件夹选择按钮 可以用可视对话框的方式选择要检查的文件夹或文件 3 oai 文件检查按钮 4 结果提示文字框 2 数据质量检查模块的界面如下图所示 图图 1 数据质量检查模块 数据质量检查模块 V2 0 的界面示意的界面示意 特别注意 对于学位论文本地系统 参数 CALIS ETD verify sep date 论文必备性校验分 界日期 应能由管理员统一配置 三 功能规范三 功能规范 数据质量检查模块 V2 0 对于 CALIS 数据发布模式 2 的 OAI 记录文件进行校验 时可能会发现一些错误 这些错误提示应遵循 CALIS 学位论文和特色库本地系统的数据 质量检查模块的错误代码规范 规范 数据质量检查模块 V2 0 对 OAI 记录文件的校验分为以下两种情形 1 用于对 OAI 记录文件进行校验 2 与本地系统联动 用于对 OAI DP 中即将发布的 OAI 记录数据进行校验 3 1 对对 OAI 记录文件的校验记录文件的校验 对 OAI 记录文件 按照 CALIS OAI Record V2 0 格式 要求进行校验 该校验工 作包括以下几个方面 1 对对 OAI Record 文件名称的校验文件名称的校验 a 文件名称是否采用以下拼接形式生成 3 完整的 MetaID 导出时间戳 oai xml 这种校验的错误代码为 01002A b 完整的 MetaID 部分是否采用以下拼接形式生成 仓储标识 本地应用系统前缀 本地元数据标识 这种校验的错误代码为 01003A c 完整的 MetaID 部分是否进行了 application x www form urlencoded MIME 格式转换 型如 oai 3A 3Aetd dr 2FA1002 这种校验的错误代码为 01003B d 导出时间戳 部分是否为型如 2005 01 01T10 02 30Z 的 20 位零时区 时间格式 这种校验的错误代码为 01004A e 导出时间戳 部分是否进行了 application x www form urlencoded MIME 格式转换 型如 2005 01 01T10 3A02 3A30Z 这种校验的错误代码为 01004B f OAI Record 文件名称是否型如 oai 3A 3Aetd dr 2FA1002 2005 01 01T10 3A02 3A30Z oai xml 这种校验的错误代码为 01002B 2 对对 OAI Record 文件的内容进行校验文件的内容进行校验 a 用 Record Schema record xsd 校验 XML 文件是否合法 schema 地址为 这种校验的错误代码为 01009 b 取出 record header identifier 下的元数据标识符的值 并同 OAI Record 文 件名称中的 完整的 MetaID 进行比较 这两个值应该一致 这种校验的错误代码为 01010 c 取出 record header datestamp 下的元数据时间戳的值 该值应该是一个 20 位的零时区时间值 这种校验的错误代码为 01011 d 取出 record metadata 下的元数据 XML 片断 对元数据内容进行校验 a 该部分的元数据 当符合不同元数据格式时 所使用的元数据 Schema 是 不同的 所以 需要取出根元素的 xsi schemaLocation 属性值 并获得其 中包含的 schema 的地址 利用该 schema 对当前元数据 XML 片断进行校 4 验 这种校验的错误代码为 01012 b 根据对应格式的元数据规范和著录规则 逐一对各个元素和子元素修饰词 的必备性 1 1 或 1 和不可重复性 0 1 或 1 1 进行校验 对于学位论文系统 若该元数据的 论文授予日期 大于等于指定的 论 文必备性校验分界日期 则采用 CALIS 学位论文元数据必备性规则 2 进 行校验 否则采用 CALIS 学位论文元数据必备性规则 1 进行校验 对于特色库 没有上述分界日期 但 type 取值必须在 专题特色库信息 资源名称规范列表 中取词 对于学位论文 按照 CALIS 学位论文元数据必备性规则 1 进行校验所 用的错误代码为 02001 02001E 按照 CALIS 学位论文元数据必备性规则 2 进 行校验所用的错误代码为 02001 02001E 对于特色库 这种校验的错误代码为 02001 02001E c 当语种元素 language 的编码体系修饰词为 scheme ISO 639 2 时 语种值必须符合 ISO 639 2 http www id3 org iso639 2 html 这种校验的错误代码为 02009 d 当与时间相关的元素或子元素修饰词的编码体系修饰词为 scheme W3C DTF 时 其时间值必须符合 W3C DTF http www w3 org TR NOTE datetime 这种校验的错误代码为 02010 yyyy yyyy mm yyyy mm dd yyyy mm ddThh mm ssZ 当该元数据含有对应的数字对象时 需要在元数据中携带 CALIS OID 1 需要在元数据中携带 CALIS OID 型如 urn CALIS ETD C 这种校验的错误代码为 02001F 2 需要在元数据中携带 format 从 CALIS METS 包结构规范 附注 一中取值 这种校验的错误代码为 02001G e 当含有 CALIS OID 时 CALIS OID 的构成方式必须符合 CALIS 数字对 象唯一标识符命名规范 中复杂对象 CALIS OID 的命名方式 即型如 urn CALIS 高校馆代码或资源商代码 本地集合名 本地 标识 这种校验的错误代码为 01015 5 f 当元数据中含有学科信息时 需要提供相应的学科代码信息 i 对于教育部学科代码 型如 教育部学科代码 这种校验的错误代码为 02008 ii 对于其他的学科代码 采用相应的学科代码值表进行校验 e 取出 record about 下的 METS 包 XML 片断 并按以下步骤对其进行校验 a 利用 METS 1 3 的 Schema 对 METS 数字对象文件进行校验 schema 地址 为 http www loc gov standards mets version13 mets xsd 这种校验的错误代码为 01014 b 取出 mets 元素的属性 LABEL 的值 该值必备 而且必须与 OAI Record 文件的文件名称中的 完整的 MetaID 部分的值一致 这种校验的错误代码为 02007A c 取出 mets 元素的属性 OBJID 的值 该值必备 而且必须元数据 metadata 中的 CALIS OID 的值一致 这种校验的错误代码为 02007B d 取出 mets 元素的属性 PROFILE 的值 该值有则必备 这种校验的错误代码为 02007C e 取出 mets metsHdr 的属性 LASTMODDATE 的值 如有数字对象 存在 mets file 则该值必备 而且必须为 20 位零时区时间 这种校验的错误代码为 02007D 3 2 对对 OAI 记录数据的校验记录数据的校验 对 OAI 记录数据 按照 CALIS OAI Record V2 0 格式 要求进行校验 该校验工 作包括以下几个方面 1 对对 OAI Record 内容进行校验内容进行校验 a 用 OAI PMH Schema record xsd 校验 XML 文件是否合法 schema 地址 为 http www openarchives org OAI 2 0 OAI PMH xsd 这种校验的错误代码为 01008 b 取出 record header datestamp 下的元数据时间戳的值 该值应该是一个 20 位的零时区时间值 这种校验的错误代码为 01011 c 取出 record metadata 下的元数据 XML 片断 对元数据内容进行校验 f 该部分的元数据 当符合不同元数据格式时 所使用的元数据 Schema 是 6 不同的 所以 需要取出根元素的 xsi schemaLocation 属性值 并获得其 中包含的 schema 的地址 利用该 schema 对当前元数据 XML 片断进行校 验 这种校验的错误代码为 01012 g 根据对应格式的元数据规范和著录规则 逐一对各个元素和子元素修饰词 的必备性 1 1 或 1 和不可重复性 0 1 或 1 1 进行校验 对于学位论文系统 若该元数据的 论文授予日期 大于等于指定的 论 文必备性校验分界日期 则采用 CALIS 学位论文元数据必备性规则 2 进 行校验 否则采用 CALIS 学位论文元数据必备性规则 1 进行校验 对于特色库 没有上述分界日期 但 type 取值必须在 专题特色库信息 资源名称规范列表 中取词 对于学位论文 按照 CALIS 学位论文元数据必备性规则 1 进行校验所 用的错误代码为 02001 02001E 按照 CALIS 学位论文元数据必备性规则 2 进 行校验所用的错误代码为 02001 02001E 对于特色库 这种校验的错误代码为 02001 02001E h 当语种元素 language 的编码体系修饰词为 scheme ISO 639 2 时 语种值必须符合 ISO 639 2 http www id3 org iso639 2 html 这种校验的错误代码为 02009 i 当与时间相关的元素或子元素修饰词的编码体系修饰词为 scheme W3C DTF 时 其时间值必须符合 W3C DTF http www w3 org TR NOTE datetime 这种校验的错误代码为 02010 j 当该元数据含有对应的数字对象时 1 需要在元数据中携带 CALIS OID 型如 urn CALIS ETD C 这种校验的错误代码为 02001F 2 需要在元数据中携带 format 从 CALIS METS 包结构规范 附注 一中取值 这种校验的错误代码为 02001G k 当含有 CALIS OID 时 CALIS OID 的构成方式必须符合 CALIS 数字对 象唯一标识符命名规范 中复杂对象 CALIS OID 的命名方式 即型如 urn CALIS 高校馆代码或资源商代码 本地集合名 本地 标识 这种校验的错误代码为 01015 l 当元数据中含有学科信息时 需要提供相应的学科代码信息 i 对于教育部学科代码 型如 这种校验的错误代码为 02008 7 教育部学科代码 ii 对于其他的学科代码 采用相应的学科代码值表进行校验 这种校验的错误代码为 02008 m 取出 record about 下的 METS 包 XML 片断 并按以下步骤对其进行校验 n 利用 METS 1 3 的 Schema 对 METS 数字对象文件进行校验 schema 地址 为 http www loc gov standards mets version13 mets xsd 这种校验的错误代码为 01014 o 取出 mets 元素的属性 LABEL 的值