知网数字资源保存实践.ppt

知网数字资源保存实践,中国知网 2013/9/10 北京,提纲,知网资源的现状 知网资源保存中的问题 知网资源保存的技术方案,知网资源的现状,学术期刊: 4000万篇 博硕士论文： 200万本 会议论文： 200万篇 报纸论文： 1200万篇 工具书： 1800万条 统计年鉴： 200万条 专利： 4100万条 标准： 59万条 外文题录： 1.2亿条 每年新增： 600万条/篇,数据规模,学术期刊: 16TB 博硕士论文： 10TB 会议论文： 1TB 报纸论文： 1TB 工具书： 0.5TB 年鉴统计年鉴： 2TB 专利： 6TB 图片库: 9TB 其他: 2TB 日志数据 32TB 合计： 79.5TB 年新增数据： 10TB,数据规模,TB,知网数字资源保存的范围,原始数据 出版商 合作单位 网络采集,中间格式数据 元数据 统一格式数据 文本,图像,视屏,规范数据 作者 机构 标引 分类,关联数据 知识元 引用 相似 下载数据,出版产品数据 数据库,访问日志 各数据库访问情况 各出版物访问情况,互联网资源 博客、报纸、媒体、行业机构、论文、港澳台、OA资源、大学网站、政府类网站,系统数据 维持系统服务的相关配置数据，系统环境数据,变化的 系统,知网资源保存的特点,静态的资源 原始数据 出版商 合作单位,缓慢变化资源 元数据，少量修改，规范数据,变化较大的资源 关联数据 引文数据,增长较快的资源 出版数据 日志数据,知网数字资源保存中的问题,内容编码的问题 格式使用的问题 软件兼容的问题 更新服务的问题 数据库系统升级的问题 数据校验的问题 版本管理问题 数据压缩的问题 保存硬件的问题,知网数字资源保存问题(1)： 文本内容编码的问题,原始编码还是统一编码？ GB2312 GBK BIG5 UNICODE utf8 utf16 utf32,知网数字资源保存问题(2)： 图像音视频格式,JPG jpeg2000 PNG GIF/TIFF WebP 比jpeg少40% 视频： H.264，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.52倍。,知网数字资源保存问题(3)： 软件兼容的问题,WORD6 WORD2000 WORD2007 WPS LATEX PDF1.1-PDF1.6 S2，S72，S92.,知网数字资源保存问题(4)： 数据更新,数据有加工错误 作者名字 数据有传输错误 格式转换的错误 文字错误 新规范实施导致 新格式 关联数据 引用数据,知网数字资源保存问题(5)： 系统保存与升级,知网在运行系统 KNS6 KNS5.5 KNS5.0 KNS4.0， 部分镜像用户 CAJCD，光盘系统用户 不同系统的数据并不相同 KNS6KNS5.5KNS5.0KNS4CAJCD.,知网数字资源保存问题(6)： 数据校验的问题,数据损坏 硬件 软件 可恢复的损坏 整体可恢复 部分可恢复 不可恢复的损坏 快速发现数据损坏的方法与措施？,知网数字资源保存问题(7)： 数据版本管理问题,数据更新的记录 什么时间更新的 谁更新的 更新了什么 形成更新事务，可以回退到上一个版本。,知网数字资源保存问题(8)： 数据压缩的问题,压缩节约空间，但在数据损坏的情况下，压缩的内容是否可以恢复？ 压缩内容的可恢复性?完整性？ 一个字节坏了，导致整个文件不可恢复。,知网数字资源保存策略,云模式 与服务体系向衔接：具有快速部署与接入能力。 持续更新与转化能力：两年转换一次 支持动态的持续的资源更新 支持大数据挖掘应用 保存与服务相协调,知网资源保存的技术方案,对象数据 存档库,元数据 存档库,格式 转换系统,检测 校验系统,数据 更新系统,云存档 管理系统,在线服务 系统接入,对象数据 存档库,知网CNKI存档服务器,对象数据基于分布式系统的CNKI 云ArchiveServer. CNKI云存储系统是一个基础服务平台，为其他应用产品提供云存储服务支撑。既能满足CNKI海量的、零散的数据分布式云存储服务平台，也是能够满足一般用户云存储需求的通用分布式文件存储系统。 系统结合GFS的主存索引辅存存储模型以及FASTDFS分组模型来存储和冗余备份数据，采用KBASE数据库提供索引服务，实体数据分数据块加密存储，将零散的数据有效的打包合并加密，对外提供统一的文件管理服务。解决文件零散不便管理以及裸数据扩散问题。 提供 分布式存储服务，数据多备份服务，数据校验服务，数据恢复服务，数据版本管理，数据挖掘服务，自动扩展，数据加密存储，访问日志。,node,node,node,name,data node,node,node,name,node,data node,data node,data node,name,data node,dcs,config,monitor,log,msg,msg,msg,dagta node,data node,TCP/ IP,manager,client,user,app,config,file,disk,task,minitor,logs,COM/WCF/CLR/JAR,name interface,value interface,TCP/ IP,apps,系统架构图,系统性能,并发数与文件写入请求数 单个节点每小时能提供最大10万次（1M）的文件写入 在次测试环境下，四节点能达到写入最大值为35万次，8个节点受限于网络无法测试最大值,系统性能,并发数和吞吐量变化 8个存储节点并发数达到160是达到最大吞吐量120M左右,系统性能,并发数与文件请求数对比 单节点能提供每小时40万次（平均1M）文件下载，双节