纸质档案数字化工作流程与规范要求.ppt

纸质档案数字化工作流程 与规范要求,采用扫描仪等设备对纸质档案进行数字化加工，使其转化为存储在磁带、磁盘、光盘等载体上的数字图像，并按照纸质档案的内在联系，建立起目录数据与数字图像关联关系的处理过程。,采用扫描仪或数码相机等数码设备对纸质档案进行数字化加工，将其转化为存储在磁带、磁盘、光盘等载体上并能被计算机识别的数字图像或数字文本的处理过程（DAT/31-2005)。,纸质档案数字化的概念,纸质档案数字化的意义,一、确保传统载体档案实体安全 档案数字化后，档案利用以数字资源（电子目录+扫描图像）为主，档案实体可以少动或者不动，从而大大减少对档案实体的各种人为损害或自然侵害。,二、提高档案现代化管理水平 档案数字化前，必须进行手工检索纸质目录，逐卷逐件查找档案内容，数字化后，利用档案管理软件，可以实时检索档案电子目录，通过OCR技术，可以实现档案的全文检索，档案的查全率查准率得到极大的提升。同时档案数字化也可以带动档案基础工作的全面完成，使档案管理状况得到全面改善，是档案管理水平得到全面提升。,三、降低工作强度，提升工作效率 档案数字化后，阅览、编研、举办展览等利用档案实体的工作，都不需要到库房提调档案，也不用档案归还入库时逐件逐页清点，降低了档案管理工作的强度，避免了反复印制资料而造成的纸张和人员的浪费。档案实体封存后，节省很多档案的日常管理工作，提升了工作效率，同时档案由于年代久远，表面附着大量有毒有害灰尘，越老的档案有毒有害灰尘越多，档案封存减少了与档案实体的接触，侧面保护了档案工作者的健康。 。,数字档案室建设应当遵循“资源为先，标准规范，整体推进，确保安全”的原则，资源建设是数字档案室建设的根本。数字档案室应坚持“资源为王”，着眼于数字档案资源建设，各级档案室的现存档案，目前大多还是传统载体而非数字形态，因此，数字档案室建设的首要任务，就是要把传统载体的档案数字化，而绝大多数传统载体档案均为纸质档案。,数字档案室：是指机关在履行职能过程中，运用现代信息技术对电子档案和传统载体档案数字副本等数字档案信息进行采集、整理、存储、管理，并通过不同类型网络提供共享利用和有限公共档案信息服务的档案信息集成管理平台。,纸质档案数字化和数字档案室的关系,5,数字档案资源,数字档案资源,6,数字档案资源应用分类,档案前处理,档案数据鉴定,电子文件采集,目录数据建库,发布利用,生成电子档案,档案生成数字图像,数据挖掘,数据检查及整理,数据检查及整理挂接,数字化成果接收,实时归档,数据分级存储管理 (在线/离线),归档数据管理,归档数据管理,室藏档案数字化,电子档案,发布利用,数据安全防护,馆（室）藏档案数字化工作是数字档案馆（室）资源体系建设的重要手段和方式，国家档案局对档案数字化工作十分重视。 2002年 国家档案局中央档案馆关于印发全国档案信息化建设实施纲要（档发【2002】8号）的通知中要求各地综合档案馆在“十五”期间以档案信息资源建设为核心，以扩大档案信息资源开发利用为目标，加强档案目录数据库建设，积极推进档案全文数据库和多媒体数据库建设，以现实需要为前提，分阶段、分步骤实施档案数字化进程。 2010年 国家档案局印发数字档案馆建设指南，指出传统载体档案数字化是现阶段数字档案资源建设的一个重要途径。应当统筹规划，分步实施。应当通过数字化工作，对馆藏档案进行全面的梳理。如果对馆藏档案无法一次性全面数字化，可以按照特殊载体优先、重要程度优先、共享性强优先等原则分布实施。 2013年10月 时任国家档案局局长杨冬权在全国数字档案馆（室）建设推进会上的讲话，要求数字档案馆（室）建设的首要任务，就是要把纸质档案、音像档案等传统载体的档案数字化。不完成这项任务，档案馆（室）就不能实现转型升级，就必然要在大数据时代落伍，就肯定不能跨进现代化的门槛。,（DA/T31-2005）,国家档案局出台了纸质档案数字化技术规范（DA/T31-2005）,（征求意见稿）,国家下发了纸质档案数字化技术规范（征求意见稿）,（DA/T31-2017）,2018年1月1日正式实施,2015年,2017年,2005年,Step 4,Step 3,Step 2,Step 1,档案数据挖掘,档案全文识别处理,档案扫描和文件级著录,档案扫描和案卷级著录,档案数字化的四个层级,档案扫描及案卷级著录,档案扫描及案卷级著录,档案扫描及案卷级著录,档案扫描及文件级著录,档案扫描及文件级著录,档案全文识别处理,档案全文识别处理,档案数据挖掘,总体架构示意图,文本 数据,挖掘算法,本体,人物 时间 地点 事件 特点,元数据,关联 网络 地图,展示,档案数据挖掘,胡适（1891年12月17日-1962年2月24日），原名嗣穈，学名洪骍，字希疆，笔名胡适，字适之。著名思想家、哲学家。徽州绩溪人，以倡导“白话文、领导新文化运动闻名于世。”幼年就读于家乡私塾，19岁考取庚子赔款官费生，留学美国，师从哲学家约翰杜威，1917年夏回国，受聘为北京大学教授。,民间传说中，唐末，天下大乱，各路英雄争雄，逐鹿于中原。黄巢农民起义异军突起，天秸元年(904)八月，朱全忠杀唐昭宗，第二年唐昭宗的遗腹子李昌翼出生，在徽州婺源考水被一个叫胡三的人收为义子，改姓胡。昌翼长大后，于五代后唐同光三年(925)中明经科及第，故其后裔称明经胡氏，因其是李姓后裔，明经胡氏忌与李氏通婚。明经胡氏人才辈出，最著名的有二支，即宋元时期的婺源胡炳文家族和近代绩溪胡适、胡雪岩家族。,这些数据讲了什么样的故事？,胡李不通婚的家规是真的吗？,从唐末至明初，真的没有一人娶过姓李的姑娘！,如果你是上川明经胡氏的后人，娶一位姓曹的女纸吧,男性成员8915人 配偶共4733人,基于数据统计分析知识的可视化,档案数据挖掘,范 围,适用于采用扫描设备对纸质档案的数字化加工过程的管理,档案数字化工作原则： 遵循符合国家法律法规的原则 价值性原则 满足社会利用的原则 过程管理原则 保证数字化质量原则 保证档案及档案信息安全原则,档案数字化工作流程： 确定数字化对象与制定总体方案 档案出库 数字化前处理 建立数据库 档案扫描 图像处理 档案入库 数字化成果验收,确定数字化对象与制定总体方案,确定数字化对象与制定总体方案要从机构及人员、基础设施、制定工作方案、工作流程控制、管理制度、工作文件管理、档案数字化外包等方面具体考虑。,（一）机构及人员 应建立完善的纸质档案数字化工作组织机构，对纸质档案数字化工作进行统筹规划、组织实施、协调管理、安全保障、技术保障、监督检查、成果验收等，确保纸质档案数字化工作的顺利开展。 应配备具备相应素质的管理和技术人员。通过科学规范的管理制度对此项工作进行规范化管理。为加强纸质档案数字化工作的安全保障，应加强对外聘工作人员的审核。,确定数字化对象与制定总体方案,（二）基础设施 应配备专用加工场地，要求布局合理，要有档案存放、数字化前处理、档案目录建库、档案扫描、图像处理、质量检查、后期整理等工作区域。 场地要满足档案实体的保护要求。应配备可覆盖全部场地的防火、防水、防有害生物、防盗报警、视频监控等安全管理系统。 应配备扫描仪、计算机等档案数字化设施设备，确保设施设备安全、先进，能够满足纸质档案数字化工作的需要。,（三）制定工作方案 工作方案应综合考虑确定数字化对象、数字化目的、档案状况、设备情况、是否外包、费用等，确保纸质档案数字化工作达到预期目标。 工作方案中应包括工作目标、工作内容、成本核算、技术方法和主要技术指标、验收依据、人员安排、责任分工、进度要求、安全管理措施、外包要求等内容。 工作方案应经相关领导审批后严格执行。 确定数字化对象：要考虑档案的珍贵程度、开放程度、利用率、亟待抢救程度、数字化资金情况等因素。,确定数字化对象与制定总体方案,（四）工作流程控制 制定的工作流程和各环节操作规范等，可对数字化全过程进行有效的控制。比如，及时对档案扫描、图像处理等各个环节产生的工作数据进行备份；应建立完善的问题反馈机制，对纸质档案数字化工作过程中发现的问题及时进行反馈和完善，确保数字化成果质量。,（五）管理制度 要求从岗位管理、人员管理、场地管理、设备管理、数据管理等方面制定科学、规范的管理制度，并在数字化工作过程中严格执行，以便使纸质档案数字化工作质量和档案安全得以有效保障。 岗位管理制度主要规定数字化工作各岗位的目标和职责，形成明确的岗位业务流程规范、考核标准、奖惩办法等；人员管理制度主要对人员的安全保密、日常行为、外聘人员信息审核及管理、非工作人员来访登记等进行规范；场地管理制度主要对工作场地内基础设施及环境、网络、监控设施、现场物品及证件等的管理进行规范；设备管理制度主要对数字化工作各环节涉及的全部设备的管理进行规范，确保设备安全、科学、高效运行；数据管理制度主要对数字化各环节所产生的数据的管理进行规范。,确定数字化对象与制定总体方案,（六）工作文件管理 应针对数字化全过程建立完善的管理工作文件，以此加强对数字化工作的管理和监控。主要包括数字化工作方案、纸质档案数字化审批书、档案出入库交接单、纸质档案数字化流程单、质量检查情况登记单、数据验收单、验收报告、数字化成果移交清单等。并要求在数字化工作各环节准确、完整地填写各种工作表单。 采取数字化外包的，还应包括项目招标文件、投标文件、中标通知书、项目合同、保密协议等。 对数字化工作各环节形成的这些工作文件包括表单等，应加强管理，档案数字化工作完成后要进行整理、归档、移交。,确定数字化对象与制定总体方案,（七）档案数字化外包 档案数字化项目实施过程中，数字化实施单位应指派本单位工作人员参与档案数字化工作，进行数字化工作的监督、指导。也可采用第三方监理协助完成质量监控、进度监控、投资监控、安全监控和协调沟通等方面的工作。 数字化实施单位应从企业性质、股东组成、安全保密、企业规模、注册资金情况等方面严格审查数字化企业的相关资质；按照GB/T 20530-2006第5章的要求考察数字化企业的技术能力；从规章制度的建立健全程度等方面考查企业的管理能力；遵照政府采购法相关要求确定纸质档案数字化项目承担企业。 2014年12月，国家档案局发布了档案数字化外包安全管理规范，该规范从档案部门的安全管理、数字化服务机构的安全管理、数字化场所的安全管理、数字化加工设备、网络环境与数据载体的安全管理、档案实体的安全管理、档案数字化成果移交接收与设备处理的安全管理7个方面作了具体的要求。,档案出库,档案保管部门应按照纸质档案数字化工作方案确定的数字化对象开展档案调取、清点、登记等前期准备工作，并提交档案出库申请，经相关责任人批准后，严格按照档案库房管理规定为数字化对象办理出库相关手续，并与数字化部门共同清点无误后，对档案进行交接出库。 纸质档案数字化过程中，应设置距离数字化加工场所较近的保管库用以临时存放纸质档案，并对纸质档案的领取与归还进行严格管理，认真做好检查、清点、登记等工作，确保纸质档案的安全。,档案数字化前处理,纸质档案数字化前处理是数字化工作的重点和关键，纸质档案数字化前处理包括确定扫描范围、编制页号、拆除装订、规范目录、技术修复等几个方面。,（一）确定扫描范围 纸质档案数字化工作应特别注意保持纸质档案数字图像的完整性，原则上应将确定为数字化对象的纸质档案全部扫描，不宜进行挑扫。对确定不需扫描的，要在数字化结果中加上标记。,（二）编制页号 应对没有页号或页号不正确的档案重新编制页号。 应在统一位置书写页号，且不压盖档案内容。页号应从“1”开始连续编制。 书写页号所使用的笔、墨等不应破坏档案原件或对档案长期保存造成影响。 应将破损页面、缺页等特殊情况进行登记。,档案数字化前处理,（四）拆除装订 应以对纸质档案的保护为原则确定是否拆除装订。如需拆除装订物，应注意保护档案不受损害，并对排列顺序不准确的档案进行重排。特殊装订且拆除装订后需恢复的档案，在拆除装订物时应采用拍照等方式记录档案原貌，以便于恢复。,（三）目录数据准备 纸质档案数字化过程中，应进一步完善档案原件的排列、编目等工作。应按照纸质档案基本整理单位对档案进行精确划分，同时，对照档案原件对目录内容进行修改、补充，为在后续工作中建立目录数据库做好准备。 需要在利用过程中特别处理的页面，在目录中进行标识，并在后续工作中采集入数据库中，以便在利用时进行有针对性地处理。,（五）技术修复 破损严重、无法直接进行扫描的档案，应先由专业技术人员采用科学的技术方法进行技术修复。折皱不平影响扫描质量的原件应先进行压平或熨平等相应处理。平整页面时不得破坏档案原件固有形态，不得强行撕破档案页面。,建立目录数据库,按照DAT 18-1999档案著录规则的要求确定档案目录数据的著录项。 将纸质档案数字化前处理工作中对纸质档案目录进行修改、补充的结果录入数据库，形成准确、完整的目录数据。 数据库选择应考虑可转换为通用数据格式，以便于数据交换。 数据库结构的设计应特别注意保持档案的内在联系，有利于纸质档案数字化成果的管理和利用。 可采用计算机自动校对与人工校对相结合的方式，对目录数据的质量进行检查，包括著录项目的完整性、著录内容的规范性和准确性等。发现不合格的数据应及时进行修改。,档案扫描,（一）基本要求 档案扫描应根据纸质档案原件实际情况、数字化目的、数字化规模、计算机网络和存储条件等选择相应的扫描设备，和进行相关参数的设置和调整。参数的设置和调整应保证扫描后数字图像清晰、完整、不失真，图像效果最接近档案原貌。,（二）扫描设备 扫描设备的选择应特别注意对档案实体的保护，尽量采用对档案实体破坏性小的扫描设备进行数字化。 超出所使用扫描仪扫描尺寸的档案可采用更大幅面扫描仪进行扫描，也可以采用小幅面扫描仪分幅扫描后进行图像拼接的方式处理。分幅扫描时，相邻图像之间应留有足够的重叠，并且采用标板等方式明确说明分幅方法；若后期采用软件自动拼接的方式，重叠尺寸建议不小于单幅图像对应原件尺寸的1/3。 对于极其珍贵且尺寸不规则的档案，为方便直观显示原件大小,可采用标板、标尺等方式标识原件大小等信息。 应遵循相关设备的使用规律进行定期维护、保养。,（三）扫描色彩模式 扫描色彩模式的选择，应综合考虑档案原件情况、档案数字化规模、计算机网络条件、存储条件、利用目的等多种因素选择扫描色彩模式。为最大限度保留档案原件信息，建议采用彩色模式进行扫描。,档案扫描,（四）扫描分辨率 扫描分辨率的选择，应保证扫描后图像清晰、完整，并综合考虑数字图像后期利用方式等因素。 扫描分辨率应不小于200dpi。如文字偏小、密集、清晰度较差时，建议扫描分辨率不小于300dpi。 如有COM输出、仿真复制、印刷出版等其他用途时，可根据需要调整扫描分辨率。需要进行COM输出的档案，扫描分辨率建议不小于300 dpi；需要进行高精度仿真复制的档案，扫描分辨率建议不小于600 dpi；需要进行印刷出版的档案，可结合档案幅面、印刷出版幅面、印刷精度要求等选择合适的分辨率。,档案扫描,（五）存储格式 纸质档案数字图像长期保存格式为TIFF、JPEG或JPEG2000等通用格式，图像压缩率的选择可根据实际应用的需求而定。 纸质档案数字图像利用时，也可从网络浏览速度、易操作性、存储空间占用等方面进行综合考虑，将图像转换为OFD、PDF等其他格式。 同一批档案应采用相同的存储格式。,（六）图像文件命名 应依据档号为图像文件命名，确保图像文件名的唯一性。 扫描后的图像存储为单页文件时，可按档号与图像流水号的组合对图像文件命名。 扫描后的图像存储为多页文件时，可采用该档案的档号对图像文件命名。 应科学建立纸质档案数字副本的存储路径，确保数据挂接的准确性。,图像处理,（一）图像拼接 对大幅面档案进行分幅扫描形成的多幅图像，应进行拼接处理，合并成一个完整的图像，以保证档案数字图像的整体性。拼接时应确保拼接处平滑地融合，拼接后整幅图像无明显拼接痕迹。 （二）旋转及纠偏 对不符合阅读方向的图像应进行旋转还原。 对出现偏斜的图像应进行纠偏处理，以达到视觉上基本不感觉偏斜为准。 （三）裁边 如需对数字图像进行裁边处理，应在距页边最外延至少2至3毫米处裁剪数字图像，不得裁掉纸质档案原有页边，包括破损、歪斜页边。 （四）去污 如需去污处理，以去除在扫描过程中产生的污点、污线、黑边等影响图像质量的杂质；应严格遵循展现档案原貌的原则，不得去除档案页面原有的纸张褪变斑点、水渍、污点、装订孔等。 （五）图像质量检查 在检查时发现图像不完整、无法清晰识别或图像失真的，应重新扫描。 对于漏扫、重扫、多扫等情况，应及时纠正。 扫描图像的排列顺序与档案原件不一致时，应进行调整。 对图像拼接、旋转、纠偏、裁边、去污等处理情况进行检查，发现不符合图像质量要求时，应重新进行图像处理。,数据挂接,应借助相关软件对数据库中的目录数据与其对应的纸质档案数字图像进行挂接，以实现目录数据与数字图像的关联。 逐条对挂接结果进行检查，包括目录数据与纸质档案数字图像对应的准确性、已挂接数字图像与实际扫描数量的一致性、数字图像是否能正常打开等，发现错误及时进行纠正。,数字化成果验收,（一）验收方式 档案部门应成立专门的数字化成果验收组对数字化成果进行验收。 应采用计算机自动检验与人工检验相结合的方式对纸质档案数字化成果进行检查验收。,（二）验收内容 纸质档案数字化成果包括数字图像、档案目录数据、元数据、数字化工作中产生的工作文件、存储载体等。 应对目录数据进行验收，主要包括数据库中各条目的内容、格式等的准确程度、必填项是否填写等。 应对元数据进行验收，主要包括元数据元素的完整性和赋值规范性等。 应对数字图像进行验收，主要包括数字化参数、存储路径、命名的准确性、图像的完整性、排列顺序的准确性、图像质量等。 应对数据挂接进行验收，主要包括目录数据与其对应的数字图像的挂接的准确性等。 应对工作文件进行验收，主要包括工作文件的完整性、规范性等。 应对存储载体进行验收，主要包括载体的可用性、有无病毒等。,数字化成果验收,（三）验收指标 能够采用计算机自动检验的项目应采用计算机自动检验的方式进行100%检验，检验合格率应为100%。对于无法用计算机自动检验的项目，可根据情况以件或卷为单位采用抽检的方式进行人工检验。抽检比率不得低于5%，对于数据库条目与数字图像内容对应的准确性，抽检合格率应为100%，其他内容的抽检合格率应不低于95%。,（四）验收