档案数字化加工方案

0 档案室 档案馆档案室 档案馆 馆藏档案扫描 数字化加工馆藏档案扫描 数字化加工 整体解决方案整体解决方案 目目 录录 1 第一节质数字化加工作业前期准备 1 一 数字化工作人员准备 1 二 数字化工作软件 硬件准备 4 三 确定数字化内容 数量及用户需求 5 第二节数字化加工流程及主要技术方案 6 一 入库提卷 拆卷 6 二 标引著录 7 三 档案扫描 8 四 图像处理 11 五 全文 OCR 生成双层 pdf 板式还原及格式 12 六 总质检 14 七 批量挂接 15 八 还卷及数据备份提交 15 第三节质量控制方案和保证措施 17 一 加工质量保障措施 17 二 多环节 多层次的质量检查体系 17 三 阶段性验收与终验相结合的严格验收程序是质量控制的终 级保障 19 第四节安全保密控制 21 保密协议 22 第五节售后服务 24 2 项目背景项目背景 随着全国文化信息资源共享工程与中国数字图书馆工程的起动 信息化 已成为国际潮流 信息资源建设成为当务之急 信息资源建设的重点是电子文 献 各类数据库 网络资源 电子档案 电子图书等新型数字化信息资源的建 设 在数字化信息资源建设中 很大的一个需求是将现有的纸介质印刷品数字 化 使之成为能够用计算机阅读 理解 查询 检索的电子文件 最终将其应 用于数据库存储 或通过 CD ROM Internet 网进行出版 或上传数字档案馆 供用户使用 以传统纸张为载体的保存方式 占据了大量的空间 需要特殊的环境 而且不方便查询 随着时间的推移 还面临着腐蚀 老化等问题 而将纸介质 文件信息进行电子化处理 保存到光盘上 具有存储 管理 共享等功能 还 可以减少文件库房占地 节省保管设备和人员方面开支 又方便统计和进行远 程查询 因此 将档案 期刊 文件等资料通过扫描仪 扫描成图像文件 再通 过处理转换成电子文档 建立目录和索引 制作成电子文件 已是当务之急 3 第一节 数字化加工作业前期准备 一 数字化工作人员准备 1 甲方人员 职务 现场交接管理人员 人数要求 一名 专业要求 为学校档案馆负责档案管理工作的技术或管理人员 职责范围 负责与乙方的档案提卷和还卷等交接工作 协同甲方人员作好交接清单记录 并签字 负责监督乙方规范化加工 随时把握乙方加工进度并进行协调 及时关注并抽查乙方加工质量 代表甲方与乙方进行及时的沟通及问题协调 确保项目顺利完工 2 乙方人员 2 1 管理人员 主要为 熟悉现场加工管理 熟悉数字化整体作业流程 具有较强组织能力和 现场管理及沟通能力的乙方负责人 2 2 工程技术人员 主要为 熟悉计算机软 硬件技术 了解档案数据库标准和系统开发 了解档 案管理等相关专业知识的乙方技术部技术支持工程师 2 3 数据采集作业员 主要为 了解档案数据库数据标准和计算机软件应用等相关知识的乙方数字化 制作部工作人员 4 人员安排见表 3 1 二 数字化 工作软 硬件准备 职务职责人 员 备注 项目负责 人 1 负责人员 资源的调配工作 2 负责施工组织设计 管理 3 负责施工条件的保障及与甲乙双方 关于项目进展状态的汇报和协调工 作 1 人 项目负责人 不一定要常驻 现场 但要通 过一切通讯手 段和定期到现 场的督导 切 实做到对该项 目加工进度和 加工质量的掌 控 管 理 人 员 现场主管 1 负责与乙方的档案提卷和还卷等交 接工作 2 负责现场的人员管理和加工管理 3 负责数据的终验和挂接 4 配合项目负责人做好与乙方的沟通 协调工作 1 人 著录人员 负责将档案卷内目录及其它索引信息 进行手工录入为电子数据信息并校对 1 人 扫描人员 负责按制定的技术规范将档案资料扫 描 1 人 图像处理 人员 1 去污 将扫描获取的图像进行图像 去污 去黑边及去杂点等 2 纠偏 将偏斜的图像进行纠正处理 3 文字处理 将不清楚的文字进行加 深或变浅 4 拼接 将页面较大的图像进行拼接 处理 1 人 在进行图像处 理的时候 肯 定是逐页处理 所以要留意每 一页扫描的质 量 发现扫描 质量问题立即 发还上一工序 重扫并作好记 录 数 据 采 集 人 员 图像矢量 化人员 1 负责将处理好的图像进行全文识别 2 校对 板式还原和格式转换 3 对已经产生的成品数据进行初验后 移交给现场主管终验并挂接 1 3 人 矢量化人员最 终定员需结合 矢量化的图形 数量和采集难 度 5 1 配备硬件数量及档次要视数据采集工作情况及数据量大小 2 甲方提供 PC 机 4 6 台给乙方作为采集作业使用 其他硬件设备由乙方自行 解决 3 场地 甲方提供 4 办公用具 甲方提供打印机 以实际用量为标准 办公桌椅 档案资料的 装订及打印机所用的全部耗材 5 其他条件 提供电力和饮水 软硬件准备详见表 3 2 表 3 2 软 硬件配备列表 软 硬件名称数量详细配置响应时间提供方 综合档案管理系统一套 1 需支持全文 检索使用功 能 2 支持 TIFF 和 PDF 格式 数据的批量 挂接功能 项目开始需 到位 甲方 数字化流程管理和加工 软件 OCR 软件 全套 能满足本加 工项目所有的 技术要求 项目开始需 到位 乙方 服务器一台 项目开始需 到位 甲方 扫描仪 A3 幅面 一台 富士通 A3 幅面 FI 4750C ADF 项目开始需 到位 乙方 扫描仪 A4 幅面 一台 A4 幅面 虹光 FB6030 平板 项目开始需 到位 乙方 计算机4 6 套PC 机 项目开始需 到位 甲方 三 确定数字化内容 数量及用户需求 6 在数据采集之前 首先要客观真实统计数字化内容和数量 确定用户使用需求 然后制定对应方案和技术控制以便准确地进行施工安排 表 3 3 三峡大学档案馆档案数字化用户需求调研表 档案类型档案数量数字化准备情况纸张及保存情况用户需求 备备 注注 招生名册 约 件 约 面 很好一般 较差很差 影像化 矢量化 学籍档案 约 件 约 面 很好一般 较差很差 影像化 矢量化 学生成绩 约 件 约 面 很好一般 较差很差 影像化 矢量化 党群档案 约 件 约 面 很好一般 较差很差 影像化 矢量化 基建档案 约 件 约 面 很好一般 较差很差 影像化 矢量化 科研档案 约 件 约 面 很好一般 较差很差 影像化 矢量化 其它 约 件 约 面 很好一般 较差很差 影像化 矢量化 填表人 职务 第二节 数字化加工流程及主要技术方案 档案装订 档案著录 档案整理排序 档案装订 档案著录 档案整理排序 档案装订 档案著录 档案整理排序 档案装订 档案著录 档案整理排序 档案装订 档案著录 档案整理排序 档案装订 档案著录 档案整理排序 档案装订 档案著录 档案整理排序 7 档案数字化加工主要流程包括 提卷 拆卷 档案著录 扫描 图像处理 OCR 校对 版式还原 转双层 PDF 终验 挂接 图一 档案数字化加工流程图 一 入库提卷 拆卷 1 从档案室移交档案 严格执行原始档案的交接手续 使用双方项目负责 人确认的档案交接清单 完成清点登记 2 档案整理 编写页码 核对纸质档案页码 对可拆钉的文件做拆钉处理 以适应扫描的要求 对需要修复的档案进行归并整理 如果发现破损严重 无 法直接进行扫描的档案 应先进行技术修复 折皱不平影响扫描质量的原件应 8 先进行相应处理后再进行扫描 发现破损严重的档案须立即报知项目相关负责 人 制作卷内目录 扫描文件抽取 3 按照扫描处理量明确交接周期和档案交接量 双方项目负责人签字 以 保在施工过程中档案不损失 不丢失 4 装订案卷应保证装订牢固 案卷整齐 卷内材料不松动 脱落 保持与 原案卷一致 图二 二 标引著录 按要求将文件所需信息录入到软件数据库里 标引著录按照国家档案局有 关标准结合用户档案著录的具体要求进行 1 录入方式 采用手工录入的方式 2 校对方式 校对以软件校对和打印输出 对比校对相结合 错误率在万分之二以下 案卷目录和卷内目录按照档案的原始数据录入 卷案目录和卷内目录的样 9 式经用户同意可做相应调整 对档案目录数据修改和补充的数据 须填写更改 资料 更改资料放入原案卷内 卷内目录及其他不全的需补充完整 三 档案扫描 1 扫描方式 根据档案幅面的大小选择相应规格的扫描仪或专业扫描仪进 行扫描 大幅面档案可采用加长式扫描或者图像拼接处理方式处理 同一页面 有两个以上文件 需分别扫描 2 扫描色彩模式 以黑白二值扫描为主 附有灰度 彩色 照片及原件分 明度很低的档案 可视情况采取灰度和 24 位真彩色扫描 然后以黑白二值保 存 例 蓝底招生名册 此种档案长见为 A3 幅面 纸张很薄 底色与文字的分明度很低 实物档案查看时都显吃力 此种档案如果用黑白二值扫描 则会出现大幅暗面 文字显现不 清 如果使用彩色扫描 文字部分明度很低 只有使用灰度扫描 效果相对好一些 如图三 扫描后的图像再辅以黑白二值保存 则最大限度的提高了图像质量 如图四 图三 灰度扫描效果 图四 保存为黑白值后的效果 3 分辨率 无全文检索需求的文档分辨率调整为 200DPI 最为合适 需要全 文检索而做 ocr 识别的文档 黑白二值扫描分辨率最佳为 400dpi 此分辨率下 识别成功率最高 24 位真彩色扫描分辨率标准为 200dpi 4 图像文件的大小 黑白二值扫描 A3 页面 20K 40K 灰度或彩色扫 描 A3 页面 100 150K 5 如遇字间距和行间距过密 原件本身是复印件等字迹不清楚的情况 可 10 适当增加扫描的分辨率 但要保证图像清晰的同时 又不影响远程查询和浏览 的速度 6 清晰度 扫描图像字迹清晰 颜色恰当 不宜过浅或过深 并且不得 出现字迹笔画残缺或字迹笔画叠合而影响阅读的情况 即使原档案存在锈斑变 质 颜色过浅或深浅不一致 也保证扫描图像可读 扫描留下的墨迹宽度不得 超过 0 5 厘米 并且指印和黑线不能覆盖或影响正文内容 7 根据档案实体情况 在档案电子文件中相对应目录设置 复制件 原 件不清 标志 目录以原有档案目录为准 在实际处理过程中著有未归类的新 目录 可根据情况修改目录 增加或调整标准目录 对档案原目录数据修改或 补充的数据 需填写更改资料 更改资料放入原案卷内 能实现一条目录对应 多个图像和一个图像对应多条目录的编目 8 图像内容 8 1 实时在屏幕上监控扫描全过程 遇有漏扫 重张 图像黑边 偏 斜 折角 不清晰等情况 则进行重扫或补扫 8 2 检查扫描件是否合乎要求 扫描图像必须与原图页面一一对应 不得出现颠倒 缺页 重页或错页情况 不能有遗漏 重复 扫错的现象 8 3 扫描的页面内容居中显示 不可出现明显偏左或偏右的现象 正 文内容 页眉 页脚 反面印章 附件 手写注释等信息完整 图像内容与书 本面完全对应 不得出现书页内容残缺或将旁边页面信息扫入本页的现象 对图像黑边 偏斜 折角 不清晰等情况进行处理 以达到用户需求 8 4 纸张较差档案扫描方案 由于进行数字化的档案会有部分为历史 档案 纸张质量比较差 对于这部分纸张质量较差的历史档案扫描 我们本着 以下原则 11 8 4 1 保证档案安全 纸张较差的档案多为破损档案 对于破 损档案更应该在生产流程中加以特殊对待 不能造成二次破坏 保证 档案的安全是第一要务 因此 在处理纸张较差的档案时 不允许使 用蘸水防滑等有破坏档案可能性的操作方法 8 4 2 保证扫描质量 历史档案之所以进行档案数字化 其中 最主要的目的之一就是抢救这部分历史档案 今后在应用这部分档案 时 尽量避免人为翻阅历史档案而给档案造成二次伤害 而应使用电 子系统 使用扫描件 这样档案扫描的质量要尽可能的清晰 干净 尽可能的恢复历史原貌 这对扫描质量的要求很高 8 4 3 高效高质的完成任务 9 扫描登记 认真填写纸质档案数字化转换过程交接登记表单 登记扫描 的页数 核对每份文件的实际扫描页数与档案整理时填写的文件页数是否一致 不一致时应注明具体原因和处理方法 四 图像处理 1 逐张检查图像质量 包括黑边 折角 图像偏斜度 清晰度 失真度等 进行检查 发现不符合图像质量要求时 应重新进行图像处理 档案顺序 页号 是否正确 有无漏扫 重张等情况 发现文件漏扫时 应及时补扫并 正确插入图像 发现扫描图像的排列顺序与档案原件不一致时 应及时进行调 整 2 纠偏 图像整体倾斜不得超过 1 度 不得出现图像的一部分倾斜或扭曲 而影响阅读的现象 如果档案页面存在部分倾斜的 以页面中标题纠正为准 3 去污 所有扫描留下的黑线 指印 阴影或污点都必须清除干净 在 12 放大 50 的情况下 由于印刷质量或纸张质量等造成的页面上有零星的污点和 反面倒映文字污点比较多 如果在页面视图下看不清楚 或该污点嵌在文本行 中无法清除 可以不清除 但应尽量保证图像可读 4 全文页面及局部文字的加深和变浅的处理 原始档案的清晰度较低时 可提高图像的清晰度 修正原资料中存在的字间距和行间距过密 文字较深或 较浅 字迹不清楚的缺陷 确保文字及图像信息清晰可辨 5 图像拼接 对大幅面档案进行分区扫描形式的多幅图像 应进行拼接处 理 合并为一个完整的图像 以保证档案数字化图像的整体性和数字化档案的 准确可读 6 照片页处理 必要时采用专业的图像处理软件进行处理 确保照片的清 晰度 7 图像存储 存储格式以 G 4 压缩 TIFF 格式保存 A4 幅面档案保存文件 不得大于 100K 其他幅面档案扫描形成文件在保证影像质量的前提下 尽量 缩小文件占用空间 扫描文件存储命名必须与条目档案号一一对应 五 全文识别 OCR 及生成双层 pdf 版式还原及格式转换 将扫描处理完成后的文档利用专业的识别软件进行全文 OCR 如甲方对识别 成功率有严格要求的 还需另外进行人工校对 校对结束后将版式还原及转换 成双层 PDF 文件格式 根据用户对识别率的要求 可选择性进行人工校对 进行人工校对和不进行 校对的优缺点对比 1 不进行人工校对 其原理是在单层 PDF 的基础上利用计算机软件进行全 文 OCR 识别后生成双层 PDF 文件 从而激活了图片中所反映的文字 而达 13 到提取文字和利用原文所包含的文字进行检索的目的 但是不进行人工校对和 版式还原 识别的准确率取决于原始资源的情况及保存现状 优点 效率高 成本低 能利用原文检索 浏览速度快 缺点 识别准确率取决于原件的质量 所以准确率不稳定 适应范围 原件版面干净及保存完好的资源 准确率可达 95 以上 原文中只含部份核心检索内容的资源 如学籍档案 检索的重 点只是围绕学生的身份信息 2 进行人工校对 其原理是在 OCR 的基础上 为了确保识别的准确率而增 加了人工校对和版式还原的工序 可实现无障碍的全文检索 优点 全文检索无差错 准确率可达 99 且文本层和图像层一一对 应 缺点 效率极低 成本极高 因为进行了版式还原 所以原真率不到 98 而且存储空间很大而致浏览速度降低 适应范围 所载信息珍贵且使用频率很高的资源 14 数字化项目资金预算充裕且项目实施时间宽松的资源 有很好的硬件环境支持的数字化项目 六 总质检 1 对扫描处理完成后的图像页进行检验 对档案拆分 扫描 修正 去污 插图 照片的处理以及文本和图像页的匹配等质量进行全面检验 对于质量达 不到要求的进行重扫 补扫等操作 2 对文本域录入与文本录入域的标引 文件的页号和页数进行对比 对扫 描前图像页的标引与扫描后的图像页的编号与页数进行对比 发现不合格的登 记清单重新处理 3 对图像质量的检查 确保图像版面清晰 干净 大小一致 方向一致 4 主要质检标准 4 1 加工后的电子影像在总数量 完整性 清晰度上与源文件保持一 致 4 2 案卷著录 按文件的属性著录数据库字段 检查 文件路径 字 段与文件实际存储位置一致 差错率控制在千分之五以内 4 3 电子影像档案件信息定义数据差错率控制在百分之二以内 4 4 电子影像档案卷内页码差错率控制在千分之一以内 4 5 每页电子影像左右端正度控制在三度以内 4 6 电子影像漏扫 压边率控制在千分之一以内 4 7 电子档案与条目数据的挂接一致 差错率小于千分之一以内 七 批量挂接 15 1 扫描处理后的图像成品 按年度 机构上传至档案专用服务器 利用档 案管理软件中的对应挂接功能将扫描图像信息与录入到档案管理软件系统中的 目录进行对应挂接 确保目录与原文的一一对应 2 挂接到档案管理系统中区 进行再次的成品验收 八 还卷及数据备份提交 1 原始档案还原工作严格按照国家档案局规定的相关标准和实际情况进 行有序的还原 将还原的档案资料逐卷精心检查 确实没有落页 掉页 折页等问题后再 归还档案管理人员 经双方仔细核实无误后 在还卷交接单上签字确认 2 在数据化加工过程中的各项工作记录 在数据转移完成后 提交给用 户方 3 为了有效地保护数据 因此建立数据备份制度 在数字化加工项目工 作结束 并经用户在终验报告上签字确认后 将通过验收后的数据利用用户软 件的光盘制作功能刻录成光盘 刻录到 DVD 光盘中 刻录完成后再制作一个光 盘备份 或用移动硬盘等存储介质 将所有成品数据备份 提交给用户 4 刻录光盘要求 4 1 光盘制作两份 制作成档案数据格式为多页 TIFF 的光盘单盘调阅 4 2 同一份文件不跨越二片 DVD 片号 同一份文件页数需在同一 DVD 内 4 3 电子档案存在于符合标准的单片包装光盘 4 4 光盘标示光盘编号 单片包装盒上注明光盘内主要信息 4 5 在光盘刻录完成后 与硬盘系统中电子档案进行一次比对 确保档案 16 资料无遗漏及正确性 4 6 制作光盘人员对于所有光盘序号进行标记 并提交相应表格 第三节质量控制方案和保证措施 项目加工总体质量目标 保证合格 争创优良 17 一 加工质量保障措施 1 严格遵照执行我方签定的 不分包 转包三峡大学档案数字化项目 承诺书 避免项目转包 分包引起的管理混乱和质量风险 2 严格按照我方制定的人员和设备投入计划进场加工 确保人员设备 供应 为项目进度和质量提供保障 3 在该项目加工过程中 我方所有现场加工人员均受我公司 数字化 作业人员质量考核制度 的约束 并承担相应奖罚结果 二 多环节 多层次的质量检查体系 1 对档案签收和属性数据录入的质量检查 主要内容 档案签收的准确 性 完整性和即时性 数据内容齐全 属性数据输入准确 与数据校 对的档案交接 2 对数据校对处理的质量检查 主要内容 校对后的数据内容齐全 正 确 纸质档案实体完整 还案及时无误 3 对数据迁移的质量检查 主要内容 迁移后的数据的完整性准确性 对数据进行组合查询并且结果正确 对数据进行汇总统计并输出标准 表格 试运行无死机现象 4 在完成以上每个环节后 检查人员将其数据再次进行一遍全面的复查 尤其对检查记录单上更正后的错误进行仔细的检查 确保扫描得来的 数据与源文件内容完全一致 5 实施项目负责人对成品数据进行百分之十的抽查 在抽查时将该查数 据的年度 保管期限 全宗号 卷号 卷内顺序号等目录信息是否 18 准确无误 再对获取图像数据的亮度 歪斜 是否错页等方面进行抽 查 如有不合格的数据及时进行统计和修正 确保最终数据的准确无 误 三 阶段性验收与终验相结合的严格验收程序是质量控制的终极保障 阶段验收报告 项目名称项目编 号 19 报告人时间 项目负责人所处阶 段 项目状态参数监控情况 项目状态计划情况实际情况偏差扫描纠正措施 项目进度 项目工作量 人 时 项目规模 项目外工作 量情况描述 非项目工 作 其他 工作中遇到问题及困难 需要用户支持与配合 用户意见 用户签字 签字日期 终验报告 项目名称项目编号 报告人时间 20 项目负责人第 阶段 本阶段项目完成情况本阶段项目完成情况 验收项目完成情况备注 档案整理 卷 档案扫描 A4 页 A3 页 其他 页 图像处理 卷 页 索引目录录入 条 全文 OCR 所有报表输出 卷 资料装订 卷 件 内部验收 页 目录与图像文件的衔接 数据是否上传到服务器 数据备份 本阶段验收结论 双方于 年 月 日 进行了档案数字化工作的第 阶段 的成品验收 乙方所提供的数据基本满足甲方的要求 甲方同意通过验收 进入下一个工 作阶段 用户签字 日期 项目经理签字 日期 第四节 安全保密控制 一 为了确保采集数据不外泄 在开始进行数字化加工后 我公司将不允许 加工人员携带任何存储介质进出加工现场 21 二 为避免采集数据在硬盘上的物理磁道上被还原外泄 我公司将使用乙方 提供的电脑用于数据采集作业 三 电脑上所有的可以读写存储介质的接口 自进场之日起即贴上封条 直 到工程完工 四 为避免数据采集过程中数据通过网络外泄 我公司在加工期间将关闭外 网 只使用局域网完成数字化作业 五 为了建立并严格落实安全保密制度 保证档案资料的安全保密性 做到 绝对不外泄任何信息 保密协议将同加工合同同时签定并成为合同不可分 割的一部分 见附件 附件 保密协议附件 保密协议 保密协议保密协议 甲方 地址 22 乙方 数字科技有限公司 地址 鉴于甲方委托乙方承担其档案资料的数字化加工服务 乙方可能接触到甲 方某些非公开的 涉密的文件 档案和资料 为了维护甲方资料的安全 保 守国家秘密 乙方同意在整理档案中涉及大量的重要的档案