档案数字化.ppt

档案数字化基本程序与要求 档案数字化概述纸质档案的数字化照片档案的数字化录音档案的数字化录像档案的数字化实物数字化档案数字化工作实例 档案档案数字化概述 对于已有的各种载体形式的档案采用数字化处理技术进行加工处理 以实现不同载体形式档案的数字化管理和档案信息资源的数字化共享 档案数字化基本原则档案数字化基本程序档案数字化保障机制 档案数字化基本原则 价值性原则实用性原则开放性原则特色性原则 档案数字化基本程序 前期准备 制定规划 原件准备转换处理 信息采集 针对原件具体情况采取相应的技术手段信息处理 扫描中的纠偏 除噪 消除杂印等数字信息存储 载体转换脱机保存后期 数据 整理 核查扫描后数据 档案数字化保障机制 质量控制机制 由近及远 安全性保障机制 权限规定当日事当日毕 可用性保障机制 数据迁移 纸质档案的数字化 数字化处理方式的选择数字化输入设备的选择扫描技术参数的确定数字化处理基本环节数字化存储设备的选择缩微影像转换技术应用 数字化处理方式的选择 直接扫描图像法 数码相机 文本文件 图形文件 缩微影像转换法 对原有胶片的扫描 扫描同时形成胶片和数字图形 纸质档案的数字化 数字化处理方式的选择数字化输入设备的选择扫描技术参数的确定数字化处理基本环节数字化存储设备的选择缩微影像转换技术应用 数字化输入设备的选择 扫描仪的种类1 平板扫描仪 考虑最大幅面 主要处理一些幅面小 要求精度高的彩色图片的输入 例如扫描画册 照片等2 工程扫描仪 主要处理一些大幅面的设计图纸 施工图纸的输入 3 高速扫描仪 近期纸质较好的文件 是快速 高效实现文档电子化的关键输入设备 与传统扫描仪相比 速度快 效率高 扫描精度完全可以满足文档扫描的要求 黑白 彩色4 数码相机 主要用于非纸张实物或其他不能用扫描仪进行输入的载体 扫描仪性能指标1 速度2 扫描分辨率300 600dpi dotsPerinch 3 色彩分辨率24位以上4 动态密度范围 根据原件确定 5 灰度级10246 扫描仪的接口方式EPP USB SCSI 纸质档案的数字化 数字化处理方式的选择数字化输入设备的选择扫描技术参数的确定数字化处理基本环节数字化存储设备的选择缩微影像转换技术应用 扫描技术参数的确定 扫描分辨率200 300dpi扫描亮度值选择50 60之间扫描对比度数值以70 80为最佳扫描模式 黑白 一般文字 灰度 多层次原件压缩存储格式 TIFF BMF JPEG AWD等 纸质档案的数字化 数字化处理方式的选择数字化输入设备的选择扫描技术参数的确定数字化处理基本环节数字化存储设备的选择缩微影像转换技术应用 数字化处理基本环节 档案整理档案扫描图像处理图像存储目录建库数据挂接数据验收数据备份 全过程管理加强纸质档案数字化各环节的安全保密管理机制 确保档案原件和数字化档案信息的安全 纸质档案数字化的各个环节均应进行详细的登记 并及时整理 汇总 装订成册 在数字化工作完成的同时建立起完整 规范的记录 档案整理 目录数据准备按照 档案著录规则 DA T18 等的要求 规范档案中的目录内容 包括确定档案目录的著录项 字段长度和内容要求 如有错误或不规范的案卷题名 文件名 责任者 起止页号和页数等 应进行修改 拆除装订不去除装订物 影响扫描效果的档案 应拆除装订物 拆除装订物时应注意保护档案不受损害 区分扫描件和非扫描件按要求把同一案卷中的扫描件和非扫描件区分开 普发性文件区分的原则是 无关和重份的文件要剔除 有正式件的文件可以不扫描原稿 页面修整破损严重 无法直接进行扫描的档案 应先进行技术修复 折皱不平影响扫描质量的原件应先进行相应处理 压平或熨平等 后再进行扫描 档案整理登记制作并填写纸质档案数字化加工过程交接登记表单 详细记录档案整理后每份文件的起始页号和页数 恢复装订扫描工作完成后 拆除过装订物的档案应按档案保管的要求重新装订 恢复装订时 应注意保持档案的排列顺序不变 做到安全 准确 无遗漏 档案扫描 1 确定扫描方式根据档案幅面的大小 A4 A3 A0等 选择相应规格的扫描仪或专业扫描仪 如工程图纸可采用0号图纸扫描仪 进行扫描 大幅面档案可采用大幅面数码平台 或者缩微拍摄后的胶片数字化转换设备等进行扫描 也可以采用小幅面扫描后的图像拼接方式处理 纸张状况较差 以及过薄 过软或超厚的档案 应采用平板扫描方式 纸张状况好的档案可采用高速扫描方式以提高工作效率 2 确定扫描色彩模式扫描色彩模式一般有黑白二值 灰度 彩色等 通常采用黑白二值 页面为黑白两色 并且字迹清晰 不带插图的档案 可采用黑白二值模式进行扫描 页面为黑白两色 但字迹清晰度差或带有插图的档案 以及页面为多色文字的档案 可采用灰度模式扫描 页面中有红头 印章或插有黑白照片 彩色照片 彩色插图的档案 可视需要采用彩色模式进行扫描 3 确定扫描分辨率扫描分辨率参数大小的选择 原则上以扫描后的图像清晰 完整 不影响图像的利用效果为准 采用黑白二值 灰度 彩色几种模式对档案进行扫描时 其分辨率一般均建议选择 100dpi 特殊情况下 如文字偏小 密集 清晰度较差等 可适当提高分辨率 需要进行OCR汉字识别的档案 扫描分辨率建议选择 200dpi 4 扫描登记认真填写纸质档案数字化转换过程交接登记表单 登记扫描的页数 核对每份文件的实际扫描页数与档案整理时填写的文件页数是否一致 不一致时应注明具体原因和处理方法 图像处理 图像数据质量检查对图像偏斜度 清晰度 失真度等进行检查 发现不符合图像质量要求时 应重新进行图像的处理 由于操作不当 造成扫描的图像文件不完整或无法清晰识别时 应重新扫描 发现文件漏扫时 应及时补扫并正确插入图像 发现扫描图像的排列顺序与档案原件不一致时 应及时进行调整 认真填写相关表单 记录质检结果和处理意见 纠偏对出现偏斜的图像应进行纠偏处理 以达到视觉上基本不感觉偏斜为准 对方向不正确的图像应进行旋转还原 以符合阅读习惯 去污对图像页面中出现的影响图像质量的杂质 如黑点 黑线 黑框 黑边等应进行去污处理 处理过程中应遵循在不影响可懂度的前提下展现档案原貌的原则 图像拼接对大幅面档案进行分区扫描形成的多幅图像 应进行拼接处理 合并为一个完整的图像 以保证档案数字化图像的整体性 裁边处理采用彩色模式扫描的图像应进行裁边处理 去除多余的白边 以有效缩小图像文件的容量 节省存储空间 图像存储 确定存储格式采用黑白二值模式扫描的图像文件 一般采用TIFF G4 格式存储 采用灰度模式和彩色模式扫描的文件 一般采用JPEG格式存储 存储时的压缩率的选择 应以保证扫描的图像清晰可读的前提下 尽量减小存储容量为准则 提供网络查询的扫描图像 也可存储为CEB PDF或其他格式 命名图像文件纸质档案目录数据库中的每一份文件 都有一个与之相对应的唯一档号 以该档号为这份文件扫描后的图像文件命名 多页文件可采用该档号建立相应文件夹 按页码顺序对图像文件命名 目录建库 选择数据格式选择目录建库应选择通用的数据格式 所选定的数据格式应能直接或间接通过XML文档进行数据交换 档案著录按照 档案著录规则 DA T18 的要求进行著录 建立档案目录数据库 目录数据质量检查采用人工校对或软件自动校对的方式 对目录数据库的建库质量进行检查 核对著录项目是否完整 著录内容是否规范 准确 发现不合格的数据应要求进行修改或重录 数据挂接 汇总挂接档案数字化转换过程中形成的目录数据库与图像数据库 通过质检环节确认为 合格 后 通过网络及时加载到数据服务器端汇总 通过编制程序或借助相应软件 可实现目录数据对相关联的数字图像的自动搜索 加入对应的电子地址信息等 实现批量 快速挂接 数据关联以纸质档案目录数据库为依据 将每一份纸质档案文件扫描所得的一个或多个图像存储为一份图像文件 将图像文件存储到相应文件夹时 要认真核查每一份图像文件的名称与档案目录数据库中该份文件的档号是否相同 图像文件的页数与档案目录数据库中该份文件的页数是否一致 图像文件的总数与目录数据库中文件的总数是否相同等 通过每一份图像文件的文件名与档案目录数据库中该份文件的档号的一致性和唯一性 建立起一一对应的关联关系 为实现档案目录数据库与图像文件的批量挂接提供条件 交接登记认真填写纸质档案数字化转换过程交接登记表单 记录数据关联后的页数 核对每一份文件关联后的页数与档案整理 扫描时填写的页数是否一致 不一致时应注明具体原因和处理办法 数据验收 数据抽检以抽检的方式检查已完成数字化转换的所有数据 包括目录数据库 图像文件及数据挂接的总体质量 一个全宗的档案 数据验收时抽检的比率不得低于5 验收指标目录数据库与图像文件挂接错误 或目录数据库 图像文件之一出现不完整 不清晰 有错误等质量问题时 抽检标记为 不合格 一个全宗的档案 数字化转换质量抽检的合格率达到95 以上 含95 时 给予以验收 通过 合格率 抽检合格的文件数 抽检文件总数 100 验收审核验收 通过 的结论 必须经分管领导审核 签字后方有效 验收登记认真填写纸质档案数字化验收登记表单 数据备份 备份范围经验收合格的完整数据应及时进行备份 备份方式为保证数据安全 备份载体的选择应多样化 可采用在线 离线相结合的方式实现多套备份 并注意异地保存 数据检验备份数据也应进行检验 备份数据的检验的内容主要包括备份数据能否打开 数据信息是否完整 文件数量是否准确等 备份标签数据备份后应在相应的备份介质上做好标签 以便查找和管理 备份登记填写纸质档案数字化备份管理登记表单 成果管理 应加强对纸质档案数字化成果的管理 确保其安全 完整和长期可用 纸质档案数字化成果提供网上检索利用时 应有制作单位的电子标识 并根据具体情况分别采用可下载或不可下载的数据格式 纸质档案的数字化 数字化处理方式的选择数字化输入设备的选择扫描技术参数的确定数字化处理基本环节数字化存储设备的选择缩微影像转换技术应用 数字化存储设备的选择 光盘 光盘机 光盘塔 光盘库 只读 一次写入多次读出 重复读写选择注意 1 支持并发访问用户数量2 安全性及安全管理体系要与NTDomain等网络管理界面无缝集成 支持Passthrough功能 有自动日志功能 3 对各种网络操作系统和网络结构的支持4 存储容量 纸质档案的数字化 数字化处理方式的选择数字化输入设备的选择扫描技术参数的确定数字化处理基本环节数字化存储设备的选择缩微影像转换技术应用 缩微影像转换技术应用 缩微胶片扫描设备的选择扫描技术参数的选择 分辨率200dpi 亮度45 60 对比度80 90 校对建立目录体系标识的相互印证 照片档案的数字化 输入设备 照片 图片 底片等的输入设备主要根据照片档案不同的类型 可采用专业平板扫描仪高级底片扫描仪数码照相机 扫描分辨率的确定1 反射稿 照片 扫描分辨率 11 8 300dpi8 5 450dpi5 4 600dpi4 3 800dpi2 1 5 1000dpi1 5 1 1200dpi2 透射稿 底片 扫描分辨率 35mm2500dpi120mm1800dpi 位深对数字图像阶调的影响位深 色彩深度值 是数字图像反映颜色深度的指标 即反映扫描图像色彩与实物色彩接近程度的性能指标 它的单位是bit 位 确切的含义是用多少 位 来表示扫描得到的一个像素 较高的色彩深度位数可以保证扫描仪反映的图像色彩与实物的真实色彩尽可能的一致 而且图像色彩会更加丰富 为保证色彩还原的准确度 扫描仪的色彩位数至少要达到36位才能获得比较好的效果 灰度级的选择灰度级是表示灰度图像高度层次范围的指标 代表的是扫描仪能够捕捉的色调范围到底有多宽 灰度级越大 扫描层次越丰富 扫描的效果也就越好 色彩位数和灰度级的数值大小与扫描效果成正比 非永久保存的文件不必盲目追求大数量级的色彩位数和灰度级 因为色彩位数和灰度级的提高会增加扫描仪的成本 动态范围的选择动态范围 也称密度范围 是用来衡量数字化图像中相邻色调之间过渡的平稳性 用于原始图像时 表示对透明原始图像的光阻反射能力或对原始图像的光吸收能力 用于数字化设备时 是描述设备再现色调细微变化的能力 表示给定设备所能探测到最淡颜色 dmin 和最深颜色 dmax 之间的差值 当扫描设备或原始图像的动态范围或密度值增加时 它可以探测 阻挡 吸收的光能级的范围就扩大 一个设备的动态范围越宽 它可以捕捉的可视细节就越多 在阴影 颜色最深面积 中更是如此 在阴影中要精确的采样细节是最困难的 因为用来反射或传送阴影细节的光能量是有限的 照片档案数字化基本程序 1 前期准备2 确定扫描参数3 照片 底片 扫描4 保存文件并刻录光盘备份5 编写说明文件6 质量检查7 进库保存 录音档案的数字化 录音档案数字化软硬件设备放音设备 盒式 开盘式等 存储设备 CD R DVD R DVD RAM MO等 CD R刻录机 最好具有JAST LINK BURN PROOFSEAMLESS LINK性能之一计算机声卡 16位 运作正常的多媒体计算机 硬盘较大 支持多种声音源输入数字化软件乐曲制作软件CreativeWavestudioGoldWave Music Match Jakebox等 刻录软件用EASY CD较好 录音档案数字化基本程序1 前期准备2 确定转录参数3 数字化转录4 保存文件并刻录光盘备份5 编写说明文件6 质量检查7 进库保存 录像档案的数字化 视频数字化软硬件配置录像档案数字化过程存储格式的选择 视频数字化软硬件配置 放像设备 根据大2 1带 3 4带 声带选择视频采集计算机 采集卡可选用MPEG1 MPEG2 最高10MB S码流 多种接口 编辑机 非线性 CPU为1GHZ 硬盘为SCSI 10000转 分存储设备 最好选用DVD R光盘刻录机采集软件 与采集卡相匹配编辑软件 对于VIDEO采用PACK较好DVD采用DAKIN或者SONICMPEG4编码软件 DivX 录像档案数字化过程 1 编写档案著录标引单2 浏览检查录像档案3 采集数据4 刻制光盘5 录入录像数据库数据6 编写说明文件 存储格式的选择 AVI格式 采集文件太大 占用空间大M JPEG格式 JointPhotographicExpertGroup联合图像专家组 传输速度快 用于非线性编辑系统MPEG 2格式 MovingPictureExpertGroup动态图像专家组 具有国际化 兼容性强 压缩比最高可达为200 1 占据空间小 数据损失小 能够引入各种类型的存储介质 易于存储和传输 实物数字化 三维扫描技术 3DScan 三维扫描是集光 机 电和计算机技术于一体的高新技术 主要用于对物体空间外形和结构进行扫描 以获得物体表面的空间坐标 能够将实物的立体信息转换为计算机能直接处理的数字信号 为实物数字化提供了相当方便快捷的手段 三维扫描技术 3DScan 三维扫描仪作为一种快速的立体测量设备 测量速度快 精度高 非接触 使用方便 用三维扫描仪对手板 样品 模型进行扫描 可以得到其立体尺寸数据 这些数据能直接与CAD CAM软件接口 在CAD系统中可以对数据进行调整 修补 再送到加工中心或快速成型设备上制造 可以极大的缩短产品制造周期 三维扫描设备分接触式 探针式 和非接触式 激光 照相 X光等式 两大类 探针式价格较便宜 具有很高测量精度 适合做相对尺寸的测量与质量管理 但速度较慢 探针与物体接处会有盲点并且易使软件物体变形 影响扫描精度 价格较高 非接触式的方法由于同时拥有速度和精度的特点 应用较广泛 激光扫描速度快 精确度适当 并且可以扫描立体的物品获得大量点云数据 以利曲面重建 扫描完后由计算机读出数据 激光三角形法又根据光源的不同可以分为点光源和线光源两种不同的方式 不同的方式的到的数据的组织方法是不一样的 应用三维扫描法一方面可对采用反求工程生产的产品档案直接进行数字化管理 另一方面可对已有的实物进行数字化归档管理三维扫描技术从产生以来 已经发展了很多种扫描技术 工作实例 设备配置 配套与兼容 数据加工中心日常管理 企业化 数字化质量保证技术 档案去污 保证扫描密度 采用国际标准 局部淡化技术 调整扫描分辨率和灰度等 数字档案验收 数字档案验收注意 1 确保扫描前后档案整理的一致性2 扫描图像与条目数据100 挂接3 文件图像格式为国际标准TIFF TagImageFileFormat标记图像文件格式 JPG等4 提交图像经过质量技术处理 确保清晰 体会 1 领导重视 统筹规划2 联系实际 方案实用3 制度严密4 向国际标准靠拢5 管理科学 数字化过程和数字化载体的管理 6 保证人员质量 计算机辅助档案管理 纵向 从档案目录信息管理开始 发展到文件 档案一体化管理 档案的全文管理和检索 档案信息的多媒体集中统一管理 横向 从档案实体管理开始 发展到档案征集 收集 整理的辅助管理 档案自动著录标引 档案字迹恢复 档案馆库所使用设备的自动控制 行政管理等情况的统计 档案编研的辅助管理 档案借阅催还等管理 档案鉴定 档案价值鉴定及档案销毁前的鉴定 档案部门办公自动化等等 应用领域不断扩展 计算机网络技术将它们联系起来 构成整体 成为一个档案信息局域网络管理系统 再将档案信息局域网络管理系统 通过网络设备和软件 与全市 全省 全国 全行业的网络相连或与国际互联网相连 构成一个广域的档案信息网络管理系统 充分共享档案信息资源和计算机软硬件资源 档案管理软件的基本要求 选择档案管理软件应遵循的原则档案管理软件功能要求档案管理软件的组织体系结构 选择档案管理软件应遵循的原则 标准与规范性灵活性可扩充性安全性检索效率开放性易用性 档案管理软件功能要求 国家档案局 档案管理软件功能要求暂行规定 9章34条具体功能要点 1 对数据管理功能的要求 建库功能 数据输入数据检测数据维护 2 对检索查询与编目功能的要求a具有常用的字段检索 逻辑式组合检索 多字段混排 全文 检索 b根据检索语义的自动扩检 缩检及二次检索 c支持多种数据结构的检索查询 d支持多媒体数据的检索查询 e支持跨库检索 f对百万条目录数据检索速度应达到秒级 g检索结果准确可靠 按需要可分类排序 h检索结果可多种输出方式 可进行检索结果的加工 编辑 处理等 3 对利用统计与借阅管理功能的要求a利用统计利用情况登记 包括利用者信息 借阅 摘复 利用目的等 利用流程跟踪催办 实现对利用过程的监督控制和催办 利用情况检索查询 调用检索查询功能模块 利用情况统计 报表输出等 调用分类 统计 打印功能模块 b借阅管理借阅管理 借阅单位 借阅人 借阅日期和批准人 经手人 借阅档案的题名 档号 缩微号 光盘文件号等 催还 计算机执行催还程序 检查借