GBZ 43768-2024 信息与文献 网络存档的统计和质量问题标准立项发展报告

信息与文献网络存档的统计和质量问题标准立项发展报告StandardizationDevelopmentReport:InformationandDocumentation—StatisticsandQualityIssuesofWebArchiving摘要随着互联网信息资源的爆炸式增长，网络存档已成为图书馆、档案馆及科研机构保存数字文化遗产的重要手段。然而，网络存档在采集、存储和提供利用过程中面临诸多统计口径不一致、质量评价标准缺失等突出问题，严重制约了网络信息资源的长效保存与共享利用。为应对这一挑战，国家标准化管理委员会于2024年3月15日发布国家标准GB/Z43768-2024《信息与文献网络存档的统计和质量问题》，并于2024年10月1日正式实施。该标准参考国际标准化组织信息与文献技术委员会（ISO/TC46）相关国际标准文件，结合我国网络信息资源保存的实践需求，系统规定了网络存档统计指标、质量评价维度及元数据管理要求。本报告围绕该标准的立项背景、编制原则、核心技术内容及预期应用价值展开系统论述，旨在为相关行业机构和研究人员提供权威参考。该标准的发布填补了我国在网络存档统计与质量评价领域的标准空白，对提升国家数字文化遗产保存能力、促进网络信息资源共建共享以及推动图书馆学情报学标准化体系建设具有重要的里程碑意义。关键词：网络存档；统计指标；质量控制；信息与文献；标准化；数字资源长期保存；元数据管理Keywords:WebArchiving;StatisticalIndicators;QualityControl;InformationandDocumentation;Standardization;Long-termDigitalPreservation;MetadataManagement一、引言1.1研究背景随着互联网技术的飞速发展与信息传播方式的深刻变革，万维网已成为人类社会生产生活不可或缺的信息基础设施。网页中蕴含的新闻资讯、政府公报、学术成果、商业数据以及社交媒体内容，共同构成了当代社会记忆的重要载体。据国际互联网存档机构（InternetArchive）的统计，截至2024年，其WaybackMachine已保存超过8,300亿个网页快照，且这一数字仍在以每天数亿条的速度持续增长。然而，互联网信息具有高度动态性和易消失性——网页内容频繁更新、网站关停或域名变更均可能导致信息永久灭失。联合国教科文组织早在2003年即通过《保存数字遗产宪章》，呼吁各成员国采取积极措施保护数字文化遗产。在此背景下，网络存档（WebArchiving）作为系统性采集、保存和提供利用网络信息资源的专门活动，日益受到世界各国图书馆、档案馆和研究机构的重视。我国网络信息资源保存工作起步虽晚，但发展迅速。国家图书馆自2003年起开展网络信息资源采集与保存试验项目，2019年正式启动“中国互联网信息资源保存计划”。然而，伴随网络存档实践的不断深入，一系列基础性、共性问题逐渐浮现：不同存档机构在统计存档数量、规模、覆盖率时采用的口径各异，导致数据难以横向比较；存档资源的质量评估缺乏统一框架，难以衡量采集完整性、准确性和可用性；元数据著录规则不统一，影响存档资源的长期可发现性与互操作性。这些问题的存在，迫切需要在国家层面出台统一的技术标准和规范指南。1.2标准立项必要性在上述背景下，GB/Z43768-2024《信息与文献网络存档的统计和质量问题》的制定具有充分的必要性和紧迫性。第一，填补标准空白。我国信息与文献领域现行国家标准中，已有关于文献著录、数字资源长期保存等方向的标准，但针对网络存档这一专门领域的统计和质量评价标准尚属空白。国际标准化组织ISO/TC46（信息与文献技术委员会）已于2019年发布ISO/TR14873:2013《信息与文献网络存档的统计和质量问题》技术报告，为各国网络存档统计和质量评估提供了国际层面的参考框架。我国亟需将此国际成果结合国内实际进行本土化转化，形成具有中国特色的国家标准文件。第二，满足实践需求。国内各网络存档实施机构（包括国家图书馆、国家版本馆、高校图书馆、科研院所等）在长期实践中积累了大量经验，但在统计指标选取、质量评价方法、数据互操作等方面缺乏统一遵循，迫切需要一份权威的技术指导性文件来规范操作流程、统一评价尺度。第三，接轨国际规范。网络存档是一项全球化事业，国际上已有InternetArchive、LibraryofCongress、TheBritishLibrary、NationalLibraryofAustralia等机构的成熟实践。我国标准的制定应积极借鉴国际经验，同时立足本国国情，在术语体系、统计分类、评价维度等方面实现与ISO国际标准的协调一致，增强我国在这一领域的话语权和影响力。1.3标准定位与作用GB/Z43768-2024属于国家标准化指导性技术文件（代号GB/Z），其定位是为网络存档活动的规划、实施和评估提供技术指导和方法参考。该标准的主要作用体现在以下层面：一是促进网络存档实践规范化。通过统一统计口径和质量评价框架，引导各存档机构在采集策略制定、流程管理和成果评估中采用科学、系统的方法。二是支撑数字资源长期保存体系建设。网络存档是数字资源长期保存体系的重要组成部分，该标准的实施将有助于提升我国数字文化遗产保存的整体水平。三是推动行业数据共享与横向比较。标准化后的统计数据和质量指标能够在不同存档机构之间实现可比性，为国家层面的宏观决策提供可靠依据。四是服务于图书馆学情报学学科建设与人才培养，为相关教学科研活动提供权威的技术规范文本。二、标准编制背景与依据2.1国际标准参照GB/Z43768-2024的制定以ISO/TR14873:2013《Informationanddocumentation—Statisticsandqualityissuesforwebarchiving》为主要技术参照。作为全球网络存档领域首份国际层面的标准化文件，ISO/TR14873系统总结了欧洲及北美主要国立图书馆网络存档的最佳实践。该技术报告明确了网络存档统计与质量的术语定义，提出了由采集规格（collectionspecifications）、采集深度（capturedepth）、采集频率（capturefrequency）等要素构成的统计体系，以及涵盖完整性（completeness）、准确性（accuracy）、可用性（usability）等维度的质量评估框架。GB/Z43768-2024在充分消化吸收ISO/TR14873技术内容的基础上，结合我国互联网发展环境、信息政策法规和档案馆图书馆运营实际，进行了适度调整和补充完善。2.2法律法规与政策依据本标准的编制遵循了我国现行法律体系的总体要求，并积极回应国家关于数字资源建设与文化遗产保护的相关政策导向。主要包括但不限于以下重要政策法规文件：-《中华人民共和国标准化法》（2017年修订）：确立了标准制定应有利于科学合理利用资源、推广科学技术成果，提升产品和服务质量，促进科学技术进步和社会发展的基本原则。-《中华人民共和国档案法》（2020年修订）：首次将“档案信息化建设”纳入法律框架，强调应加强对重要电子文件、数字档案的保存与保护。-《中华人民共和国公共图书馆法》（2017年）：明确了公共图书馆在收集、保存和提供数字资源服务方面的法定职责。-中共中央办公厅、国务院办公厅《关于加强文物保护利用改革的若干意见》及国家文化数字化战略相关文件，强调要加大数字文化遗产保护力度，推进文化资源数字化。-国家互联网信息办公室等部门发布的《网络信息内容生态治理规定》（2019年）：对网络信息内容的采集、保存和管理提出了规范性要求。-《“十四五”文化发展规划》及文化和旅游部相关专项规划：提出应加强数字文化资源保存利用，构建完备的国家数字资源保存体系。上述政策法规为本标准的制定提供了坚实的法律基础和宏观政策依据。2.3国内相关标准梳理在我国现有的信息与文献领域标准体系中，与本标准存在关联的标准包括：-GB/T4894-2009《信息与文献术语》：定义了信息与文献领域的基础术语体系，为本标准术语部分提供了上位概念框架。-GB/T23269-2009《信息与文献图书馆Statistics》：规定了图书馆统计的指标与方法，但未涉及网络资源存档统计。-GB/T35311-2017《信息与文献数字资源长期保存》：规定了数字资源长期保存的系统框架和工作流程，但侧重于一般性数字对象（如电子期刊、学位论文），未专门覆盖网络存档场景。-GB/T36068-2018《信息与文献文件管理电子文件长期保存格式》：涉及电子文件格式选择要求，与网络存档资源的格式管理具有技术关联性。GB/Z43768-2024与上述标准互为补充，共同构成我国信息与文献领域数字资源管理标准化体系的重要组成部分。本标准的出台，填补了面向网络存档场景的统计与质量评价标准空白。2.4编制过程概述GB/Z43768-2024的编制工作遵循了国家标准制定的一般程序和要求，历经了预研论证、起草、征求意见、技术审查和报批发布等阶段。编制过程中，起草工作组广泛收集了国内外网络存档领域的研究文献与实践案例，重点调研了国家图书馆、国家版本馆等国内主要存档机构以及美国国会图书馆、大英图书馆、法国国家图书馆、澳大利亚国家图书馆等国际同行的做法。同时，邀请国内图书馆学、情报学、计算机科学、统计学等领域专家参与研讨评审，确保标准内容的科学性、适用性和先进性。三、标准主要内容解析3.1标准适用范围与术语定义GB/Z43768-2024适用于各类开展网络存档活动的机构，包括但不限于国家图书馆、公共图书馆、高校图书馆、科研院所图书馆、档案馆及其他承担数字资源保存职能的组织。标准所指“网络存档”，是“对网络资源（webresources）进行选择性地采集、存储、长期保存并提供利用的过程”，其范围涵盖网页、网站、社交媒体内容、移动应用界面等多种网络信息形态。为确保标准使用各方对关键概念的理解一致，标准对以下核心术语进行了规范定义：网络存档（webarchiving）、采集策略（collectionpolicy）、爬取（crawling）、快照（snapshot）、采集深度（capturedepth）、采集频率（capturefrequency）、存档完整性（archivedcompleteness）、存档可用性（archivedusability）等。这些术语定义的明确，为后续统计和质量评价的具体操作奠定了基础。3.2网络存档统计指标体系统计指标体系是GB/Z43768-2024的核心内容之一。标准提出了一套涵盖存档过程和存档成果两大层面的统计指标体系。在存档过程层面，统计指标包括：存档项目数量及类型分布、目标资源的覆盖范围（按域名、语种、主题、地理区域等维度划分）、采集任务执行的频率与周期、采集成功率和失败率、存档数据存储容量等。在存档成果层面，统计指标主要包括：已存档URL总量（统一资源定位符总数）、唯一域名数量、存档快照总数量及增长趋势、存档资源的时间跨度与时间完整性、存档数据格式类型的分布、存档资源被访问和利用的次数等。为保证统计数据的可比性和一致性，标准对各种指标的计算方法和统计口径进行了明确界定。例如，在计算“采集成功率”时，须明确分子分母的界定范围、重定向URL的处理方式、动态页面与静态页面的区分规则等。此外，标准还提供了统计报表的推荐格式和数据结构建议，为不同机构间的数据交换与汇总提供了技术基础。3.3网络存档质量评价框架质量评价框架是本标准另一核心板块。标准将网络存档的质量评价划分为四个关键维度：（一）完整性。衡量存档资源在多大程度上覆盖了预设的目标范围。完整性评价既包括宏观层面的覆盖率（如特定领域网页的采集覆盖率），也包括微观层面的页面完整性（如一个网页中的图片、脚本、样式表等嵌入资源是否保存齐全）。（二）准确性。衡量存档快照与原始网页在特定时间点上的一致性程度。准确性评价关注页面渲染是否与原始页面一致、动态内容（如JavaScript生成的元素）是否被正确捕获和还原、时间戳信息是否准确记录等。（三）可用性。衡量存档资源能否被用户有效访问和利用。可用性评价包括存档资源的检索功能是否完善、浏览导航是否顺畅、以及存档格式是否具有良好的开放性和可移植性等。（四）可管理性。考察存档系统在元数据管理、存储管理和备份保障方面是否健全。包括元数据是否完整与规范、数据存储架构是否具备容灾能力、存档对象是否具备完整性校验机制等。针对上述质量维度，标准设计了相应的评价方法和参考指标。同时，考虑到不同存档机构在资源类型、保存目标和技术条件等方面的差异，标准在评价指标选取和权重配置方面提供了灵活选择的指引，允许各机构根据自身情况建立适用的质量评价方案。3.4元数据管理要求网络存档资源元数据管理是确保存档资源可发现、可互操作和可长期管理的关键环节。GB/Z43768-2024对网络存档元数据提出了以下基本要求：在元数据覆盖范围方面，标准要求存档机构应为每个存档对象记录以下核心元数据信息：标识符（含原始URL及存档标识符）、采集时间信息、采集工具及参数配置、存档文件格式、关联资源（如所属网站或采集项目）、权利与访问限制信息等。在元数据规范方面，标准推荐采用国际通用的元数据标准体系进行著录，如DublinCore、PREMIS（保存元数据标准）等，同时对著录的规范性、完整性和一致性提出了原则性要求。在元数据管理方面，强调元数据应在存档资源保存的全生命周期内持续维护更新，并应与存档数据本体建立稳固的关联关系，确保元数据的可追溯性和持久有效性。四、标准实施应用与预期效果4.1应用场景分析GB/Z43768-2024在多个场景中具有广泛的应用价值：（一）图书馆与档案馆的存档项目管理。各存档机构可依据标准建立存档项目的统计台账和质量档案，定期开展存档工作成效评估，为管理层提供客观、量化的决策依据。（二）跨机构数据交换与协同合作。全国性网络存档协作网络的建设有赖于统一的数据语言。本标准的实施使得不同机构间的存档数据可按统一口径进行汇总和比较，为全国网络资源保存的整体态势分析提供了数据基础。（三）存档系统产品研发与评估。面向网络存档的技术工具（如爬虫系统、存储系统、回放系统等）的开发和选型，可参考本标准确立的统计与质量评价框架进行功能设计和性能检测。（四）学术研究与人才培养。高校和科研机构在数字图书馆、数字人文等领域的研究和教学中，可借助本标准建立实验场景和评价基准，培养具备标准化素养的专业人才。4.2预期实施效果该标准的实施预计将产生以下积极效果：首先，显著提升我国网络存档工作的规范化水平。统一的统计口径和质量评价标准将引导各存档机构从经验驱动向标准驱动转型，减少随意性和盲目性，提升存档工作的科学性和系统性。其次，有效促进存档资源的互联互通与共享利用。标准化的元数据管理和统计数据结构，将降低跨机构数据交换的技术门槛，为构建全国统一的网络存档资源发现与服务平台创造有利条件。第三，为国家数字文化遗产保护提供有力支撑。通过标准化手段提升网络存档的质量水平和覆盖面，有助于更加完整、准确地保存当代中国的互联网记忆和文化印记，为子孙后代留存真实可靠的社会发展记录。第四，增强我国在信息与文献国际标准化领域的影响力。本标准的发布实施，为我国参与ISO/TC46相关国际标准的修订和完善提供了实践基础和话语支撑。五、主要起草单位介绍5.1全国信息与文献标准化技术委员会全国信息与文献标准化技术委员会（SAC/TC4）是国家标准化管理委员会直属的全国性专业标准化技术组织，秘书处承担单位为中国国家图书馆。该委员会对口国际标准化组织ISO/TC46（信息与文献技术委员会），负责我国信息与文献领域国家标准的规划、制定、复审与推广工作。SAC/TC4下设多个分技术委员会和工作组，涵盖了图书馆工作、档案工作、情报与文献工作、信息技术应用等方向。委员会汇集了来自国家图书馆、国家档案馆、中国科学院文献情报中心、北京大学、武汉大学等数十家业界权威机构的专家学者，在信息组织、数字资源管理、文献保护与保存等领域积累了深厚的标准化工作经验和专业技术能力。5.2其他主要参与单位除SAC/TC4外，本标准的编制还获得了国内多家在数字资源保存领域具有深厚积累的机构的积极参与和支持，包括国家图书馆（网络信息资源采集与保存重点实验室）、国家版本馆、中国科学院文献情报中心、北京大学信息管理系等。各参编单位充分发挥自身在网