GBT 33994-2026 信息与文献 WARC文件格式标准立项发展报告

信息与文献WARC文件格式标准立项发展报告StandardizationDevelopmentReport:InformationandDocumentation—WARCFileFormat摘要随着互联网信息资源的爆炸式增长，网络存档已成为图书馆、档案馆及科研机构保存数字文化遗产的重要途径。WARC（WebArchive）文件格式作为国际通行的网络资源采集与存储标准，其标准化工作对于规范网络存档实践、保障数字资源长期可用性具有重大意义。本报告全面梳理了GB/T33994-2026《信息与文献WARC文件格式》国家标准的立项背景、编制过程与技术内容。该标准等同采用国际标准ISO28500:2017，由全国信息与文献标准化技术委员会提出并归口，已于2026年7月2日正式发布，并将于2027年2月1日起实施。报告重点分析了WARC文件格式的技术架构、核心要素及其在数字资源长期保存领域的应用场景，阐述了该标准对完善我国信息与文献标准体系的重要作用。本标准的实施将有效规范我国网络信息资源采集存档工作，为构建国家数字记忆提供标准化技术支撑。关键词：WARC文件格式；信息与文献；网络存档；长期保存；数字资源；标准化；ISO28500一、引言1.1研究背景随着互联网技术的深度渗透，网络信息资源已成为社会记忆和文化遗产的重要组成部分。然而，网络内容具有高度动态性和易逝性——网页频繁更新、网站关闭、社交媒体内容删除等现实问题，使得大量有价值的网络信息面临永久性丢失的风险。据统计，互联网上约35%的网页内容在一年内会发生变更或消失。为应对这一挑战，国际图书馆界和档案界自20世纪90年代中期起系统性地开展网络信息资源采集与存档工作，逐步形成了以国际互联网保存联盟（InternationalInternetPreservationConsortium，IIPC）为核心的全球网络存档合作网络。在网络存档技术体系中，存档文件格式是制约数据互操作性和长期可读性的关键因素。早期网络存档项目曾使用ARC文件格式，但其在元数据描述、压缩支持和技术扩展性方面存在明显局限。为此，IIPC于2005年起组织开发WARC（WebARChive）文件格式，意图构建一种能够完整封装网络采集内容及其上下文信息的标准化容器格式。2009年，ISO正式发布ISO28500:2009《信息与文献WARC文件格式》，标志着WARC成为网络存档领域的国际通用格式标准。此后，WARC格式在全球范围内获得广泛应用——美国国会图书馆、大英图书馆、法国国家图书馆等国家级保存机构均将其作为网络存档的核心数据格式。2017年，ISO发布了修订版ISO28500:2017，新增了对严格UTF-8编码、修订的元数据语义和基于确定性长度寻址的修订块结构等特性的支持。我国在网络信息长期保存领域起步相对较晚，但随着“数字中国”战略的深入推进和国家数字资源保障体系的构建，网络资源存档的需求日趋迫切。国家图书馆自2003年起开展网络信息资源采集试验，并于2019年正式启动“中国互联网信息资源保存”项目。然而，由于长期缺乏相应的国家标准，国内各机构在WARC格式的应用实践上存在技术理解分歧、元数据著录规范不一致、数据处理流程不统一等问题，严重制约了网络存档工作的规模化开展和数据资源的共建共享。在此背景下，制定符合我国国情、与国际标准接轨的WARC文件格式国家标准显得尤为必要和紧迫。1.2标准立项意义GB/T33994-2026《信息与文献WARC文件格式》的制定与发布，具有多重重要意义。第一，该标准填补了我国在网络存档数据格式领域的国家标准空白，完善了信息与文献标准体系中关于数字资源长期保存的标准架构。第二，标准等同采用ISO28500:2017，有助于实现我国网络存档数据与国际同行的无缝交换与互认，促进全球网络文化遗产的共建共享。第三，标准的发布为国内各网络存档实施机构提供了统一的技术遵循，有利于规范操作流程、提高存档质量、降低系统开发成本。第四，该标准对推动我国数字人文研究、网络舆情分析、学术资源长期保存等应用领域的发展，具有基础性的技术支撑作用。二、标准编制背景与任务来源2.1国际标准发展历程WARC文件格式的发展演变经历了从实践探索到国际标准化的演进过程。2005年，IIPC内的存档格式工作小组正式启动WARC格式的研发，目标是设计一种替代ARC格式的新型存档格式。在设计过程中，研发团队充分总结了ARC格式在实际应用中的经验教训，重点考虑了元数据可扩展性、数据压缩透明性、记录寻址灵活性以及故障容忍性等技术要素。2008年5月，IIPC向ISO/TC46（信息与文献技术委员会）提交了新工作项目提案，经过快速通道程序审查后，ISO于2009年正式发布ISO28500:2009。这一版本的发布标志着网络存档格式首次被提升至国际标准层面。此后，随着网络存档实践的深入发展以及大数据、云计算等新技术的兴起，WARC格式在实际应用中暴露出版本演进需求。ISO/TC46/SC4（信息技术在信息、文献和出版中的应用分技术委员会）于2014年启动标准修订工作，经过三年审议，于2017年正式发布ISO28500:2017版本。该版本针对2009年版在使用中发现的若干缺陷进行了修正，同时增加了对大型文件更有效的确定性块寻址支持。根据ISO标准制修订规则，ISO28500:2017随后进入系统复审阶段，其技术内容经各成员国审议后于2022年获得确认保留，继续作为现行有效的国际标准为全球网络存档工作提供规范。2.2国内标准制定背景近年来，信息与文献领域的国际标准转化为我国国家标准的工作持续推进，成为完善我国文献标准化体系的重要路径。全国信息与文献标准化技术委员会（SAC/TC4）对口ISO/TC46，负责组织信息与文献领域的国家标准制修订工作。在数字资源长期保存标准子体系建设中，SAC/TC4统筹规划了涵盖术语、元数据、对象数据格式、保存策略等维度的标准框架，其中WARC文件格式标准被列为优先制定项目。2023年，经全国信息与文献标准化技术委员会申报，国家标准化管理委员会正式批准《信息与文献WARC文件格式》国家标准制定项目立项（项目编号：20230614-T-469）。项目由全国信息与文献标准化技术委员会提出并归口，主要起草单位包括国家图书馆等国内从事网络存档与数字资源保存的核心机构。三、标准编制原则与依据3.1编制原则GB/T33994-2026的编制工作遵循以下基本原则：等同采用原则。鉴于WARC文件格式已在全球范围内获得广泛应用和数据验证，且我国网络存档工作尚处于快速发展和应用探索并行推进的阶段，为最大程度降低技术转化风险和成本，实现与全球主流网络存档系统的兼容互认，本标准采用等同采用（IDT）方式转化ISO28500:2017。这一方式既保证了我国标准与国际标准在技术内容上的一致性，也便于我国机构在国际合作中直接进行数据层面的交换与互通。协调配套原则。标准的编制注重与我国已发布的信息与文献领域国家标准保持协调一致，特别是在术语定义、元数据描述方式等方面与既有的GB/T4894（信息与文献术语）、GB/T24466（信息与文献数字对象长期保存元数据）等标准形成配套衔接。适用性原则。在等同采用国际标准的基础上，编制组结合我国网络存档工作的发展阶段和实际需求，对标准中的示例、注释等内容进行了必要的编辑性调整和本地化处理，以增强标准的可读性和易用性。3.2编制依据本标准的编制工作依据以下主要文件和技术规范：-GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》；-GB/T20000.2《标准化工作指南第2部分：采用国际标准》；-ISO/IECDirectivesPart2（ISO/IEC指令第2部分：国际标准的结构和起草规则）；-ISO28500:2017Informationanddocumentation—WARCfileformat（英文版）；-国际互联网保存联盟（IIPC）关于WARC格式的技术规范和应用指南。此外，编制过程中参考了国内外相关技术文献和最佳实践：美国国会图书馆关于WARC格式的技术评估报告、大英图书馆网络存档项目的数据管理规范、国际互联网保存联盟发布的最新版WARC实施指南，以及国家图书馆数字资源长期保存示范计划中积累的技术方案与实测数据。四、标准主要技术内容4.1适用范围与定位GB/T33994-2026界定了WARC文件格式的通用结构，适用于各类网络信息采集与存档系统。标准规定了WARC文件的设计目标、格式约定、块结构与记录类型、字段定义、信息类型声明及数据压缩规则等内容。该标准适用于构建网络存档数据交换格式的创建者、处理WARC文件的软件开发人员以及需要存取WARC格式数据的存档服务系统。在归档管理、数据迁移及长期保存、网络资源镜像、人文科学数值分析等业务场景中，本标准均可提供规范格式支撑。4.2格式的基本设计原则WARC格式的设计遵循多项面向长期存档场景的核心原则。在简洁性方面，WARC文件被设计为一系列顺序排列的记录，每条记录包含记录头与内容块两部分。记录头采用纯文本形式，使用CRLF（回车换行）作为行分隔符，与HTTP消息头语法保持一致，便于人工检查和程序解析。在可扩展性方面，WARC格式支持通过自定义字段的方式扩展元数据描述能力，以Named-Type字段机制支持新的元数据类型迭代而不破坏旧有数据的可读性。在鲁棒性方面，WARC文件的顺序结构允许多条记录级联排布，任何单条记录发生损坏的场合，解析器有能力在定位下一条有效记录头后自动恢复处理，这一设计对应对大规模存档中的各类随机存储故障具有重要意义。4.3记录结构与字段定义WARC文件的构成单元为记录（record），记录的通用语法为：记录头（warc-header）后随两个CRLF，再跟内容块（content-block）。记录头定义了若干核心字段，包括WARC-Type（记录类型）、WARC-Record-ID（记录唯一标识符）、WARC-Date（记录创建时间）、Content-Length（内容块长度）、Content-Type（内容类型）、WARC-IP-Address（来源IP地址）等。标准定义的记录类型涵盖warcinfo、response、request、resource、metadata、revisit、conversion、continuation以及legal等类别，每种类型在存档交换中承担特定功能。内容块的编码规定与压缩方式、UTF-8字符编码规则以及WARC字段名大小写不敏感约定等细节共同规定了WARC文件的底层实现要求，确保不同系统之间可以实现数据的无损交换。通过对标ISO28500的规范性附录和资料性附录，该国家标准同时对内容块正文中字符编码的诊断规则、文件级压缩和记录级压缩应用场景做出规定。4.4关键技术改进相较于早期ARC格式，WARC格式引入多项技术改进：第一，元数据的独立记录化，使得采集上下文、软件环境、爬取策略等关键描述信息可以随存档数据一并保存，显著增强存档数据的可理解性和可验证性；第二，记录级去重机制的设计——通过revisit记录标识重复内容，使存储资源得到合理控制；第三，支持数据分块和续写机制，允许超大规模存档数据分散于多个文件乃至分布于不同物理存储节点，提升数据处理的可管理性。以上技术优势为互联网环境下海量资源存档的完整性、真实性和可持续获取提供了系统级解决方案。五、主要参加单位及其实践5.1标准起草单位简介本标准的主要起草单位是国家图书馆。国家图书馆是文化和旅游部直属的国家级公共图书馆，承担着国家总书库、国家文献信息资源总库以及国家数字资源保存基地的职能。在标准制定过程中，国家图书馆依托“互联网信息战略保存”项目积累的实践经验，组织来自数字资源保存、信息技术研发及标准管理多个专业方向的骨干力量组成编制组，全面负责标准草案的拟制、试验验证、意见汇总及送审报批等全流程工作。国家图书馆早在2003年即开始关注网络信息资源的采集与保存问题，曾组织对国际网络存档技术路线的系统调研。2019年，国家图书馆正式启动“中国互联网信息资源保存”项目，在实践过程中充分应用WARC格式作为存档数据的核心存储格式。通过大规模长期运行，积累了涵盖新闻门户、政府网站、社交媒体等多种类型网络资源的丰富存档数据，为WARC格式的本土化应用积累了重要的一手经验。起草期间，编制组依托这些实践经验，对WARC格式在中文环境下的适用性、元数据著录要点及数据质量控制方法等进行了深入验证，在此基础上完成了标准征求意见稿和送审稿的编制。5.2其他参与单位除国家图书馆外，本标准起草工作中还吸收了全国信息与文献标准化技术委员会的专家力量，联合来自档案系统、高校系统及相关技术企业的专家共同参与研讨和审查。编制组多次组织专家论证会和技术研讨会，通过函审和网络会议等形式广泛征集来自文献情报机构、档案馆、科研院所及系统开发商等各相关方的意见建议，力求使标准内容兼顾学术前瞻性与工程可实施性。六、标准实施前景与影响6.1国内应用前景GB/T33994-2026将于2027年2月1日起正式实施，预期将对国内网络存档体系建设发挥直接技术效能。国家图书馆及若干省级公共图书馆正在推进的网络资源保存工作，将可通过遵循该国家标准，实现存档数据格式的规范统一。各存档系统之间的数据迁移、数据交换和联合服务平台建设也将因此具备更清晰的格式接口，为跨地域、跨系统的网络资源协同保存提供标准基础。此外，本标准对数字资源长期保存系统建设、机构知识库建设以及人文社科领域的数据驱动研究亦将产生积极的推进作用。借助WARC格式标准化的存档数据，研究者可以系统性地开展网络内容演化分析、网络舆情回溯研究、社交媒体传播路径重构等前沿课题。6.2国际交流与影响在国际层面，本标准的发布使我国网络存档领域的技术规范进一步融入国际标准化体系。作为ISO28500:2017的国家采标版本，GB/T33994-2026将向国际同行传达我国网络存档数据格式规范化水平的最新进展，也为国内外相关项目的合作扫清了技术语言障碍。后续我国相关机构在以WARC格式向国际互联网保存联盟等组织提交数据或参与国际共建项目时，将进一步获得格式兼容层面的便利。6.3未来标准化工作展望以本标准的发布为契机，建议后续在如下方向持续推进标准化工作：其一，编制与WARC格式相配套的网络存档元数据规范标准，细化存档内容描述、权利管理和技术环境信息的著录规则；其二，推动网络存档质量评估标准的研制，为存档工作的完整率、准确率和可用性评价提供方法框架；其三，跟踪ISO/TC46关于数字保存相关国际标准的修订动态，及时启动相关国家标准的制修订程序。通过上述工作，逐步形成覆盖采集、存储、管理、服务全流程的网络信息资源长期保存标准体系。七、结论GB/T33994-2026《信息与文献WARC文件格式》国家标准的发布与实施，是我国信息与文献标准化工作在数字资源长期保存领域取得的重要阶段性成果。该标准等同采用ISO28500:2017，保持了与国际标准的技术同步，充分吸收和反映了当前网络存档格式领域的主流技术方案和最佳实践。标准的实施将为我国各级