数据基础设施参考架构（试行）

数据基础设施参考架构（试行）1总则1.1编制目的为规范数据基础设施规划、建设、运维、运营全流程管理，破除跨层级、跨区域、跨部门、跨系统、跨业务的数据壁垒，解决当前算力资源分散布局、数据标准不统一、数据价值释放不足、安全防护体系不健全等突出问题，支撑数字中国建设和数据要素市场化配置改革，为各行业数字化转型提供统一、集约、安全、高效的底层支撑，特制定本参考架构。1.2适用范围本架构适用于各级党政机关、国有企业、公共服务机构、行业公共平台开展数据基础设施的新建、改扩建、运维评估工作，各类市场主体建设企业级数据基础设施可参照执行。本架构所指数据基础设施是指支撑数据采集、存储、加工、流通、应用全生命周期的算力、网络、存储、平台、安全等软硬件资源的集合。1.3编制依据本架构编制严格遵循《中华人民共和国数据安全法》《中华人民共和国网络安全法》《中华人民共和国个人信息保护法》《数字中国建设整体布局规划》《全国一体化大数据中心体系建设实施导则》《网络安全等级保护条例》《数据要素市场化配置改革总体方案》等国家法律法规和政策文件要求，同时兼容当前主流技术标准和信创产业适配要求。1.4基本原则1.4.1统筹规划、集约共享坚持“全国一盘棋”布局，对接全国一体化大数据中心体系算力枢纽节点，避免算力、存储资源重复建设，优先推动存量资源整合共享，算力、数据、平台资源统一纳管、按需调度，非涉密资源共享率不低于80%。1.4.2安全可控、开放兼容优先采用自主可控技术路线，全面适配信创软硬件生态，建立覆盖全链路的安全防护体系，同时兼容主流技术标准，支持异构算力、多源数据、第三方应用的接入，避免技术锁定。1.4.3按需调度、弹性扩展采用云原生、资源池化技术架构，支持算力、存储、平台资源的弹性扩缩容，匹配业务峰谷波动需求，资源调度响应时间不高于5分钟，避免资源闲置或供给不足。1.4.4场景牵引、价值导向以业务需求和应用场景为核心设计架构，优先支撑民生服务、产业赋能、治理决策等高频刚需场景，建立以数据价值释放为核心的考核体系，避免重建设、轻应用、重投入、轻产出的问题。2总体架构本参考架构采用“四层技术底座+两大支撑体系”的总体设计，四层技术底座自下而上分别为算力基础设施层、数据资源层、数据平台层、数据应用服务层，两大支撑体系为全链路安全保障体系、全流程运营运维体系，实现算力可调度、数据可治理、平台可扩展、应用可快速搭建、安全可追溯、运营可计量的核心目标。3分层技术要求3.1算力基础设施层算力基础设施层是数据基础设施的物理底座，负责提供数据全生命周期所需的算力、存储、网络资源，实现资源的池化、统一编排和弹性调度。3.1.1算力集群模块算力集群按功能分为三类：（1）通用算力集群：采用X86或国产ARM架构CPU服务器，支撑常规结构化数据处理、业务查询、离线数据加工、通用应用部署等场景，单集群规模支持从10台到10000台弹性扩展，通用算力平均利用率不低于50%。（2）智能算力集群：采用GPU、NPU、MLU等人工智能芯片服务器，支撑大模型训练推理、多模态数据处理、高并发AI推理等场景，支持千卡级集群并行训练，训练效率损失不高于15%，智算算力平均利用率不低于40%。（3）高性能算力集群：采用超算芯片节点，支撑高精度仿真、基因测序、气象预测、密码破译等科学计算场景，浮点运算能力达到PFlops级以上。算力集群需支持异构统一管理，兼容不同厂商、不同架构的算力芯片，提供统一的算力调用接口，用户无需感知底层硬件差异。3.1.2存储资源模块存储资源按场景分为三类：（1）块存储：采用SSD或SAS磁盘阵列，支撑结构化数据库、高IO业务系统的数据存储，IOPS不低于10万，延迟低于1毫秒。（2）分布式文件存储：支持并行读写，支撑大数据加工、模型训练、大文件存储等场景，带宽不低于10GB/s，延迟低于10毫秒。（3）对象存储：支撑非结构化数据、冷数据归档存储，容量可无限扩展，存储成本相比块存储降低60%以上。存储资源需支持分级存储策略：热数据（30天内高频访问）存储在高性能块存储或分布式文件存储，温数据（30-180天中频访问）存储在普通对象存储，冷数据（180天以上低频访问）存储在归档存储，数据自动分层迁移，迁移过程无业务感知。3.1.3网络资源模块网络资源分为三类：（1）数据中心内部网络：采用RDMA高带宽低延迟网络，单端口带宽不低于100G，集群内部节点间通信延迟低于2微秒，支撑智算集群的大规模并行通信需求。（2）跨区域算力调度网络：对接国家东数西算算力枢纽节点，骨干网络带宽不低于1T，跨区域算力调度延迟低于50毫秒，支持“东数西存、东数西算”业务场景。（3）边缘接入网络：支持边缘算力节点、IoT设备、终端的接入，工业场景边缘到终端延迟低于10毫秒，政务、消费场景边缘到终端延迟低于50毫秒。3.1.4资源管控模块资源管控模块负责对算力、存储、网络资源的池化、编排、调度、计量，支持可视化资源拓扑展示、资源配额管理、故障自动迁移、弹性扩缩容等功能，资源调度准确率不低于99%，故障自动迁移时间不高于30秒，资源使用情况实现全链路计量，计量数据误差不高于1%。3.2数据资源层数据资源层是数据资产的核心载体，负责全量数据的接入、存储、治理、管理，实现数据的标准化、资产化、可溯源。3.2.1数据采集接入模块数据采集接入支持多源异构数据的统一接入，覆盖内部业务系统数据、IoT设备数据、音视频数据、外部公开数据、合作方共享数据等类型，采集方式包括：（1）批量采集：支持T+1、T+N的离线数据同步，单次同步数据量支持PB级，同步准确率不低于99.99%。（2）实时采集：支持日志、交易数据、IoT数据的毫秒级采集，延迟低于100毫秒，每秒处理数据条数支持百万级以上。（3）接口采集：支持API、webservice等方式对接第三方数据，支持接口鉴权、流量控制、异常告警等功能。数据采集阶段需内置校验规则，对数据的完整性、格式规范性、逻辑一致性进行自动校验，脏数据拦截率不低于99%，拦截的脏数据自动进入待整改队列，推送责任部门整改。3.2.2数据存储管理模块数据存储管理按数据类型实现逻辑分类存储：（1）结构化数据：存储在分布式关系型数据库或数据仓库，支持SQL查询，查询响应时间低于200毫秒。（2）半结构化数据：存储在宽表数据库或文档数据库，支持JSON、XML等格式数据的快速查询。（3）非结构化数据：存储在对象存储，同时关联元数据，支持按内容、标签、属性检索非结构化数据，检索准确率不低于90%。数据存储管理需内置全链路血缘追溯功能，记录每个数据资产的来源、加工流程、使用去向、关联业务，血缘追溯覆盖率不低于95%，支撑数据质量问题定位、数据合规审计等场景。3.2.3数据治理模块数据治理模块实现数据全生命周期的标准化、质量管控、资产管理：（1）数据标准管理：统一制定数据元、数据字典、编码规则，优先采用国家标准、行业标准，无上级标准的制定企业级标准，数据标准覆盖率不低于90%，避免“同数不同义、同义不同数”问题。（2）数据质量管理：配置完整性、一致性、准确性、时效性、唯一性五类质量规则，质量问题自动识别、自动告警、整改闭环，数据质量合格率不低于95%，核心主数据质量合格率不低于99%。（3）数据资产管理：建立全量数据资产目录，按业务域、数据类型、安全等级对资产打标签，支持用户权限内检索、申请使用数据资产，数据资产登记率不低于98%。（4）主数据管理：对用户、组织、产品、地理信息等核心主数据实现统一管理、统一分发，保证多系统主数据一致性，主数据同步延迟不高于1小时。3.2.4数据资源目录模块数据资源目录分为公共数据目录、业务数据目录、敏感数据目录三类：（1）公共数据目录：记录可开放共享的公共数据，包括数据名称、数据来源、更新频率、共享范围等信息，目录动态更新，更新频率不低于每月1次。（2）业务数据目录：记录各业务条线产生的内部业务数据，按业务部门、业务场景分类。（3）敏感数据目录：记录涉及国家秘密、工作秘密、商业秘密、个人信息的敏感数据，明确安全等级、管控要求、责任部门，敏感数据识别率不低于99%。3.3数据平台层数据平台层是承上启下的核心枢纽，负责提供数据加工、开发、服务、流通的通用能力，降低上层应用的开发门槛。3.3.1大数据处理引擎模块内置多类型大数据处理引擎，覆盖全场景数据处理需求：（1）批处理引擎：支持Spark、Hive等主流引擎，适配国产大数据引擎，支撑PB级离线数据加工，任务调度成功率不低于99.9%。（2）流处理引擎：支持Flink等主流流计算引擎，支撑实时数据计算、实时预警等场景，处理延迟低于100毫秒。（3）湖仓一体引擎：支持数据湖和数据仓库的统一访问，实现流批一体、冷热数据统一查询，不需要跨系统数据搬家，存储成本降低30%以上，查询效率提升50%以上。（4）图计算引擎：支持千亿级点边关系的图存储、图查询、图分析，支撑风控、关系网络分析、供应链溯源等场景。（5）多模态处理引擎：支持文本、图像、音视频、三维模型等多模态数据的统一特征提取、检索、分析，支撑AI类应用开发。3.3.2数据开发运维模块提供低代码/无代码的数据开发工具，降低数据开发门槛：（1）可视化开发工具：支持拖拽式的任务编排、数据加工流程设计，内置常用的清洗、转换、计算算子，数据开发效率提升40%以上。（2）任务调度监控：支持定时调度、依赖调度、事件触发调度等多种调度方式，任务运行状态实时监控，故障自动告警、自动重试，重试成功率不低于90%。（3）全链路可观测：对数据开发、运行的全链路日志、指标、链路进行采集展示，故障定位时间从小时级降到分钟级。3.3.3数据服务模块将加工完成的数据资产封装成标准化服务，支撑上层应用快速调用：（1）服务全生命周期管理：支持服务的注册、测试、发布、授权、下线全流程管理，服务发布时间从周级降到小时级。（2）服务类型：支持API查询服务、批量数据下载服务、可视化分析服务、模型推理服务等多种类型，服务调用成功率不低于99.9%，平均响应时间低于200毫秒。（3）服务治理：支持流量控制、熔断降级、权限校验、调用审计等功能，防止服务被滥用、异常调用影响平台稳定性。3.3.4数据流通交易模块支撑数据要素的安全合规流通，实现数据“可用不可见、可控可计量”：（1）隐私计算能力：内置联邦学习、差分隐私、多方安全计算等隐私计算技术，支持多机构联合建模、联合分析，原始数据不出域，数据计算结果的准确率损失不高于5%。（2）数据确权存证：基于区块链技术对数据资产的权属、流通、使用过程全链路存证，存证信息不可篡改，支撑数据权属纠纷举证。（3）交易撮合服务：支持供需双方的需求发布、智能匹配、定价、结算，交易流程全链路可追溯，支持按调用次数、按数据量、按服务时长等多种定价模式。3.4数据应用服务层数据应用服务层是面向最终用户的服务出口，基于底层能力快速搭建各类应用，支撑不同场景需求：3.4.1公共服务类应用面向政务、民生服务场景，支撑一网通办、跨省通办、民生服务直达等应用，通过跨部门数据共享，实现办事材料免提交、办事流程自动审核，办事材料减少60%以上，平均办事时间缩短70%以上，高频服务事项实现“秒批”。3.4.2产业赋能类应用面向一、二、三产业数字化转型场景，支撑工业互联网的设备预测性维护、生产流程优化、供应链风险预警，金融行业的智能风控、精准营销、反欺诈，农业的农产品溯源、产量预测、病虫害预警，面向中小企业提供普惠数据服务，降低企业用数成本50%以上。3.4.3治理决策类应用面向政府、企业的治理决策场景，支撑城市运行一网统管、应急指挥调度、生态环境监测、经济运行分析、企业经营决策等应用，实现运行状态实时监测、风险隐患智能预警、决策方案模拟推演，决策响应时间从小时级降到分钟级，决策准确率提升30%以上。3.4.4通用工具类应用面向业务人员、数据分析人员提供自助式工具，包括自助分析工具、可视化报表工具、数据大屏搭建工具、模型训练工具，支持业务人员无需依赖技术团队即可自主完成取数、分析、报表制作，数据分析效率提升50%以上。4两大支撑体系4.1全链路安全保障体系以国家网络安全等级保护2.0三级要求为基础，建立覆盖物理、网络、数据、应用的全链路安全防护体系，符合数据安全、个人信息保护相关法律法规要求。4.1.1物理与设施安全数据中心按照国家A级机房标准建设，具备724小时安防、消防、环境监测能力，建立同城双活、异地灾备的容灾体系，通用业务RPO（恢复点目标）不高于15分钟，RTO（恢复时间目标）不高于4小时，核心业务RPO不高于1分钟，RTO不高于30分钟，数据备份覆盖率100%。4.1.2网络与边界安全采用零信任访问架构，所有访问请求需经过身份认证、权限校验、风险评估，实现“永不信任、始终验证”，按功能域划分安全区域，算力资源区、数据资源区、敏感数据域之间实现逻辑隔离，边界部署防火墙、入侵检测系统、Web应用防火墙，网络攻击拦截率不低于99.9%。4.1.3数据全生命周期安全针对数据采集、存储、加工、流通、销毁全生命周期落实安全管控：采集阶段自动识别敏感数据，对个人信息、商业秘密等敏感数据进行脱敏处理，脱敏规则符合国家相关标准；存储阶段实现静态加密、传输加密，采用国密SM2、SM3、SM4加密算法，加密覆盖率100%；加工阶段实行最小权限管控，仅授权人员可访问对应权限的数加工任务；流通阶段采用隐私计算、数据水印技术，防止数据泄露、滥用；销毁阶段对存储介质进行不可逆消磁或物理销毁，销毁过程留存记录不少于3年。全操作日志留存不少于6个月，支持安全审计追溯。4.1.4安全运营管理建立724小时安全运营值守机制，实时监测安全漏洞、攻击行为、异常操作，安全事件响应时间不高于30分钟，高危漏洞修复时间不高于24小时，中危漏洞修复时间不高于72小时，低危漏洞修复时间不高于7天。每年至少开展1次等保测评、数据安全评估、个人信息保护合规审计，确保符合国家合规要求。4.2全流程运营运维体系建立专业化的运营运维团队，落实全流程管理机制，保障数据基础设施稳定、高效运行。4.2.1组织与人员管理成立专门的数据基础设施运营团队，设置算力运维岗、数据治理岗、平台运维岗、安全运营岗、业务服务岗，明确各岗位职责，核心岗位人员需具备相应的职业资格证书，定期开展技术培训，培训频率不低于每季度1次。4.2.2运维管理建立日常运维机制，每日开展资源巡检、故障排查，故障闭环管理，故障处理率100%，平均故障修复时间不高于2小时。建立运维知识库，对常见故障、处理方案进行沉淀，故障自愈率不低于80%。每季度开展一次性能优化，提升资源利用率、平台运行效率。4.2.3运营管理建立资源计量计费机制，对算力、存储、数据服务的使用情况按部门、按项目进行计量核算，定期出具成本分析报告，支撑成本优化。建立SLA（服务水平协议）管理机制，明确各服务的可用性、性能、响应时间指标，定期向用户公示SLA达成情况，SLA达成率不低于99.9%，用户满意度不低于90%。4.2.4迭代优化机制每半年开展一次架构评估、性能评估、安全评估，每年开展一次用户需求调研，针对评估发现的问题和用户反馈的需求，持续优化架构、升级功能、提升服务能力，适配技术发展和业务变化需求。5部署实施要求5.1规划设计阶段各单位在开展数据基础设施建设前，需全面摸查现有算力、数据、平台、应用的存量资源，梳理业务需求和场景，编制建设方案，方案需符合本架构的技术要求，优先推动存量资源整合，避免重复建设，建设方案需经过专家论证、安全风险评估后方可实施。5.2建设实施阶段优先采用信创目录内的自主可控软硬件产品，全面适配国产芯片、操作系统、数据库、中间件，信创产品占比不低于60%，涉及核心业务的关键系统信创占比100%。采用分阶段建设模