DB54-T 0419-2024 大数据平台 总体框架参考

ICS35.24054IDB54/T0419—2024前言 2规范性引用文件 3术语和定义 4总体要求 5平台总体框架 5.1基础设施层 5.2数据资源层 5.3业务应用层 5.4安全保障体系 5.5运维保障体系 5.6标准规范体系 6平台功能技术要求 6.1基础设施层 6.2数据资源层 6.2.1数据资源管理平台 6.2.2数据资源库 6.3业务应用层 6.3.1数字看板 6.3.2数据服务门户 6.3.3行业场景应用 7平台保障技术要求 7.1安全保障体系 7.2运维保障体系 7.3标准规范体系 参考文献 DB54/T0419—2024本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由西藏自治区经济和信息化厅（自治区数据管理局）提出并归口。本文件起草单位：西藏自治区经济和信息化厅（自治区数据管理局）、西藏高驰信息技术服务有限责任公司、国家工业信息安全发展研究中心。本文件主要起草人：郭翔、旺堆、扎西尼玛、刘勇、宋雪述、兰劭晖、罗宇舟、周文华、曹亮、赵青、贺赟、栾燕、杜洪涛、李云志、陶炜、蔡长亮。DB54/T0419—20243大数据平台总体框架参考本文件规定了西藏自治区大数据平台的总体框架参考，包括平台的总体要求、总体框架和各子系统的技术功能要求。本文件适用于规范指导西藏自治区大数据平台建设。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T34960.5信息技术服务治理第5部分：数据治理规范GB/T35295信息技术大数据术语GB/T38664.1信息技术大数据政务数据开放共享第1部分：总则GB/T38672信息技术大数据接口基本要求3术语和定义GB/T35295、GB/T34960.5和GB/T38664.1界定的以及下列术语和定义适用于本文件。3.1大数据bigdata具有体量巨大、来源多样、生成极快、多变等特征，并且难以用传统数据体系结构有效处理的包含大量数据集的数据。[来源：GB/T35295-2017，2.1.1]3.2公共数据publicdata国家机关和经依法授权、受委托履行公共管理和服务职能的组织，在依法履行公共管理职责或提供公共服务过程中收集、产生的数据。公共数据通常不包括组织专有的知识产权数据和商业秘密。3.3政务数据governmentdataDB54/T0419—20244各级政务部门及其技术支撑单位在履行职责过程中依法采集、生成、存储、管理的各类数据资源。[来源：GB/T38664.1-2020，3.1]3.4大数据平台bigdataplatform依托政务云计算平台搭建，承载公共数据、政务数据并支撑数据统筹存储、统筹治理、统筹应用和统筹安全的信息平台。3.5数据仓库datawarehouse面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。3.6数据治理datagovernance数据资源及其应用过程中相关管控活动、绩效和风险管理的集合。[来源：GB/T34960.5-2018，3.1]3.7数据资源目录dataresourcecatalog采用分类、分级和编码等方式描述数据资源特征的一组信息。4总体要求西藏自治区大数据平台总体上宜满足以下要求：a)实用性——适合工作实际和业务需求，具有实用价值；——通过计算、存储、网络、安全、运维运营、公共技术和应用组件等基础建设，形成统一、集约、高效、智能的公共应用支撑能力，满足政府机关、企事业单位、社会团体和个人对于基础资源使用、管理和运营运维的需求，覆盖多场景的应用，同时也可为行业、企业提供云资源服务；——通过数据资源建设与数据治理能力建设，构建完备的自治区公共数据资源体系，形成公共大数据资源汇聚与服务能力，推进西藏自治区与国家、行业、地方、公众的数据共享交换和融合。b)有效性——保证各层级功能有效运行，实现公共数据可信流转；——实现云资源运行监控能力，对云平台的硬件层、资源抽象层和虚拟化技术资源层的运行状况进行持续监测和统一展示，为持续改进平台服务质量提供数据支撑。c)安全性保障平台安全可靠，确保数据不被窃取、篡改、破坏。DB54/T0419—20245d)通用性充分考虑与其他各类政企平台的数据资源共享和互通，并形成模块化应用。e)开放性满足开放性要求，可提供整个系统内部各应用模块间的信息交换和共享服务，支持与系统外数据交换服务。5平台总体框架西藏自治区大数据平台采用标准化、开放和高扩展的云计算架构，支撑对接国家政务大数据平台、自治区内行业部门数据平台、地市政务数据平台，以及各部门政务外网、互联网等多种业务服务。依据《全国一体化政务大数据体系建设指南》，自治区大数据平台架构包括基础设施、数据资源、业务应用等横向基本功能，以及标准规范体系、运维管理体系和安全保障体系等纵向保障能力，如图1所示：图1西藏自治区大数据平台总体功能框架5.1基础设施层面向全区政务应用、行业应用、公共服务等，提供计算资源池、存储资源池、网络资源池、安全资源池，涉及互联网、政务外网、行业专网、视频网等业务领域。5.2数据资源层构建数据平台，为业务应用提供公共数据资源访问和存储服务，主要包括数据汇聚、数据治理、数据资源管理、数据分析挖掘、数据可视化服务等内容，并建设基础数据库、主题数据库、原始数据库等数据资源库，为业务应用提供数据支撑。5.3业务应用层作为各类用户获取所需服务的主要入口和交互界面，为不同的应用提供底层能力支撑，满足西藏自治区社会治理、文化旅游、兴边富民、政务服务、生态环保、市场监管、应急处突、乡村振兴等不同应用的底层数据支撑和通用能力支撑。5.4安全保障体系围绕平台建设和运行各个系统环节，根据国家网络安全、数据安全、个人信息保护、密码、基础设施安全等级保护等法规、标准，以及关键信息基础设施保护的要求，构建全流程、全环节的数据安全保护能力。5.5运维保障体系围绕平台运行的各个模块和流程，建设统一的运行维护系统，实现底层硬件设备、网络设备、安全设备，以及操作系统、数据库、中间件等通用软件的监控、应急和风险防范。DB54/T0419—202465.6标准规范体系建设与大数据平台需求匹配的标准规范，分为共性基础类标准、治理与管理类标准、技术规范类标准、信息安全类标准和应用与服务类标准等。6平台功能技术要求6.1基础设施层基础设施层宜遵循“统筹规划，集约利用”原则，按照国家一体化政务大数据体系布局，全区统一规划、建设、管理、运营，整合存量资源，规范增量资源，构建分布式大数据中心和云计算服务的赋能体系，具备包括但不限于以下能力：a)提供基于政务外网、互联网、政务云等网络环境，统一云资源接入与调度。b)满足大数据计算、存储、网络条件，为平台系统各层提供必要的基础环境，提供包含云计算、云存储、云安全及其他服务。c)以信创技术架构为主，配置国产密码设备，提升安全防护水平。d)面向业务连续性、稳定性要求高的关键业务，实现同城容灾、全量数据本地实时备份、重要数据异地定时备份，确保数据的可靠性和多副本保存。6.2数据资源层数据资源管理平台6.2.1.1数据汇聚6.2.1.1.1功能平台应具备但不限于以下数据汇聚基础功能：a)数据服务总线包括交换节点部署管理、交换作业管理、交换调度管理、交换监控（共享流程监控）管理。b)多源数据采集包括采集配置、批量采集、实时采集、采集节点管理、采集任务管理、数据对账、数据清洗处理等，通过与上云系统对接，实现与相关部门、单位间的数据共享。c)数据交换对接服务——提供基于数据资源目录的数据资源交换能力，实现数据采集、传输、转换、可视化配置；——通过前置机、接口、文件、线下等实施方式实现数据对接接入；——与国家共享交换平台同步政务信息资源目录、供需清单，通过接口/数据交换的方式与国家政务大数据平台交互，将数据回落到自治区本级平台，并与区内各级各部门通过数据标准，实现跨层级、跨应用、跨部门的数据调用；——数据接口的规划和设计可参考GB/T38672-2020规定的接口基本要求实施。DB54/T0419—20247d)数据融合处理包括数据融合集成、清洗规则管理、数据集成管理、融合统计分析等功能，将多源、异构的数据抽取到临时中间层后，进行清洗、转换、集成，最后加载到数据仓库中，成为联机分析处理、数据挖掘的基础。6.2.1.1.2性能平台应达到但不限于以下性能：a)支持结构化数据、非结构化数据及时序数据的全量、增量、实时接入，支持数据抽取、数据同步、数据接口、消息队列、网页抓取和数据填报等方式；b)应支持通过标准模型，对接入的数据进行格式化、规范化、一致性转换，满足统一编码、数据汇聚和多维分析等要求，数据逻辑分层宜采用数据仓库三层架构标准；c)应支持批处理、流处理计算框架，宜支持图计算、内存计算、批流融合计算及任务调度。6.2.1.2数据资源管理平台应具备但不限于以下数据资源管理基础功能：a)数据资源规划实现数据分层、分类处理和存储，形成完整、规范、准确的数据体系，为上层应用快速提供数据服务，包括数据缓冲、数据源、数据汇总、数据主题区等。b)存储计算支持分布式的文件存储、列式数据存储、结构化数据存储和图数据存储，支持对外数据及文件交换。c)数据资源库包括人口库、法人库、宏观经济库、电子证照库、信用库等基础库，以及政务服务、经济发展、社会治理、民生服务、市场监管、财政金融、兴边富民、生态环保、应急消防、文化旅游等主题库。d)数据资源目录——按照应编尽编的原则，建立全量覆盖、互联互通的自治区公共数据资源目录；——建立目录系统与各部门目录、各市目录实时同步更新机制，实现全区公共数据“一本账”管理。e)数据目录管理系统统一目录管理维护功能，包括数据目录管理、服务目录管理、应用目录管理、认证商目录管理等，明确数据权限和知悉范围。6.2.1.3数据共享交换平台应具备但不限于以下数据共享交换基础功能：a)数据共享门户——依托数据资源目录，按照数据交换标准，实现数据资源跨部门、跨层级、跨区域数据资源的检DB54/T0419—20248索、申请、审批和使用的能力；——依据客户不同需求提出数据申请、审批和流转机制，最终提供满足客户需求的数据资源，为数据管理维护提供各子系统的统一入口。b)数据开放门户提供开放目录服务、开放数据服务、开放接口管理、工具服务、数据服务管理等功能。c)统一管控平台提供系统管理、权限管理、配置管理、日志管理、租户管理等功能。6.2.1.4数据治理平台应具备但不限于以下数据治理基础功能：a)数据分类分级管理依据国家和自治区相关数据治理标准要求，对数据分类分级进行管理，宜包括重要数据、公共服务数据、社会开放数据。b)主数据管理建立支撑主数据编码规范和管理维护流程的主数据编码管理平台，集中统一管理主数据编码数据库，为各级单位提供集成、全面、准确和及时的主数据服务和信息化基础工作的支持。c)元数据管理宜包括元数据采集、元数据目录、元数据信息管理、血缘分析、数据字典等功能。d)数据质量管理宜包括质量规则管理、质量任务管理、预警方案管理、问题管理、质量报告及稽核引擎等功能。6.2.1.5数据分析挖掘平台应具备但不限于以下数据分析挖掘基础功能：a)基本分析功能具备数据检索、多维模型管理、数据画像、数据报表和数据开发等功能，提供丰富的数据分析挖掘服务。b)二次开发工具数据运维人员、业务人员可通过数据挖掘分析服务，提供灵活、便捷、可视化的工具，进行数据建模、指标定义、报表定制等。6.2.1.6数据可视化平台宜具备应用管理（应用编辑、版本管理、二次开发、导入导出）、应用构建、页面组件、二维地图、数据配置、素材中心等功能。数据资源库6.2.2.1基础数据库DB54/T0419—20249基础数据库主要包括人口库、法人库、电子证照库、宏观经济库、信用库等，数据库基本功能要求a)人口库整合政府部门人口基础信息资源，包含人口核心基础信息、基础扩展信息、主题扩张信息和业务服务信息。b)法人基础库主要存储法人单位基础信息。由政府部门和取得法定资质的第三方服务机构依法形成或出具的，具有法律效力的各类批文、证件、执（牌）照、鉴定报告、证明材料等文件。d)宏观经济库以宏观经济信息为核心，全面整合、提炼来源于统计、民政、财政等部门相关业务的数据，提供计划、执行、监控、决策、检查评价等决策服务的支持。e)信用库依据《全国信用信息共享平台信用信息归集目录》和西藏自治区现状，采集和整理企业法人信息、社会机构法人信息、事业单位法人信息、自然人信息等信用信息。6.2.1.2主题数据库主题数据库主要包括政务服务、经济发展、社会治理、民生服务、市场监管、财政金融、兴边富民、生态环保、应急消防、文化旅游等行业主题类型的数据库。6.3业务应用层数字看板具备从业务视角、时间段、数据类型、宏观和微观层级等不同维度的数字化看板功能。数据服务门户可实现公共数据全网搜索，支撑分析决策，包括驾驶舱、搜索引擎等。行业场景应用行业场景应用宜包括但不限于以下功能：a)支撑底层统一管理能力，具备微服务、轻应用、低代码开发能力，可以按照统一标准部署技术组件，为各应用系统提供基础、共性的能力支撑。b)通过固定端、移动端等通道，与实体政务大厅在服务引导、同源数据发布层面上进行互联、集成，提供网上预约、网上申请、网上查询、智能咨询投诉等相关服务。c)具备语音服务、语义分析处理、机器学习等能力，支持多维分析和知识图谱，形成智能化的报告、分析和应用服务能力。d)基于数据仓库，支持对公共数据的搜索，基于搜索引擎实现公共数据的快速检索定位。DB54/T0419—20247平台保障技术要求7.1安全保障体系a)安全策划以“动态安全能力”为核心，结合大数据中心的业务系统实际需求，构建相关网络安全监测分析、安全事件分析、安全事件处置、安全事件预警等平台及工具，形成事前预防、事中控制、事后总结和持续优化能力。b)安全框架——以安全策略为核心，以管理体系、技术体系和运营体系共同支撑的信息安全保障体系为框架，实现对政务云、网、安全的统一安全管理、统一技术管理、统一运维管理、统一安全接口管理；——体系还应覆盖法律法规合规性、安全风险管理、密码应用安全、信创安全。c)安全实施——设立专门的安全部门或人员，负责数据中心自身的安全以及对外提供安全能力；——加强云安全能力建设，提供云防火墙、入侵检测、防病毒网关等云化安全能力，解决云上安全——加强数据安全建设，通过体系建设、识别摸底、数据分类分级等能力，进行数据安全的保障；——按照安全等级保护的要求，在通信网络、区域边界和安全计算环境等方面进行建设，满足安全——按照密码法律法规和标准规范，在物理和环境、网络和通信、设备和计算、应用和数据、管理制度、人员管理、建设运行和应急处置等方面进行建设，符合密码应用安全性评估要求。7.2运维保障体系应构建基于统一云管的运营运维