智慧城市政务大数据治理产品体系项目可行性研究报告

1 1 1 1 1 1 3 4 5 5 7 10 12 16 16 16 17 18 19 194.6.1.政务大数据共享交换平台 20 204.6.3.政务大数据知识服务平台 21 224.7.1.互联网政府主题数据采集工具 22 22 22 23 234.8.1.基于知识图谱的政策公文智能服务平台 24 24 25 27 275.1.1.政务大数据治理体系核心概念 275.1.2.政务大数据治理数据体系 285.1.3.政务大数据治理安全体系 295.1.4.政务大数据治理法律法规体系 295.1.5.政务大数据治理标准体系 30 32 322 33 37 41 42 43 43 44 45 46 47 48 48 49 52 53 58 60 60 61 63 65 67 685.6.1.政务大数据共享交换平台 68 745.6.3.政务大数据知识服务平台 79 845.7.1.互联网政府主题数据采集工具 84 88 91 94 98 98 99 11.项目概况2全国大数据标准化工作会议暨全国信标委大数据标准工作组第六次3《国务院办公厅关于印发政务信息系统整合共享实施方案的通4号52.可行性分析6（ITSS）体系中的“服务管控”领域标准，属于《信息技术服务治7程中所使用的技术栈都经过互联网和大数据发展浪潮的打磨而逐渐（1）多源异构数据接入技术89（3）脱敏脱密等数据安全技术（4）跨媒体多模态政务数据融合技术政务大数据治理产品体系下的政务大数据融合平台和政务数据键技术研究项目中对政务文本语义理解和跨媒体政务知识库构建技知名的国家信息共享交换模型是美国的国家信息交换模型（NIEM对推动中国国家信息共享交换模型理论研究与工程实践具有重要的标准规范体系接口标准规范体系接口安全保障体系应用层 据 数据源数据源图1四方伟业数据治理平台产品功能架构四方伟业数据治理平台以元数据为核心展开数据治理的相关功图2华傲数据治理平台产品功能架构表1竞品功能比较无☆无☆无☆☆无☆☆☆☆3.建设目标政务大数据治理产品体系项目建设目标是针对政务场景的打造数据体系安全体系标准规范法律法规技术平台数据融合平台数据资源管理平台数据采集平台数据接入平台数据开放平台数据共享平台数据知识服务平台基础应用服务数据体系安全体系标准规范法律法规技术平台数据融合平台数据资源管理平台数据采集平台数据接入平台数据开放平台数据共享平台数据知识服务平台基础应用服务顶层设计核心概念核心概念应用示范知文智用知文智用智慧督查督办智慧督查督办一网通办一网通办工具集工具集图3政务大数据治理产品体系总体架构融合库（主题库、行业库、业务库等政务大数据资源管理平台对景案互联网数据行业数据政务数据政务数据标准化应用场解决方政务数据政务数据挖掘分析政务数据采集融合&景案互联网数据行业数据政务数据政务数据标准化应用场解决方政务数据政务数据挖掘分析政务数据采集融合&政务大数据治理产品体系可共享数据资源可开放数据资源数据可视化服务数据知识服务可开放数据资源数据可视化服务数据应用超市数据知识服务数据可视化服务算法模型服务政务大数据共享交换平台政务大数据知识服务平台知识服务政务大数据政务大数据共享交换平台政务大数据知识服务平台知识服务政务大数据基础应用数据目录数据资源政务大数据资源管理平台共享库数据索引融合库数据索引 政务大数据接入平台数据索引政务大数据采集平台政务大数据融合平台政务大数据资源管理平台共享库数据索引融合库数据索引 政务大数据接入平台数据索引政务大数据采集平台政务大数据融合平台数据资源原始库数据资源原始库数据索引技术外部数据源外部数据源图4政务大数据治理产品体系技术视图4.建设内容1）元数据管理：完成用户所关注的各类元数据的获取，提供元4）数据资源运维：具体包括数据资源生命周期管理、数据资源政务大数据开放平台旨在通过门户网站实现政府公共数据的开4.7.1.互联网政府主题数据采按照国家政务信息资源目录编制要求和贵州省政务数据资源目但不允许带走本地数据)，要求在满足数据保密的同时又能提供一定政务大数据治理产品体系在整个政务大数据场景中处于中后台因此政务大数据治理产品体系的落地是随着各类应用的落地而体现4.8.1.基于知识图谱的政策公文智化电子政务应用,着力解决信息碎片化、应用条块化、服务割裂化等5.建设方案5.1.1.2.定义表2国内外权威机构对数据治理的定义数据治理是对数据资产行使权力和控制的活动集数据治理是包含信息相关过程的决策权及责任制数据治理是组织管理其信息知识并回答问题的能图5政务大数据治理数据体系安全监管安全运行保障体系数据发布安全数据存储安全数据共享安全实体接入安全数据传输安全数据内容安全运维安全技术平台安全安全技术保障体系安全数据治理开发测试安全基础安全安全监管安全运行保障体系数据发布安全数据存储安全数据共享安全实体接入安全数据传输安全数据内容安全运维安全技术平台安全安全技术保障体系安全数据治理开发测试安全基础安全安全标准 规范标准引入规范标准设计图6政务大数据治理安全体系表3政务大数据治理法律法规体系国务院颁布《政务信息资源共享管理暂行办法》（国发数据接口类标准元数据标准政务大数据治理体系标准体系信息安全规范数据接口类标准元数据标准政务大数据治理体系标准体系信息安全规范图7政务大数据治理标准体系5.2.1.总体架构图8政务大数据采集平台总体架构5.2.2.功能架构可视化ETL系统配置参数持久化服务层配置参数持久化配置参数获取数据源配置数据导出配置数据库表信息配置表字段信息配置转换规则配置清洗规则配置表备注说明信息存储数据源配置数据导出配置数据库表信息配置表字段信息配置转换规则配置清洗规则配置表备注说明信息存储字段备注说明连接状态测试数据样例展示图9政务大数据采集平台可视化ETL系统功能架构可视化网页数据采集系统配置参数获取服务层配置参数获取分布式网页数据采集脚本生成新建脚本项目删除/编辑脚本脚本参数配置新建脚本项目删除/编辑脚本脚本参数配置数据持久化配置用户标注数据样例展示脚本上传图10政务大数据采集平台可视化网页数据采集系统功能架构集提供可视化编辑器，生成网页数据采集脚本，主要包含以下功能：用户标注：为创建工程提供可视化的编辑器，用户可在界面使用数据持久化配置指对脚本采集的数据进行本地存储而进行的参采集调度系统服务层ETL数据ETL日志网页采集数据数据监控展示ETL数据ETL日志网页采集数据网页采集脚本日志周期调度数据清洗数据加载ETL调度周期调度数据清洗数据加载单次调度数据抽取数据转换单次调度分布式部署数据爬取网页数据采集调度单次调度分布式部署数据爬取周期调度网页解析数据存储周期调度数据监控展示单次调度数据采集数据清洗数据存储交互层周期调度数据监控展示单次调度数据采集数据清洗数据存储日志监控展示爬虫分布式部署图11政务大数据采集平台采集调度系统功能架构5.2.3.技术架构图12政务大数据采集平台可视化ETL系统技术架构图13政务大数据采集平台可视化网页数据采集系统技术架构该模块基于Scrapy实现了可视化网页数据采集脚本的生成,获图14政务大数据采集平台采集调度系统技术架构采集调度系统集成了ETL工具Kettle与网页数据采集框架MVVM前端架构设计界面UI设计路由组件数据流组件配置组件无头浏览器前端交互组件ETL后端架构制定ETL后端框架选型网页数据采集后端框架选型ETL配置项解析模块微服务架构设计数据库ORM模块网页数据采集脚本生成模块微服务架构设计分布式架构设计任务调度模型设计分布式任务调度模块分布式网页数据采集模块调度信息可视化采集数据可视化MVVM前端架构设计界面UI设计路由组件数据流组件配置组件无头浏览器前端交互组件ETL后端架构制定ETL后端框架选型网页数据采集后端框架选型ETL配置项解析模块微服务架构设计数据库ORM模块网页数据采集脚本生成模块微服务架构设计分布式架构设计任务调度模型设计分布式任务调度模块分布式网页数据采集模块调度信息可视化采集数据可视化5.2.5.技术路线MVVM前端框架选型基础界面搭建拖拽式ETL组件网页数据采集后端框架制定ETL任务生成模块网页数据采集脚本配置项解析模块网页数据采集脚本部署模型设计调度任务参数配置模块采集数据监控图15政务大数据采集平台技术路线安全保障体系标准规范体系安全保障体系标准规范体系5.3.1.总体架构…图16政务大数据接入平台总体架构5.3.2.功能架构应用层接入适配层应用层接入适配层通道层存储适配层政务大数据接入平台接口接口放接口通用业务接API…WebservicAPIAdapterAdapterAdapterAdapterOSS存储AdapterAdapter消息MQ存储Adapter…AdapterSTREAM存储Adapter图17政务大数据接入平台功能架构5.3.3.技术架构交互层服务层平台层具数据层图18政务大数据接入平台技术架构基于ETL的数据抽取和转换工具支撑平台的所有数据和数据集操作（1）数据获取性能的灵活扩展技术5.3.5.技术路线 图19政务大数据接入平台技术路线5.4.1.总体架构数据资源管理平台基础库主题库基础库主题库业务库业务库融合数据库数据模型数据模型融合算法融合算法政务大数据融合平台政务大数据融合平台数据采集接入平台图20政务大数据融合平台总体架构负矩阵分解和基于深度学习的跨媒体关联等方法实现非结构化的关5.4.2.功能架构数据资产管理平台通用域数据模型公共域数据模型模型结构域通用域数据模型公共域数据模型模型结构域数据模型领域数据模型业务库主题库业务库主题库基础库基础库融合数据库融合数据库逻辑模糊算法贝叶斯估计算法场景识别卡尔曼事件抽取卡尔曼加权平均逻辑模糊算法贝叶斯估计算法场景识别卡尔曼事件抽取卡尔曼加权平均实体抽取D-S证据识别关系抽取关系抽取算法算法政务大数据融合平台政务大数据融合平台数据采集接入平台数据采集接入平台图21政务大数据融合平台功能架构典型相关分析法（CCA）是跨媒体数据关联分析的典型方法，它5.4.3.技术架构数据模型：利用数据采集接入平台获取的数据，通过图22政务大数据融合平台技术架构（1）政务数据模型构建技术面向政务大数据应用中存在的跨领域之间的数据模型不统一问数据描述包括分类分类体系主题数据描述包括分类分类体系主题 数据共享查询点和交换数据语境数据语境数据和数据资产图23数据模型描述基本框架所有者所有者管理信息资源信息资源参与相关参与关系图24数据语境的抽象模型返回数据交换包数据提供者传播查询 数据接收者产生返回数据交换包数据提供者传播查询 数据接收者产生 实体参与相关 关系数据类型定义包含非结构化信息资源是一种是一种信息资源数据类型属性半结构化信息资源结构化信息资源被约束是一种包含包含引用图25数据描述的抽象模型（例如查询一个数据集而共享是指两个部分之间固定的、不断发数据访问接口图26数据共享的抽象模型文物、遗址等。核心数据模型和业务领域数据模型关系如下图所示。图27政务大数据应用的数据模型组成当前政务数据形式多元化、不同的媒体数据存在的“异构鸿沟”1）多元统计方法：是一种基于双线性特征学习模型，分别学习深度学习方法对于处理跨媒体数据大多采用的是各媒体数据单独学图28基于深度学习的跨媒体数据融合算法基于深度学习的跨媒体数据融合算法包括两个阶段:单媒体增强5.4.5.技术路线段:政务数据模型构建、政务数据融合算法研究与政务大数据融合平政务数据融合算法研究阶段针对结构化和非结构化数据融合分政务大数据融合平台集成阶段重点实现融合数据存储管理与平政务大数据融合平台技术路线研究任务分解政务数据模型构建政务数据融合算法研究政务大数据融合平台集成通用域数据模型结构域数据模型公共域数据模型领域数据模型第一阶段第一阶段逻辑模糊算法...跨媒体数据关联逻辑模糊算法...跨媒体数据关联卡尔曼滤波算法第二阶段第二阶段半结构化存储非结构化存储半结构化存储非结构化存储融合数据库结构化存储融合数据 第三阶段 第三阶段图29政务大数据融合平台技术路线安全保障体系标准规范体系安全保障体系标准规范体系5.5.1.总体架构图30政务大数据资源管理平台总体架构5.5.2.功能架构政务大数据资源管理平台数据资源运维数据资数据资源运维数据资源治理数据资源分析元数据管理资源生命周期资源发布资源全链管理资源下线资源安全管理安全策略管理数据脱敏资源安全审计资源评估应用资源使用评估资源价值评估敏感数据评估数据标准管理数据架构管理数据标准化指标标准化数据建模管理基线管理模型评审模型稽查数据质量管理质量规则管理资源质量核查资源质量监控资源标签分类资源类目管理全局资源成本评估资源标签分类资源类目管理全局资源成本评估标签分类管理资源地图元数据分类元数据稽查影响域分析元数据服务元数据分类元数据稽查影响域分析元数据服务元数据采集血缘分析图31政务大数据资源管理平台功能架构5.5.3.技术架构交互层交互层数据可视化数据可视化Echarts前端框架前端框架React服务层服务层请求消息队列ActiveMQAPI网关统一服务Zuul后台服务微服务集群管理工具（SpringCloud）数据质量管理工具（griffin）统一登录认证数据审计策略（ApacheAtlas）算法服务数据抽取加载工具（Kettle）数据加密搜索引擎（elasticsearch）数据脱敏（AWSEncryptionSDK）授权证书服务容器化工具流数据处理sql注入监测（sqlmap）数据持Hibernate数据持Hibernate数据存储层数据库（MySQL、Oracle、HDFS、Redis、NoSQL）图32政务大数据资源管理平台技术架构实用的存取方案。对于量大且性能要求高的批量元数据存取，由于大数据时代各类数据的存储方式从传统的纸质存储变为信息系究提出基于深度学习技术的数据资源价值分析模型(DataResource政务大数据资源管理规划需求数据资源治理数据资源运维数据生命周期数据标准管理元数据管理数据安全管理数据建模管理元数据分类元数据分类数据评估应用数据质量管理资源地图元数据稽查............ValueAnalysisModel，DRVAM政务大数据资源管理规划需求数据资源治理数据资源运维数据生命周期数据标准管理元数据管理数据安全管理数据建模管理元数据分类元数据分类数据评估应用数据质量管理资源地图元数据稽查............理平台现状调研国内外现有数据资源管理机理研究政务大数据资源管理平台总体设计数据资源分析资源标签分类政务大数据资源管理平台试制图33政务大数据资源管理平台技术路线5.6.1.1.总体架构图34政务大数据共享交换平台总体架构政务大数据共享交换平台遵循面向服务体系结构（SOA）进行框5.6.1.2.功能架构图35政务大数据共享交换平台功能架构向用户提供数据共享交换API服务与相关数据可视化统计服务的网5.6.1.3.技术架构图36政务大数据共享交换平台技术架构（6）监控管理层：针对数据共享交换技术流程体系，进行统一5.6.1.5.技术路线图37数据共享交换平台技术路线5.6.2.1.总体架构图38数据开放平台总体架构政务大数据开放平台的搭建是为了能够将政务数据经过脱敏脱5.6.2.2.功能架构图39数据开放平台功能架构政务大数据开放平台主要依据互联网架构体系与政府数据开放（4）数据信息开放应用阶段：该阶段主要利用下层提供的技术用户可以在该门户平台通过调用API等方式，灵活利用公开政务数5.6.2.3.技术架构图40数据开放平台技术架构大数据时代各类数据的存储方式从传统的纸质存储变为信息系1）结合人工智能和语义分析等方法，实现政务文本5.6.2.5.技术路线图41数据开放平台技术路线安全与运维保障体系标准规范与管理体系安全与运维保障体系标准规范与管理体系5.6.3.1.总体架构知识抽取知识表示与建模知识库构建知识抽取知识表示与建模通用知识库领域知识库知识计算知识计算知识演化与推理知识存储政务知识服务总线图42政务大数据知识服务平台总体架构5.6.3.2.功能架构智能问答、智能决策支持以及政策公文的语义检索等知识问答演化分析语义检索政务应用知识问答演化分析语义检索知识决策支持个性化推荐关系分析预测政务知识服务总线知识抽取知识表示与建模知识库构建知识抽取知识表示与建模知识库通用知识库领域知识库知识计算知识计算知识演化与推理知识存储政务大数据采集平台图43政务大数据知识服务平台功能架构5.6.3.3.技术架构应用示范支撑政务数据知识服务平台知识库构建知识库领域知识库知识库领域知识库通用知识库知识存储(Neo4j/知识存储(Neo4j/GraphDB)知识演化与推理（RDFox/SparkSRE）知识链接知识抽取（DeepDive/OLLIE）知识表示与建模nerKE)政务服务支撑技术平台图44政务大数据知识服务平台技术架构图针对政务知识的服务能力薄弱和面向公众的个性化与精准化服政务文本数据语义理解研究主要面对文本语义理解中存在的语第三阶段第二阶段第一阶段第三阶段第二阶段第一阶段政务服务知识库构建政务服务知识库构建政务示范应用研究与实现政务数据知识服务平台搭建集成政务多源异构数据各功能模块集成测试知识抽取API设计其他相关功能设计政务数据知识服务平台知识演化与推理关系分析预测个性化推荐智能问答政务数据知识库政务知识服务总线知识表示与建模知识存储与计算平台搭建任务分解图45政务大数据知识服务平台技术路线互联网政务主题数据采集工具是对分散在互联网中的政务主题结构化存储非结构化存储分布式存储任务监控脚本管理调度可视化Web数据采集ETL工具集数据实时同步行业数据政府数据行业数据互联网数据图46互联网政府主题数据采集工具功能架构应用层数据层客户层控制层业务层基础服务层数据访问层数据存储层CSSJavaScriptAjaxSpringBootRestful服务Spring技术SpringBootKafka应用层数据层客户层控制层业务层基础服务层数据访问层数据存储层CSSJavaScriptAjaxSpringBootRestful服务Spring技术SpringBootKafkaSpringBootLombokMybatisMybatisPlusDynamicDataSourceDB2MySQLOracleMongoDBHBase客户端执行架构PC端/Windows系统数据库执行架构数据库服务器/Linux系统系统架构实现方式缓存服务队列服务参数解析分布式SessionMySQL读写分离数据访问驱动控制MongoDB缓存服务队列服务参数解析分布式SessionMySQL读写分离数据访问驱动控制MongoDB数据服务HBase通用工具集Web数据采集ETL工具集任务调度数据实时同步应用层执行架构SpringBoot/MVC模式/Linux系统图47互联网政府主题数据采集工具技术架构Web数据采集:提供定制化互联网政务主题的网页数据采集、下5.7.1.2.技术路线互联网政府政务主题数据采集工具采用软件工程瀑布模型进行研究任务分解互联网政务主题数据采集智能网页采集脚本生成技术分布式采集任务调度技术第一阶段第一阶段研究数据采集架构数据存储Scrapy技术基于示例的第二阶段第二阶段定时调度分布式任务第三阶段双Master第三阶段图48互联网政府主题数据采集工具技术路线库编写定时调度组件，实现主从架构分布式任务调度，并使用双5.7.2.1.技术架构政务数据分类分级工具对已收集得到的政府数据集进行语义层专家案例库基础能力政务知识图谱政策法规库政务数据分类分级工具专家案例库基础能力政务知识图谱政策法规库用户操作结果展示结果展示接口调用接口调用Jena推理算法模型Jena推理算法模型机器学习机器学习图谱构建MySQLNeo4j数据存储MySQLNeo4j数据存储互联网数据采集权责清单政府组织机构职能互联网数据权责清单政府组织机构职能互联网数据数据源贵阳市全量贵阳市全量数据目录图49政务数据分类分级工具功能架构应用层数据层客户层控制层业务层基础服务层数据访问层数据存储层HtmlCSSJavaScriptAjaxSpringBootRestful服务ServletSpring技术SpringBootKafka应用层数据层客户层控制层业务层基础服务层数据访问层数据存储层HtmlCSSJavaScriptAjaxSpringBootRestful服务ServletSpring技术SpringBootKafkaETL工具SpringBootLombokMybatisMybatisPlusDynamicDataSourceDB2MySQLOracleSQLServerMongoDBHBase客户端执行架构PC端/Windows系统数据库执行架构数据库服务器/Linux系统系统架构实现方式缓存服务Servlet参数解析分布式SessionMySQL读写分离数据访问驱动控制队列服务MongoDB数据服务日志服务Neo4j用户...通用工具集缓存服务Servlet参数解析分布式SessionMySQL读写分离数据访问驱动控制队列服务MongoDB数据服务日志服务Neo4j用户...通用工具集专家案例库政策法规库知识图谱算法模型...智能推理应用层执行架构SpringBoot/MVC模式/Linux系统图50政务数据分类分级工具技术架构5.7.2.2.技术路线政务数据分类分级工具及方法研究研究任务分解政务数据分类分级工具基础能力政务数据分类分级算法政策法规库知识图谱专家案例库政策法规库知识图谱专家案例库已有的高质量政务分类分级数据不同的筛选需求和知识图谱技术第一阶段第一阶段机器学习第二阶段机器学习第二阶段算法模型选择Jena推理引擎分类分级图51政务数据分类分级工具技术路线政务数据开放沙箱工具着力解决政府部门之间数据共享开放和3、分发解密密钥3、分发解密密钥P5、上传模型，解密使用数据训练模型1、数据目录放入沙箱3、分发加密密钥4、上传加密数据自2、签订合约6、取回模型P访问控制策略沙箱7、销毁安全策略图52政务数据开放沙箱工具逻辑流程5.7.3.2.技术路线政务数据开放沙箱工具及方法研究研究任务分解政务数据开放沙箱工具的环境搭建政务数据开放沙箱工具的应用搭建第一阶段操作记录账号管控权限管理第二阶段操作记录账号管控权限管理第二阶段审计录像图53政务数据开放沙箱工具技术路线存、磁盘、GPU、网络等基础的组件构成，为沙箱的运行提供一个云5.7.4.1.技术架构结果查询可视化展示数据统计考核评估智能推送问题反馈动态建模基础保障数据共享数据开放数据应用组织管理考核材料审核考核材料记录考核材料管理共享开放平台考核部门上传数据考核机构抽查数据图54政务数