XX市智慧城市大数据平台汇聚共享能力建设项目建设方案

XX市智慧城市大数据平台汇聚共享

能力建设项目建设方案成果基础上进行开发或改造，并保持项目源代码的继承性和连贯性。投标人需要完全满足以下要求：继承性和连续性原则（1）平台功能完善须在现有技术架构和源代码之上进行开发，即充分继承已有代码成果，沿用原有服务接口使用方式和业务流程;（2）充分继承和利用现有的软硬件资源，包括服务器、操作系统、数据库、中间件和网络配置等内容；（3）如有必要，需保证各平台现有功能模块和优化完善版本能够并行运转；（4）保证用户基于现有平台API搭建的业务系统能够平滑过渡，并继续支持用户既有系统的稳定运行，即保持高版本对低版本的兼容性；（5）各平台功能完善版本上线后，旧系统内的数据务必确保可查、可用、可导出、可移植，不能丢失或废弃。实用性和成熟性原则（1）充分借鉴和吸收同类产品的优势，以实现各平台功能模块优化完善以及平台总体性能得到提升为基本目标，有步骤、分层次地进行优化完善；（2）坚持实用、经济的原则，面向实际、注重实效，合理制定实施规划，避免一味追求先进技术和贪大求全;（3）把科学的信息资源共享服务理念和先进成熟的技术手段紧密结合起来，准确合理的实施业务流程优化；（4）采用的技术手段或产品，符合当今技术发展方向和未来发展趋势，确保系统具有较强的生命力，有长期的使用价值。可靠性和可维护性原则（1）建立明确的项目建设质量目标，保证新增程序代码可理解、可测试、可修改，并建立严格的质量审查机制；（2）充分考虑系统版本切换、业务系统衔接、信息安全等方面的问题，降低系统建设和运维风险；（3）新增功能服务应坚持采用模块化、结构化的程序设计思路;（4）持续改进程序设计、数据结构、接口说明、系统开发和维护日志等文档，保证文档描述的规范性、完整性和易读性，便于理解和使用。兼容性和扩展性原则（1）保持前端系统与主流浏览器的兼容性，如IE11、Chrome.Firefox.Safari等，包括必要的兼容性测试和修改，提供支持HTML5、CSS3等新标准的解决方案等；（2）保持系统与IE旧版本的兼容性，提供IE8等版本的兼容视图，保证前端系统功能的正常显示和使用；（3）在满足当前应用需求的基础上，建设思路应具备适当的超前性，保证未来系统可灵活扩展；(4)充分遵循“标准和开放”的思想，支持业内相关标准协议和接口，便于系统扩展和用户对接。第6章项目建设方案6.1基础共性应用支撑能力升级完善基于云化思想对基础的共性组件进行封装，完善共性组件多租户管理能力，夯实大数据平台的技术赋能，为委办局应用提供数据分析计算环境和工具。6.L1资源服务能力建设提供开放的、标准的不同形态的资源接入能力，除传统的存储资源、计算资源以外，将共性组件、API服务等也纳入资源接入范围,并通过多租户、容器化的模式将大数据平台的服务能力供给相关需求方，提升集约化水平。6.L2组件服务中心模块通过服务中心实现各类共性组件的接入、发布和管理。包括服务浏览、服务订阅与退订、组件申请与授权等。6.L3融合共建管理模块通过改造数据分析挖掘工具，设计“不可见”分析环境和数据消亡机制，实现跨委办局的数据融合分析。通过设计“数据沙箱”，营造“不可见”分析环境，构建训练态、生产态两态模式：训练态进行模型训练，而生产态执行模型推理及运算。6.L4资源监管模块基于资源利用和供给情况，对储算资源、应用、组件工具、数据等多个维度进行监控和分析，以确保当前的IT资源能够发挥最大的效能。针对共性组件服务的内容和绩效进行分析，并通过可视化大屏等方式进行展现。多租户管理模块实现基于项目的多租户管理模式，并实现针对项目管理人员和技术人员的不同用户管理体系。共享交换平台升级完善升级完善市共享交换平台，实现“数道”与“链道”的对接，提升市共享交换平台的服务能力。包括以下功能：共享交换平台和目录链的对接整合构建目录链与共享交换平台联动的技术架构，按照目录链上数据申请和授权的实际情况，自动触发数据交换流程，最大限度减少人工参与。实现“数道”自动获取“链道”上的数据管控信息，自动完成数据交换流程配置，并在流程启动后向目录链提供任务完成信息，实现全过程自动化。622提升共享交换平台服务水平在现有文件和库表交换方式外，扩展市共享交换平台服务能力，建设针对落地数据的接口封装、发布功能，支撑各单位通过接口实现数据查询、更新和核对服务。该功能应能够对Oracle、MySql等多种不同数据库进行适配和服务封装；能够实现接口调用的申请、审批、授权等管理过程，并具备调用控制等安全手段。623现有共享交换流程的控制信息提取根据与目录链对接的技术要求，提取现有7000余个共享交换流程的管控信息（数据类型、两端前置机/数据库地址、更新方式等）,并按照与目录链对接标准进行打包存储，形成完整的数据交换管控信息表。624日志记录上述所有数据管控、接口调用日志应对接到XX市大数据平台日志中。625多平台适配市共享交换平台目前部署了包括Fiorano和东方通DXP两套产品，不排除增加或替换新产品的可能，因此，本项目中设计开发的与目录链的对接整合功能，应该能够适配多种交换平台。626跨网络数据共享共享交换平台支持跨网络数据交换，实现社会企业和政府机构之间的数据共享。数据治理模块升级完善在数据治理功能建设的基础上，从设计理念、技术架构、建设方法等多个方面进行优化提升，提供对委办局多租户的服务能力，支撑委办局建设基础库和主题库，提供一站式全流程数据仓库建设和数据治理工具，帮助用户建成原始层、标准层、主题层、指标层的标准数据仓库。面向委办局提供基于AI的智能数据关联、数据主题化加工、数据探查、数据集成、全域数据治理、全链路自动化血缘、统一数据标准、算法开发、数据模型建设、数据开发平台等服务化支撑能力。原始层数据建设模块原始层数据建设是抽取源系统的基础数据，形成一个数据缓冲区。源业务系统的数据可能来自不同类型的数据库以及分布式文件系统等，需要通过基础数据源将异构数据集成至大数据平台，生成原始层。针对原始层的数据进行质量评估，通过完整性、准确性、唯一性、一致性、规范性、时效性等六个维度对基础数据进行质量评估，输出基础数据质量评估报告，指导源业务部门的数据质量提升。标准层数据建设模块基于原始层的基础数据，结合导入的基础数据标准，通过基础数据智能关联标准数据元，通过可视化界面配置基础数据清洗加工策略,按照提取、清洗、关联、比对、标识等规范流程进行数据清洗处理，实现数据标准化，生成标准层。主题层数据建设模块主题层数据建设以标准数据为根，通过标准牵引、聚合拉通，树立数据权威，实现“数据搬运方”到“数据赋能方”的转变。将需求涉及范围内的业务对象从高度概括的概念层次归类，即划分主题域，再针对各个主题域设计实体-关系图。主题层数据建设模块的数据主要面向基本事实和基本维度，在粒度上以最细的方式存储，在设计上遵循第三范式要求，属于数据中心的核心资产。主题层数据建设模块主要由基础库数据模型、基础库数据血缘、基础库数据模板三大功能模块构成。指标层数据建设模块指标层数据建设基于主题层权威数据，结合政务创新需求，建设贴合政务需求的指标模型，为各政务应用提供服务。指标层存储为特定用户预先计算好的数据，从而满足用户对性能的需求，在一定程度上缓解访问数据仓库的瓶颈。指标层的特点是数据粒度较粗，数据采取星型或雪花型结构，较少保留历史数据,便于访问分析和快速查询。指标模型具有面向特定用户群、合理的查询响应时间、便于扩展的特点。指标层数据建设模块主要有基础库数据开发、基础库算法开发、基础库工作流三大功能模块构成。数据服务接口封装工具建设大数据服务接口封装工具，能够对落地市大数据管理平台的数据进行接口封装，并为各委办局提供数据接口调用服务。服务模式包括数据查询服务、数据更新服务以及数据验证服务。适配能够对Oracle、MySql、SqlServer、Greenplum多种不同数据库的类型进行适配和接口服务封装。2、数据源管理数据源注册：能够对需要封装接口服务的数据源进行注册，保证能够对数据源的数据进行安全访问，注册内容包括：信息系统名称、数据库类型、服务器IP地址、端口号、数据库SID、用户名以及密码等信息。数据源维护：能够对已注册的数据源进行维护管理，包括数据源内容的变更、删除等。3、服务注册单条服务注册：针对已经接入到大数据平台的数据，可直接通过配置界面配置服务接口，包括接口基本信息、输入信息、返回信息以及返回数据类型等；如果有特殊的需求，可以通过sql的方式写入查询条件。批量服务注册：提供批量服务导入功能，可通过服务注册模板批量导入接口服务的配置信息。服务维护：能够对已注册的服务进行维护管理，包括服务内容的变更、服务停用、服务删除等。4、服务生成数据查询服务：通过选择的数据源以及查询服务接口的配置参数信息，自动生成数据查询服务接口，外围系统通过传入要查询数据的关键信息，如编码、数据名称等，依据权限实现返回符合规则的单条或多条数据结果。数据更新服务：通过选择的数据源以及更新服务接口的配置参数信息，自动生成数据更新服务接口，外围系统通过传入数据的关键信息以及区间时间，返回该区间时间的数据变化结果。数据验证服务：通过选择的数据源以及验证服务接口的配置参数信息，自动生成数据验证服务接口，外围系统通过传入要验证数据的信息，如编码、数据名称等，返回验证数据是否存在的结果。5、服务检索可通过服务的关键字，如服务接口名称、接口类型等对服务进行快速检索，同时支持模糊搜索。6、服务同步将配置好的服务接口同步到服务平台，包括接口基本信息、接口说明和调用实例。接口审核人员对已经提交的注册信息进行审核，审核后可通过目录链进行发布。7、服务授权需求部门通过大数据目录找到资源点击接口调用申请，申请受理和审批后，由接口封装工具进行接口访问控制。8、接口调用控制通过接口封装工具定制每类接口每次访问最大调用条数，同时,用户申请时服务平台设定每天调用每类接口最大调用次数，以此来实现接口的调用控制，防范恶意调用、大批调用落地的情况，确保数据的安全性。支撑XX市公共信用数据归集治理支撑XX市公共信用数据归集治理提供数据稽核、清洗工具以及数据归集情况展示、稽核问题数据下载/在线修改界面。1、问题数据反馈：数据治理工具需要实现对数据提供单位的通知功能。2、问题数据修改：数据治理工具提供两类修改方式，一种是批量下载的离线修改，另一种是针对少量问题数据的在线编辑；为方便数据提供方修改，反馈的问题数据详情包括每条问题数据的稽核规则和错误内容。3、数据统计信息管理查看：提供相应页面，支持各类人员按权限查看数据量、数据质量等统计信息。目录TOC\o"1-5"\h\z\o"CurrentDocument"第1章项目背景1\o"CurrentDocument"第2章项目总体建设内容1\o"CurrentDocument"第3章 项目已有基础情况2\o"CurrentDocument"共性组件支撑能力现状2\o"CurrentDocument"共享交换平台现状3\o"CurrentDocument"数据治理模块现状3\o"CurrentDocument"电子证照系统现状4\o"CurrentDocument"第4章项目建设目标4\o"CurrentDocument"第5章项目建设原则5\o"CurrentDocument"继承性和连续性原则6\o"CurrentDocument"实用性和成熟性原则6\o"CurrentDocument"可靠性和可维护性原则7\o"CurrentDocument"兼容性和扩展性原则7第6章项目建设方案8基础共性应用支撑能力升级完善8\o"CurrentDocument"资源服务能力建设8\o"CurrentDocument"组件服务中心模块8\o"CurrentDocument"融合共建管理模块8\o"CurrentDocument"资源监管模块9\o"CurrentDocument"多租户管理模块9\o"CurrentDocument"共享交换平台升级完善96.4智能搜索模块建设建设一套功能完善的智能搜索引擎，在已有数据资源库及数据资源目录相关系统基础上，通过对数据结构、链接、内容、标签、关键词密度的内容优化，为用户提供人性化和智能化的信息检索服务，使用户能够便捷高效地获取所需信息。包括如下功能模块：6.4」智能搜索基础框架底层包括通用搜索引擎、高级检索、二次/渐进检索、分类检索、关联关系检索、批量比对检索、文本要素检索、历史搜索推荐、搜索结果导出、多源数据接入、系统配置等功能。642全文检索模块支持根据用户查询条件全文检索相匹配的数据资源目录及文件;支持按照相关性、时间、发布部门等推荐满足条件的政策文件或数据信息资源；支持根据数据保密等级设置数据查看权限。包括：基础检索、模糊检索、组合检索、命名实体检索、批量检索、二次/渐进检索、同义词搜索、热词搜索等功能。标签检索模块支持标签抽取功能，如公文法规等文档内容的关键字词抽取，自动打标签，实现标签与文本间关系对应，同时为保证标签准确性和扩展性，支持基于检索结果标签内容的人工自定义标签。支持标签检索功能，基于已抽取或自定义的标签检索对应的政策文件、数据信息等，系统智能推荐同类标签的其他关联文件和数据。用户可通过标签链接再次搜索指定标签的文件数据。以文搜文模块支持要素提取，针对政策文件等文本，自动提取要素，如：政策名称、涉及单位、执行时间、签发人等实体要素，构建关注要素与原文本的关系，打通各类数据间关联。支持文本要素可视化检索，用户输入搜索诉求，系统自动解析搜索内容中的关键要素进行实体要素的组合检索，实现满足条件的政策文件、数据信息推荐。语义识别与解析模块支持识别搜索意图，根据用户输入内容自动识别判断输入意图类型，随着用户的不断输入，反馈的'判断（的意图）类型'也自动发生变化。支持相关搜索自动推进，根据输入内容推荐相关的历史搜索，如高频搜索词汇、输入内容相关搜索高频词汇等。智能范围检索模块支持范围搜索功能，可根据输入条件和检索内容，智能匹配搜索范围和搜索字段;支持用户自行设置搜索范围，搜索范围按类型分类。检索结果智能化多维展示模块支持相关度智能排序，根据搜索意图、权重相关性进行结果优先排序，将用户最期望的信息优先展示；支持查询结果按照与查询关键字的相关性进行排序。支持结果详情展示，通过多种检索方式展示检索结果，结果视图包含源文本内容、标签、要素等多维信息，支持检索结果导出，检索结果页面支持二次检索。支持结果预览导出，支持检索结果本地化导出，支持公文法规等数据的源文件在线预览、下载。数据接入模块支持数据索引构建，支持常见的数据库、文本等多源数据快速接入并构建索引，根据不同需求场景提供多种接入方式，包括全量导入、增量导入、部分数据导入、部分字段导入等多种方式。支持数据自动清洗，支持基于身份证号、护照号、车牌号、银行卡号、手机号等字段条件推导的ETL能力，可人工按需指定导数过程中自动推导转换；提供脏数据过滤、缺失值、不合法字符处理等基础数据自动清洗能力；支持公文法规等文档批量接入过程中自动抽取要素并构建关联。支持数据在线上传，支持各类分散数据的在线上传，无需复杂的定义和模板选择，数据一旦上传即可进行检索，同时可根据不同业务需要进行数据私有或共享。649用户校正模块基于NLP自然语言识别等技术实现智能检索，支持用户对每次的检索结果符合度打分、选择结果列表最符合的结果；能够自动记录用户行为，重新计算模型算法和反复校正，不断提高检索结果的精准度。国产化适配完成智能搜索模块的国产化适配工作。电子证照系统升级（1）重新规划数据库结构，根据业务区分数据库结构，将现有的文件规划存储到文件服务器等。（2）增加现有服务配置，实现多机负载集群部署，增加业务系统的可用性。（3）重新规划现有电子证照系统的部署结构，实现根据业务、用户分别提供服务，实现服务的松耦合，避免业务之间交叉影响。国产化适配协助完成大数据平台相关模块已有部分和升级部分的国产化适配工作。TOC\o"1-5"\h\z\o"CurrentDocument"共享交换平台和目录链的对接整合9\o"CurrentDocument"提升共享交换平台服务水平10\o"CurrentDocument"现有共享交换流程的控制信息提取10\o"CurrentDocument"日志记录10\o"CurrentDocument"多平台适配10\o"CurrentDocument"跨网络数据共享11\o"CurrentDocument"数据治理模块升级完善11\o"CurrentDocument"原始层数据建设模块11\o"CurrentDocument"标准层数据建设模块12\o"CurrentDocument"主题层数据建设模块12\o"CurrentDocument"指标层数据建设模块12\o"CurrentDocument"数据服务接口封装工具13\o"CurrentDocument"支撑XX市公共信用数据归集治理15\o"CurrentDocument"智能搜索模块建设16\o"CurrentDocument"智能搜索基础框架16\o"CurrentDocument"全文检索模块16\o"CurrentDocument"标签检索模块16\o"CurrentDocument"以文搜文模块17\o"CurrentDocument"语义识别与解析模块17\o"CurrentDocument"智能范围检索模块17\o"CurrentDocument"检索结果智能化多维展示模块18\o"CurrentDocument"数据接入模块18\o"CurrentDocument"用户校正模块19\o"CurrentDocument"国产化适配19\o"CurrentDocument"电子证照系统升级19\o"CurrentDocument"国产化适配19第1章项目背景按照市委市政府的统一部署以及XX市大数据行动计划“四梁八柱深地基”的总体设计思路，依据“边共享、边整合；边应用、边完善”的建设原则，我局组织系统总体组、专家咨询组进一步深化细化大数据平台总体设计，历经多轮迭代完善，经专家评审，编制形成了面向“深地基”的大数据行动计划筑基工程项目方案。筑基工程项目将基于以目录链为核心的数据全流程管控机制，在充分整合和利用目录链、共享交换平台、空间平台、驾驶舱等前期已有成果的基础上,构建较为完善的大数据“汇、管、用、评、安全”全流程一体化能力体系，打造面向全网络、全流程、全集约、全通道的“四全”能力,促进数据能够依法、安全、有序、自由地流动，推动各部门业务应用系统建设模式的高效转变，支撑数字政府、数字经济、领导决策等重要工作上一个新的台阶。第2章项目总体建设内容本项目作为筑基工程的一部分，主要工作内容包括：一是提升大数据平台共性组件应用支撑能力，实现租户资源、工具组件的灵活分配和管理，减少通用工具的重复建设；二是实现目录链与共享交换体系联动，建立起按规则按需随时取数、汇数的技术支撑体系；三是加强对全市人、企、物的基础库建设的支撑能力，提供一站式全流程数据仓库建设和数据治理工具；四是建设一套功能完善的智能搜索引擎,在已有数据资源库及数据资源目录相关系统基础上，构建知识结构索引，支持为用户提供人性化和智能化的数据检索服务；五是升级电子证照系统，实现根据业务、用户分别提供服务，实现服务的松耦合，增加业务系统的可用性。第3章项目已有基础情况XX市大数据平台依托共享交换平台、目录区块链以及数据治理模块提供了数据编目、汇聚、管理、清洗和标准化的服务支撑能力,同时提供了数据全生命周期管理和跨部门的数据融合分析工具，支撑XX市大数据应用建设。共性组件支撑能力现状大数据平台已为市领导驾驶舱、商务局生活必需品分析、昌平区城市大脑等应用提供数据治理和可视化等组件服务。但缺少对各类工具组件的集约化管理。目前系统依赖各工具组件自身的多租户服务能力，一方面，各工具之间仅做了用户权限和日志的集成，未实现基础资源的按需申请和动态扩容；另一方面，缺少跨租户的工作流支撑能力，无法支撑委办局实施多级租户管理，完成对本部门多个大数据应用所需租户资源工具组件的灵活分配和管理。共享交换平台现状市共享交换平台于2006年4月28日上线运行，承载了市大数据平台的数据交换服务，构建数据汇聚能力，形成市区两级的政务信息资源共享交换体系，打破部门和行业界限，实现了政务信息资源的跨部门、跨层级共享。目前共接入87个市级政务部门（包括16区）；支撑了4800余项跨部门、跨层级信息的共享交换工作，交换量累计超过827亿条，2020年日均交换量4000万条左右，为各部门100多项业务工作提供了支撑。市共享交换平台支持文件、数据库表的定时交换，核心功能是数据交换管理，实现交换节点之间及交换节点与交换中心之间的政务信息资源适配、转换和传输等工作，为交换过程的配置、执行、监控和管理等提供服务，包括数据交换、交换节点管理、交换流程管理和系统管理等内容。未实现接口服务方式。现阶段，市共享交换平台与目录链通过电子邮件实现线下任务发起和完成情况反馈，具体为，目录链上生成数据共享任务后向指定邮件地址自动发送包括资源信息、资源提供方信息、资源获取方信息在内的电子邮件，市共享交换平台运维人员收到邮件后按照邮件内容联系供需双方并进行流程配置，实施数据交换，交换完成后向目录链指定邮件地址发送任务完成反馈邮件。数据治理模块现状大数据平台数据治理模块提供了数据生命周期的端到端透明化管控，对数据质量进行管控，为数据清洗和标准化提供工具支撑，具备数据清洗转换和质量稽核能力