智慧统计大数据云平台解决方案

1、智慧统计大数据云平台解决方案V3.0暉段钗HE分怖遥度钱桃分析UNERH分侨智慧统计大数据云平台第一章智慧统计大数据建设背景5第二章项目建设单位概况82.1项目建设单位与职能82. 1. 1建设单位82.1.2建设单位职能82.2项目实施机构与职责8第三章项目建设的必要性103.1项目背景和依据103.2项目建设目标113.3项目建设的意义和必要性12第四章项目需求分析154.1组织结构的需求分析154.2对数据交换的需求分析164.3对行政审批系统需求分析164. 4对协同办公系统需求分析164.4业务量分析174.6性能需求分析17第五章 项目运行机制体制设计195.1组织机构设计195.

2、2业务流程设计195.3事件处置操作手册195.4评价体系建立19第六章总体建设方案206. 1建设原则和策略206.2总体逻辑结构216.3网络总体设计236.4数据库总体设计246. 4. 1数据库内容246. 4.2数据库结构246.4.3数据釆集与整合256.5数据交换平台总体设计286. 5. 1交换中心管理系统296.5.2接入管理系统326.5.3交换前置子系统346. 5.4交换桥接子系统366. 5.5运行监控平台386. 5.4系统管理406.6标准与规范体系总体设计416. 6. 1技术标准与规范426. 6.2共享管理办法426. 6.3运行管理规范42第七章应用系统功

3、能建设437. 1业务应用功能架构437.1.1统计大数据采集437.1.2统计大数据联网直报447. 1.3自助取统计数报表457.1.4多维分析统计大数据457.2统计业务大数据分析系统467.2.1 "三新”业务大数据采集477.2.2 “三新”业务大数据挖掘477.2.3 "三新”业务大数据分析497. 2. 4文旅液态数据产业统计517.3宏观经济预测系统597. 3.1宏观经济预测需求分析617. 3. 2宏观经济预测建设方案627. 3. 2宏观经济预测预警展现方式637.4行政审批系统647. 4.1项目审批667. 4.2任务提醒667.4.3痕迹保留66

4、7.4.4文档保护667.4.5工作委托677.4.6企业信息查询677.4.7工作统计677.5协同办公系统747. 5.1信息门户747.5.2个人信息757.5.3知识/信息中心767.5.4交流园地777.5.5工作流管理787.5.4公文管理797.5.7档案管理837.6移动办公系统837. 6.1通讯录837.6.2短信群发847.6.3公文签批847. 6.4公文箱847. 6.5工作安排847. 6.6公告通知857. 6.5移动邮件857.7政府门户网站集群867.7.1门户系统整体功能867.7.2门户系统业务功能877.7.3与其它应用系统的集成967.7.4统一认证的

5、实现977.7.5门户系统接口987.8平台接口系统997. 8.1平台内部接口997.&2平台外部接口103第八章 项目效益与风险分析1218.1项目的经济效益和社会效益分析121& 1.1社会效益分析121& 1.2管理效益分析122& 1.3经济效益分析1238.2项目风险与风险对策124第九章项目组织机构与人员1269.1项目领导、实施和运维机构及组织管理1269.2人员配置1289.3人员培训需求和计划128第一章智慧统计大数据建设背景随着我国经济进入新常态，当前各种经济社会矛盾交织在一 起，经济增长下行，压力不断加大，如何准确把握经济社会形势 研判经

6、济社会发展趋势并提出有针对性的政策建议，以及随着经 济社会发展，各种新产业、新业态和新商业模式层出不穷，如何 界定和测度新经济，这些都是摆在决策者面前的重要课题。在当今的经济生活中，认识和判断经济形势及其未来走向, 是政府、企业和个人进行决策的基础和前提。科学的统计制度方 法和真实的统计数据是客观分析经济形势、准确把握经济走势的 重要基础，经济形势的客观分析和经济走势的准确把握是科学决 策的重要基础，科学决策是经济持续健康发展的重要保障。因此, 统计是重要的基础性工作。统计要想在经济分析、科学决策和保持经济持续健康发展中 真正发挥重要作用，一方面要根据不断增长和变化的统计需求进 行统计制度方法

7、改革，提高统计制度方法的科学性和适应性，提 高统计数据的准确性和及时性；另一方面要充分利用大数据分析 技术对丰富的统计信息资料进行深度开发，让这些资源真正体现 出应有的价值。近年来，包括政府统计数据在内的大数据资源迅猛增长，已 成为与自然资源、人力资源同样重要的国家基础性战略资源，成 为促进经济增长和转型发展的新动力，成为提升政府治理能力的 新途径。特别是进入信息化、互联网和大数据时代，大数据带来 的一个重大改变就是信息扁平化，人人都是数据的生产者和使用 者，对数据的加工、釆集、汇总、综合、分析、预测，比任何时 候都要迫切。发达国家大力推动大数据发展和应用，纷纷将研究 开发大数据上升为国家战略

8、。党中央、国务院高度重视大数据的 开发应用，大力倡导实施国家大数据战略，推进数据资源开放共 享；运用大数据技术，提高经济运行信息及时性和准确性。这些 都将有力推动我国大数据发展和应用。统计局作为组织领导和协调统计工作的主管部门，具有统计 制度和标准制定、统计数据搜集、加工整理、开发利用、发布等 方面的法定职权和技术优势。长期以来，*统计局的基本业务 开展仍遵循制度设计、调查采集、数据整理上报、数据发布与开 发利用的顺序流程，在统计调查方面釆用全面定期统计，抽样调 查、普查，重点调查，典型调查等方法。近年来，统计工作信息 化水平有较大提高，伴随着联网直报系统等信息化项目的应用推 广，政府统计逐步

9、实现了网络采集传输、集中存储处理、多工具 分析。同时在长期的统计信息建设过程中统计部门积累了大量经 济社会数据，政府相关部门也积累了海量经济社会数据。这些数 据是价值连城的“宝藏”。但由于各种原因，统计部门自身只开 发利用了一小部分，“宝藏”的大部分价值仍有待于进一步开发 利用。要本着先易后难的原则，充分利用互联网上已有的公开信息, 充实拓展本专业的资料获取渠道。加快研究将非标准化大数据转 化为标准化统计数据的方法，积极开发自动导入企业电子化生产 经营记录的软件，加快大数据的应用步伐。从数据到大数据，不仅是量的积累，更是质的飞跃。海量的、 不同来源、不同形式、包含不同信息的数据容易被整合、分析

10、, 原本孤立的数据变得互相联通。通过数据分析，能发现小数据时 代很难发现的新知识，创造新的价值。*统计局大数据统计平 台的使命就是通过加工整理、开发利用经济社会数据，为政府决 策和社会治理提供科学依据，为促进经济社会发展服务。第二章项目建设单位概况2.1项目建设单位与职能2. 1. 1建设单位XX市统计局。2. 1.2建设单位职能负责项目需求的整理，负责与开发方协调，负责。2.2项目实施机构与职责（一）贯彻执行国家和省有关信息化工作的方针、政策和法 律、法规、规章；受委托研究起草信息化工作的地方性政策、法 规和规章，经审议通过后组织实施。（二）组织编制XX市统计局信息化建设中、长期规划及年度

11、计划，并组织实施和监督、检查；会同有关部门组织行业统计及 信息发布；协调解决信息化工作中的重大问题。（三）组织对XX市统计局信息化重大项目的论证、监督和验 收；贯彻国家、省有关信息化的技术规范和标准；会同有关部门 监督、管理信息产品质量和网络服务质量；推进信息技术创新, 参与组织实施重大信息科技攻关，指导技术引进、成果转化和产 业化工作。（四）会同有关部门汇总、提出推进信息化和发展信息产业 的固定资产投资年度计划；管理市财政用于扶持信息产业和信息 化建设专项资金的配置使用；指导、参与信息化和信息产业利用 外资的工作。（五）组织、协调政府信息化建设；组织、协调和指导信息 资源开发、信息技术应用。

12、（六）会同有关部门引导、培育、规范和促进信息产业发展； 对信息产品制造业、软件业、信息服务业和通信业行使行业管理 职能。（七）组织、协调和指导信息网络安全工作；组织信息网络 安全技术、设备和产品的监督管理；组织、指导和管理计算机病 毒防范工作。（八）负责信息技术应用培训和普及工作；指导信息化人才 队伍建设；组织信息科学软课题研究和国内外技术合作与交流; 联系、指导信息行业社团组织。第三章项目建设的必要性3.1项目背景和依据XX市按照省社会管理创新的指导思想和建设规范要求，结 合XX市情实际，以解决当前XX市社会服务管理的薄弱环节和 突出问题为突破口，借鉴发达城市社会管理信息化建设的经 验，理顺

13、数字信息化在社会管理创新形势下的监督指挥部门、 政府相关职能部门的职责分工，切实发挥市一级的社会服务管 理职能。围绕建设、管理、创新、高效四个环节，力求在管理 精细化上谋突破，在破解难题上谋突破，在便民利民上谋突 破，在动员群众广泛参与上谋突破，切实起到示范带动作用。加强和创新社会管理服务，是中央全面把握国内外新形 势、新特征，深刻分析全面建设小康社会的关键时期和深化改 革开放、加快转变经济发展方式的攻坚时期我国经济社会发展 新的要求，从党和国家事业发展全局出发确定的一项重大战略 任务。中央明确指出，加强和创新社会管理服务的根本目的是 维护社会秩序、促进社会和谐、保障人民安居乐业，为党和国 家

14、事业发展营造良好社会环境。基本任务是协调社会关系、规 范社会行为、解决社会问题、化解社会矛盾、促进社会公正、 应对社会风险、保持社会稳定，建立健全中国特色社会主义管 理体系。做好社会管理服务工作，促进社会和谐发展，是全面 建设小康社会、坚持和发展中国特色社会主义的必然要求和基 本条件。3.2项目建设目标充分发挥现代化信息技术在社会管理创新中的基础性、关 键性作用，全面推进以网格为基础的整个社会管理服务信息数 字化，建立全市统一，动态更新、联通共享的智慧统计大数据 云平台，搭建智慧统计大数据云平台，实行管理信息化。依托电子政务基础信息平台，统一规划，联通公安、房 管、规划、城管、综治、教育、民政

15、、人社等部门，结合自身 职能，主动对接相应用信息平台，实现资源共享。通过该平台的建设，可实现人口基础数据库管理、房屋基础 数据库管理、社会管理、公共服务和政府协同办公等功能；利用 电子政务专网，可实现上至市直管理部门，下至基层社区之间的 扁平化、快速化联动；利用移动信息采集终端，网格管理员可现 场动态釆集系统需要的所有信息，建立“一方采集、多方响应” 的关联对比制度，推进网格化平台与职能部门信息融合。同时，在为民服务上，依托基层网格化服务团队，采用信息 化手段，利用呼叫中心、短信、移动终端、互联网等技术方法与 互动模式，通过网格化服务团队的走访式服务，结合网络信息平 台的信息化优势，并整合政府

16、、党团组织、工会等公共服务资源 和企业、行业协会、社会公益组织等社会服务资源，为民众提供 全方位、多元化的服务，并达到“全天候、全方位、全程跟踪监 督”的服务效果。3.3项目建设的意义和必要性智慧统计大数据云平台建设是社会管理创新和信息化建设 的重要组成部分。实施以社会管理为主线的系统建设，有助于加 快信息资源的开发利用，促进信息资源共享，满足社会管理部门 和成员单位对社会管理的更高要求，实现“基础信息网上录入、 办事服务网上管理、工作过程网上监督、责任目标网上考核”四 大能力。智慧统计大数据云平台是促进社会管理部门各部门信息资 源共享、提高行政管理能力的需要。智慧统计大数据云平台是电 子政务

17、建设不可或缺的管理系统，是统一和衔接成员单位业务处 理的平台，是实现社会管理部门之间工作的重要桥梁。在社会管 理部门各成员部门之间逐步建立和完善数据统一、互为补充、相 互共享且能实施更新的系统，已成为电子政务建设的重要基础工 程。智慧统计大数据云平台是加强政府对管理社会人员与服务 社会人员的需要。通过智慧统计大数据云平台建设将有助于加强 对社会人员的监管，强化和不断完善公共服务，提升各政法成员 部门信息化水平，稳步推进党政机构的联结办公，不断增强对各 类社会组织的管理，及带领社会组织深入参与社会管理工作。社会管理服务系统的建设是采用数字化技术手段、网格化 管理模式，打破部门间条块分割，建立长效

18、管理联动新机制、提 升社会管理服务的科学水平和城市运行效率的新思路，对地区的 社会和谐稳定、经济快速发展具有重要意义。通过管理效能的发 挥，能够取得明显的社会效益，并具有良好的社会及经济效益。 具体体现以下七个方面：1、有利于社会管理服务基础信息资料的共享，增强政府管理 和服务能力。社会管理服务综合信息系统的建设，将为社会管理服务部门 提供有效的信息共享机制和信息更新机制，各社会管理服务职能 部门的基础数据及时更新，保持一致性、准确性和权威性。有利 于社会管理服务基础信息资料的共享，增强政府管理和服务能力O2、有利于提高政府部门工作质量，提高政府部门的宏观决策 能力。形成各社会管理服务职能部门

19、系统与社会管理服务业务系统 对接，百姓及映的事件快速的流通到相关职能部门，相关部门处 理时，事件的受理人知道事件的进展，保持事件的跟踪。领导通 过统一平台统计分析出社会的稳定性，从而做出有效决策。3、有利于推进社会管理服务创新的实施。社会管理服务综合信息系统的建设有利于提升城市建设和管 理的规范化、精准化、智能化水平，打造高效、科技型的服务政 府。4、有利于提高工作效率，降低工作成本。通过社会管理服务系统的建设，大部分事件通过系统统一处 理，减少了从群众到村（社区）、村（社区）到乡镇（街道）、乡 镇（街道）到区的沟通成本。5、有利于加强政府决策的准确率，减少人力成本。通过系统统计分析出社会不稳

20、定因素的原因和问题，有针对 性的展开管理措施，集中人力、物力施政，避免公共服务资源浪 费。6、有利于减少重复建设，提高使用率。社会管理服务系统的基础信息可以充分共享，减少其它社会 管理服务职能部门的系统建设，避免各部门投入经费重复建设类 似系统，降低工作成本，为国家财政节省了开支；对于国民经济 建设和广大用户将产生不可估量的效益。7、减少社会不稳定因素，创建和谐社会，促进经济发展通过信息系统快速解决群众诉求，把不稳定因素降到最低， 将吸引更多的外来投资者。第四章项目需求分析4.1组织结构的需求分析统计局大数据统计平台的最终建设目标是在政府的统一领 导下，由XX统计局牵头负责，利用统计局自身拥有

21、的数据资源， 力争打破数据孤岛，谋划工商、稅务、金融、保险、交通运输、 海关、财政、教育、医疗等各个行业数据资源的整合机制，加大 对政府公开数据（含政府机构或准政府机构公共公开数据）、商 业数据、互联网数据、通讯数据、物联网数据、金融数据等数据 的整合力度，实现各部门、各行业、各区块数据资源的交互共享， 并推动全省数据资源的整合，实现数据的共享和交互使用，满足 *社会各界的主要数据需求，建成基于全省大数据统计系统的 经济预警平台。根据*统计局当前的实际情况，该项目的建设拟分两期进 行，本期建设主要基于*统计局的现有数据、其他部门的开放 数据和互联网数据，建设成服务于*统计局常规统计工作，具 有

22、宏观经济预判功能、三新统计功能和服务业统计功能的大数据 统计平台。目前*统计业务依托于企业联网直报平台进行相关的业务 统计，统计业务数据相对孤立、数据价值难于体现，各部门统计 数据之间矛盾日益突出。现大数据高速发展，各项技术手段日渐 成熟，期望依托大数据技术，探索出统计体系科学有效的数据收 集、挖掘、处理平台，打通各部门之间的屏障，建立统一的标准 规范体系、拓展数据获取渠道、整合各行业数据，实现数据之前 相互验证，建立统计业务分类体系、通过数据建模手段实现各项 指标经济预测。4.2对数据交换的需求分析根据系统建设的需要，需将公安、民政、计生、卫生、人社、 教育、房管、城管和消防部门业务数据与社

23、会管理平台的数据进 行交换，保证智慧统计大数据云平台上人口基础数据、房屋基础 数据等信息的完整率、鲜活率和准确率，并为社会管理类数据交 换建立相应的标准与规范。“XX信息网”数据交换平台还应能提供多种外部数据接口 （如人口、房屋、地理信息等），接口使用规范的数据交换接口 格式（如XML）,并能提供统一数据交换接口文档，方便以后其它 数据的接入与共享。4.3对行政审批系统需求分析建设市行政审批的数据中心，完成审批公共数据库建设，遵 照各审批部门的事项规定和审批规范，提高办事效率和透明度, 以“统一受理、统一申报、统一监控、统一咨询反馈、统一计费 收费、办理限时、资源共享、信息互动”等为建设目标。

24、4. 4对协同办公系统需求分析建设XX全市统一的0A系统;建立电子化文档的管理、传递和审批，改变传统手工办公模 式，提高办公效率；建立电子邮件、电子论坛等方便灵活的交流方式，让员工及 单位更具活力；建立公共信息库和讨论组，共享信息和知识，将所有员工的 智慧积累和发扬；协调和协同工作，让工作组的所有人员都能掌握工作进度， 发挥群体工作的威力；建立个人建立信息和日程管理，协助部门员工工作更出色； 建立集中的信息处理，加强部门的管理和控制能力；建立移动0A系统，实现随时随地办公。4.4业务量分析本期平台建设主要涉及到众多数据库数据抽取、标准代码库 建立以及各种工作提醒与信息反馈等信息，存储空间设计为

25、4T 为合适。4.6性能需求分析系统整体的性能要求为：系统具有灵活的扩展性和良好的可移植性；充分考虑今后的横向和纵向的平滑扩张能力；在网络稳定（带宽128K）的环境下操作性界面单一操作的系 统响应时间小于10秒;支持不少于100个并发使用用户连接；系统提供7*24小时的连续运行，平均年故障时间24小时，平均故障修复时间30分钟；具备较强的系统安全性和灾难恢复能力，系统具有安全审计 功能。系统提供强有力的安全保障措施；支持 IE7.0、IE8.0、Chromel® 0、Firefox6. 0 等以上版本 的主流浏览器。其中呼叫中心建设的核心指标（建议）:呼入接通时间：ISDN/SS7信

26、令 2秒，SS1信令5秒按键响应时间： 1秒系统接通率:99. 96%DTMF收键准确率: 99. 99%BHCC（忙时呼叫次数）： 1000K系统可靠性：99. 9%, 7*24稳定运行从占用座席到客户信息弹出的间隔时间： 1秒第五章项目运行机制体制设计按照建设要求，成立各级网格化社会管理服务中心，通过精 细化管理，实现社会管理全方位覆盖、全过程管理、全社会参与、 全区域平安。5.1组织机构设计根据项目编制5.2业务流程设计根据项目编制5.3事件处置操作手册根据项目编制。5.4评价体系建立根据项目编制第六章总体建设方案6. 1建设原则和策略1、统筹规划，分级实施。平台建设涉及到各地区和多个部

27、门，要进行统筹规划、总体 设计和分级实施。要按照国家制定的相关标准规范进行建设， 实现应急管理业务系统和技术支撑系统的有机结合。2、利用现有，整合资源。本着节约的原则，突出建设重点，注重高效实用，充分利用 已有基础，防止推倒重来、重复建设。整合各级、各部门应急 平台所需资源，已经建成的平台要采用接口转换等技术手段， 新建、改建平台要采用国家制定的相关技术标准，依托政府电 子政务系统和部门业务系统进行建设，实现政府对上对下各应 急平台和其他相关应急平台的互联互通，信息共享。3、注重实用，讲求实效。既要重视XX信息网硬件建设，更要重视应用幵发和信息源 建设，保证平台的实用性；既要立足应急响应，又要

28、满足平时 应用，防止重建设、轻应用；既要能够发挥专业业务系统的作 用，又要提高应急资源整合效益和应急平台的实用性，克服所 有涉及社会管理部门都搞大而全的智慧统计大数据云平台建 设，专业相近应急平台要统一整合建设。4、技术先进，安全可靠。依靠科技，借鉴国内外先进经验开展建设工作，注重系统设 备的可靠性和先进性，采用符合当前发展趋势的先进技术，并 充分考虑技术的成熟性。加强核心技术的自主研发和应用，建 立安全防护和容灾备份机制，保障应急平台安全平稳运行。5、立足当前，着眼长远。平台建设工作要以需求为向导，以应用促发展，把当前和长 远结合起来，既要满足当前工作需要，又要适应未来技术的应 用和发展，不

29、断提升应急平台技术应用水平。6.2总体逻辑结构项目总体系统框架设计如下图所示：应用层新增专畴计宏观径济班能力层多*分析6力帕分祈絵力I 三砂计|文娇收计=§联网好其他粗关J33E麴8统TB务和幵放SQL, FTP. WS. MDX. API.数据层获取层大数据平台話黠冒敲黑一蠶GN 口醬幅毗、数据源(1) 数据源大数据统计平台的数据包括联网直报数据、住建部门数据、国土部门数据、金融机构数据、税务部门数据、省发展改革委数 据、省文化厅数据、省交通运输厅数据及互联网数据，是支撑整 个业务应用系统的数据统计及数据挖掘分析。(2) 数据获取层数据整理主要通过ETL及内容分析实现数据的治理问题

30、，确 保数据的质量，保证数据的正确性、完整性、一致性、完备性、 有效性、时效性和可获取性等，主要通过空值处理、规范化数据 格式、拆分数据、验证数据正确性、数据替换等手段实现数据的 整合。(3) 数据层负责存储海量数据，提供并行的计算和非结构化数据的处理 能力，实现低成本的存储和低时延、高并发的查询能力。数据加 工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深 度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据。(4) 能力层通过对原始数据进行整合汇总，形成上层可用的数据挖掘工 具，平台能力层主要向用户提供实时数据处理能力、基础分析能 力、数据挖掘能力、自助分析能力、数据共享能力

31、等，同时面向 使用人员提供FTP传输、API接口、SQLXMDX语句使用能力。(5) 应用层数据应用层存储不同的综合级别的数据，主要包括当前明细 数据、轻度综合数据、高度综合数据。根据不同的报表分割不同 的数据粒度，实现数据立方体的存储。根据统计的基础数据和各 行业各领域的数据构造WEB资源池。根据业务需要实现各种灵活 专题统计任务（如“三新统计”、文化产业统计等）和宏观经济 预测。并可以根据新的业务需求，实现新增专题统计。6.3网络总体设计网络和硬件为智慧统计大数据云平台的正常运行、为政府部 门和社会工作提供基础的支撑能力。考虑到平台将涉及到有关敏 感数据，高速稳定、安全可靠的网络系统，是应

32、用系统实现的必 须保障。智慧统计大数据云平台网络设计采用模块化的架构设计方法, 清晰定义和区分不同的功能区域，将网络平台划分为不同的功能 区域，部署不同的应用，使网络架构具有可扩展性、灵活性、高 可用性、高安全性。网络图如下：数据利用防火壤网格化应用服务器储带机磯盘阵列血信服务器务网站公共98 呼的中心疝统眼务器协同办公服务器行政中批服务器*数据交换前置机外网交换机6.4数据库总体设计6. 4.1数据库内容智慧统计大数据云平台数据库主要有两大数据库构成：人口 基础信息库、房屋基础数据库。6. 4.2数据库结构XX市智慧统计大数据云平台数据库结构图，如下图:数据管理网格化社会管理平台数据采集卜為

33、们專II器"爲鬆I图：数据库结构图6. 4.3数据采集与整合 6. 4. 3.1数据采集与整合设计原则(1) 制定统一的数据采集与整合标准数据采集最终要借助与数据釆集与整合机制来实现，只有采 用统一的标准，遵循共享管理办法，才有可能实现数据的真正 整合。(2) 提供与操作系统、网络无关的统一的数据传输通道有了统一的数据传输通道，数据库间只需要使用统一的数据 传输方式进行数据交互，而不必担心使用什么样的网络协议和 网络结构。（3）提供多种数据传输机制根据访问方式的不同，系统提供同步传输、异步传输等数据 传输机制：提供跨防火墙的数据库同步。<4）提供数据差异比对反馈功能对来自各部门

34、的信息进行有效整合，形成权威数据，各部门 数据与权威数据进行差异比对，并把对比结果反馈给相关部 Ho6. 4. 3. 2数据采集与整合的设计方案XX市智慧统计大数据云平台数据采集与整合机制由XX市智 慧统计大数据云平台采集平台与整合平台、各部门数据采集接 口软件、数据比对与整合系统组成。6. 4. 3. 3数据采集与整合的体系结构数据采集与整合是一个由主中心前置服务器与各个部门的前 置服务器通过政务外网连接组成的系统。其主要功能如下：（1）实现各个采集点之间安全，可靠的数据采集。<2）及时、自动识别并抽取前置服务器中需要对外发送的数据，交给消息传输系统进行发送。(3) 及时从消息总线上提

35、取信息，进行解包和转换，保持 到前置服务器中。(4) 提供采集流程定义功能，能够方便、动态地改变数据 采集的方式和流程。6434数据采集与整合的功能数据采集功能通过数据采集接口软件，将政府各部门的数据通过数据采集 与整合统一汇集到主中心，进行整合、处理后，进入数据库：(1) 数据采集流程功能采集控制中心通过采集控制组件完成对流的定义和监控。需 要强调的是，流程定义和监控只有在控制中心执行，参与不具 备流程管理能力。(2) 支持基于消息和文件的数据传输数据釆集与整合支持基于消息和文件的数据传输，支持不同 的数据结构和不同的文件类型。<3)支持不同的消息釆集格式数据采集与整合能够支持XML或

36、其他自定义的消息采集格 式。(4)监控流程数据采集与整合能够监控当前数据传输任务的执行情况，并 能在需要时检查数据采集的历史记录信息。可以通过使用工具 检查流程的运行状态，并可以控制流程的执行，如重启或终 止。数据差异比对功能在各部门间数据采集和整合的基础上，根据业务需要，对于 来自不同部门的基础信息进行差异比对，根据比对结果，找到 部门间数据库差异和问题，并及时反馈给各部门，更好地为各 部门的业务工作服务。(1)数据一致性比对功能。<2)数据的合法性比对功能。<3)数据量的一致行比对功能。数据整合功能源自各部门的数据经过差异比对后，形成统一的数据格式， 再按照不同的需求，对数据进

37、行抽取、转换、过滤，整合到XX 市智慧统计大数据云平台。6.5数据交换平台总体设计将公安、民政、计生、卫生、人社、教育、房管、城管和消 防等部门业务数据与智慧统计大数据云平台的数据进行交换， 保证智慧统计大数据云平台上人口基础数据库、房屋基础数据 库信息的完整率、鲜活率和准确率，建立XX数据交换标准和规 范，为以后智慧统计大数据云平台数据交换的建立提供规范指 导。数据交换平台架构图如下:交换中心数«交换平台VLS4IHB-J6. 5. 1交换中心管理系统6. 5. 1.1数据交换标准定义根据对目标系统综合性应用内容的需求分析，定义出一系列 的数据交换标准。这些标准将反映各个应用所需要

38、的数据的结 构。同时在标准中定义的还有数据“宿主”位置等信息，表示 该块数据将向哪个业务系统请求获得。所有的数据交换标准定义信息，均以XML结构记录。可以通 过数据交换标准定义管理工具完成如下功能：新建标准、修改或删除标准；维护标准中的属性，包括数据结构、数据“宿主”位置、缺 省过滤条件等；实现对用户身份识别与管理权限控制。6. 5. L 2数据交换流程定义数据交换是依据数据交换流程实现的，针对不同的数据，需 要设定和管理不同的数据流转过程。该模块的作用是提供图形 化界面，供给数据交换平台的管理人员实现数据流转过程的定 义。数据交换流转过程的描述也采用XML方式。具体功能如下：新建流程、修改或

39、删除流程；维护流程的规则、数据加工过程和数据路由方式；实现对用户身份识别与管理权限控制。6. 5.1. 3数据交换标准与内部数据结构的映射管理由于数据交换标准并不知道在具体业务系统内的相应数据的 位置、属性、名称等等信息，所以需要在业务系统内对数据交 换标准中的对应项有一个映射关系的定义。这种定义包括数据 项与数据项的对应或组合对应（公式化）、数据类型的匹配或 转换关系、数据项位置描述记录等等。以XML结构保存定义的 内容。具体功能包括：数据交换标准定义信息的导入；维护数据交换标准与内部数据结构间的映射定义表，包括 数据项与数据项 的对应或组合对应（公式化）、数据类型的匹 配或转换关系、数据项

40、位置描述记录等等；实现对管理员的身份识别与管理权限控制。6. 5.1.4数据交换流执行数据交换流的执行是通过应用集成中间件实现的。采用中间 件产品可以保证数据交换的高效、安全和可靠地进行。其工作 原理是：读入数据交换流程，根据流程设定，启动数据交换过 程。根据业务需要，同时可以并发若干个数据交换流程。当业 务变化时，只需修改数据交换流程定义，就可以实现基于新业 务的数据交换过程，因此系统具有很好的可扩展能力。具体功能如下：接收数据；验证数据；分析流程定义；根据流程进行数据交互过程；数据交互的事务管理；日志管理和交换数据存储；消息队列管理；实现对管理员的身份识别与管理权限控制。6. 5.2接入管

41、理系统6. 5. 2.1接入点注册在接入点向信息交换平台注册时，信息交换平台会自动检测 接入点提供的属性信息是否正确，只有正确后，才可以注册， 接入点才可以接入信息交换平台。6. 5. 2.2接入点配置由于有很大一部分的业务系统早已开发完成，且采用的数据 库不同，有 Sybase> Oracle> SQL Server> Access 等等，各个 业务系统根据实际需要，挑选可共享的数据，定制不同的共享 接入点，将共享接入点发布到数据交换平台上；也可以根据业 务系统自身的不同的数据种类定制不同的共享接入点，将共享 接入点发布到数据交换平台上。这样就最大限度的提供了各自 业务系统

42、数据的共享，也保证了各业务系统数据的安全。共享接入点的管理员可以根据需要设置本接入点的类型（只 能收、只能发、接收都可）、本节点只接收那种信息类型，如 果管理员本身是接入点的创建者，还可以设置本接入点的管理 员帐号。6. 5. 2. 3接入点维护新增接入点根据各个业务系统的实际需要，系统管理员可以增加新的接 入点，和建立新接入点的管理员帐号。为了便于管理和资源的 充分利用，规定一个单位或部门只有一个共享（单位或部门内部 共享）接入点（因为多个业务系统可以通过一个接入点接入交换 信息平台）。如果要新增接入点，由使用单位或部门提出书面申请，经系 统平台管理员审核同意后，统一由系统平台管理员新增接入

43、 点，同时由系统平台管理员设置新增接入点的相关信息。修改接入点因为各个单位、部门的业务系统的数据种类是变化的，且用 户的要求也是变化的，所以共享接入点的管理员要根据需求实 时来修改其共享接口，满足其他用户、单位、部门对数据的需 求。共享接入点的管理员先查询到要修改的接口，然后对接口 的关键字及其他属性进行修改，但接入点的唯一标识（比接入点 编号）不允许修改修改后的共享接口在数据交换平台上能立即 反映出来，以便其他单位、部门使用。删除接入点如果共享接入点的管理员认为其定制的共享接入点已没有使 用意义或已被新的的共享接入点替代，由接入点的管理员提出 书面申请，经数据交换平台管理员（接入点的创建者）

44、审核通过 后，统一由交换平台管理员进行删除。共享接入点的管理员只 能申请删除自己管理的共享接入点，在共享接入点删除后，数 据交换平台记录删除日志，并删除与它有关的在数据交换服务器 (JMS)的队列.删除接入点的信息要在数据交换平台监控上立即 反映出来，以便其他单位、部门不再向它发送信息。查询接入点根据需要，可以按类型、状态查询各个接入点的情况，可以 统计各个接入点的类型、状态(是否有效、是否已删除)。6.5.3交换前置子系统6. 5. 3.1交换前置子系统的作用政府职能部门配置交换前置机，成为与信息交换总线相连接 的桥梁，同时也是与部门内部业务系统及业务信息库相隔离的 “堡垒”。在部门前置机上

45、安装前置交换数据库、应用适配器 和信息交换软件，用于实现信息的发送和接收。6. 5. 3. 2交换前置子系统的部署部门交换前置机系统逻辑结构如下图所示。信息交换软件1. 操作系统部门交换前置机的操作系统采用Linuxo前置交换数据库部门交换前置机安装SQL Server/MySQL数据库作为部门前 置交换信息库。2. 应用适配器系统部门交换前置机安装应用适配器系统。应用适配器系统负责 自动从部门前置交换信息库提取数据发送到信息交换总线，同 时，从信息交换总线上获取信息并存储到部门交换信息库。部 门交换前置机上的应用适配器系统还实现部门业务信息库与部 门交换信息库之间的信息交换桥接功能。3. 信

46、息交换软件部门交换前置机安装消息中间件产品作为信息交换软件系 统，与中心交换服务器的信息交换软件共同构成信息交换总 线。6. 5.4交换桥接子系统6. 5. 4. 1交换桥接系统的作用交换平台的交换桥接子系统指由部门业务应用数据库（或文 件等数据）到前置交换数据库（或文件等数据）之间的信息交 换桥接接口，以完成两个数据库（或文件等数据）之间的在线 实时交换的系统。之所以采用桥接系统是为了保护业务系统的安全性和独立 性，信息交换平台通过交换前置机与业务系统相连，在前置机 上建立交换库，用于存储各节点向外发布的信息和从其他节点 交换过来的信息。桥接系统的实现可以利用集成中间件提供的编程接口，但业

47、务系统接口的编程是必不可少的，必须像适配器提供一个透明 的数据提供源。考虑到业务系统的复杂情形，有时并不一定是 提供数据接口，也可以是文件的各式，提供给前置交换系统， 再通过交换平台的进行传递。桥接系统还包括把数据交换到目的系统的情形。比如把A系 统的数据通过交换平台传递到B系统，那么B系统在接收这些 数据时也需要利用桥接系统编写相应的适配器。6. 5. 4. 2交换桥接系统的分工界面交换系统从源到目的都涉及不同单位、不同网络、不同架构 的异构业务系统，除了在组织协调大量的工作外，在分工界面 上也应清晰。因为数据交换平台不是万能的，在数据交换过程 中涉及不少的编程工作，必须有业务单位和业务系统

48、开发商的 配合。以下图为例：交换平台从某部门的业务系统获取数据后，传送到中心数据 库，再通过中心数据库分发到9个不同的业务系统，这里至少 涉及9个不同的系统：首先数据源提供系统必须把数据送入到前置机的数据，或者 放在本地由数据交换平台去抓取。数据交换平台无法从业务系 统中去获取数据，因为它不知道业务系统的数据结构和逻辑， 比如数据交换平台并不知道0A系统中一份公文的数据保存在哪 些表，流程现在是什么状态，从安全的角度也不应该由数据交 换平台直接抓取。正确的做法是业务系统根据要求把数据提取 出来放到某个位置（数据库或者文件系统），交换系统适配器 去获得这些数据。其次，接收的目的系统，在获取到数据

49、后也要对数据进行解 析放入到自己的系统中，否则数据交换平台不知道该把数据放 在什么位置，即使知道也不安全。所以，从分工界面来说，数据交换与业务系统有着密切的关 心，必须有业务系统的支持才能实现信息的交换。6. 5.5运行监控平台6. 5. 5.1传输监控传输监控的主要任务是对交换平台本身和流过交换平台的数 据包进行观察与控制。传输监控包括如下几个方面：1. 对数据流量和状态的查询、统计与审计；2. 对信息交换平台自身运行状态的查询和监控；3. 对信息交换平台的远程监控。数据流量和状态的监控，首先是对于所有通过信息交换平台 进行交换的数据总量的把握，其次是对每个通过信息交换平台 的数据包状态的微

50、观把握。通过监控功能，可以了解在指定时 间内按照进入/转出、目的地/来源地、数据量大小等项目进行 查询和统计，从而实现对总量的把握；通过对数据状态（例如 等待处理、正在进行、处理完毕、回执收到、处理中断等）的 监控，可以追踪某一个指定数据的状态。对信息交换平台自身运行状态的查询和监控，是为了确认信 息交换平台自身的运行是否正常。查询和监控的对象主要是构 成共享平台的各类软件运行实体（例如进程、队列等）。以进 程为例，监控的主要操作包括查询进程状态、停止进程、重新 启动进程等。对信息交换平台的远程监控，是指通过监控命令的交换，对 系统中的远端信息交换平台部件进行上述监控。由于信息交换平台的运行记

51、录不仅是进行监控的重要依据， 还是进行审计的重要基础，因此根据监控的功能设计，必须实 现相应的日志机制。6552前置节点运行监控中心数据交换平台通过网络连接了许多不同的节点，通过监 控系统能对分布在不同物理位置的前置交换系统状态进行必要 的监控，及时发现异常的监控节点。6. 5. 5.3数据库运行监控数据交换平台涉及中心数据库，前置节点数据库等多套数据 库系统，通过监控系统能实时了解各节点数据运行的状态，能 通过图示的方式进行提醒。6. 5. 5. 4适配器监控监控平台对桥接服务实行数据传输量监控，速率监控，历史 数据统计等监控管理，对有关交换的各种组件运行状态及日志 情况，可以非常方便的进行

52、监控及查询。6. 5.4系统管理6. 5. 4. 1接入编码管理接入点编号是由交换信息平台统一分配给各个使用单位或部 门。各个使用单位或部门要接入信息交换平台，必须先申请接 入点编号。获得接入点编号后，必须要先进行接入点注册，然 后才可以通过接入点接入到交换信息平台。接入点编号规则参考如下：A. 编号长度为九位（数据的长度预留20位：如果以后要加市 的，在原来基础上前面加多俩位，依此类推：加省、）；B. 位数的意义：第一、二位代表区；第三、四位代表单位类 型；最后五位流水号。比如：00 00 00000区单位类型流水号6. 5. 4. 2数据备份及恢复数据交换平台涉及大量数据的存储，需要有良好

53、的数据存储 机制确保数据的安全，避免数据丢失。6. 5. 4. 3用户管理数据交换平台作为一套专门的信息交换系统，具有完善的用 户管理体系，能创建不同权限、不同角色的用户帐号，对系统 内的信息进行查看和访问。6. 5. 4. 4日志管理管理员能查看系统不同类型的日志，对系统的运行状态进行 监控，及时发现运行过程中出现的问题。6. 6标准与规范体系总体设计建立标准与规范体系是智慧统计大数据云平台建设的重要基 础工作，标准与规范体系可以确保有效地开发和利用信息资源和 信息技术，保障系统信息化建设的有序高效，确保信息系统间的 互联、互通、互操作和信息的安全可靠。标准与规范体系建设过程中，既要与现行的

54、国家标准、行业 标准接轨，又要结合智慧统计大数据云平台的应用特点，围绕智 慧统计大数据云平台软硬件建设、数据采集与整合、数据管理与 维护、数据共享与服务的要求，建立相应的标准与规范，主要内 容包括：技术标准与规范建设、共享管理办法制定、运行管理规 范制定。6.6.1技术标准与规范编制系统技术标准体系，明确智慧统计大数据云平台基础信 息建设过程中需要遵守的标准规范；制定智慧统计大数据云平台 建设过程急需统一的技术规范，包括数据元标准、数据采集接口 标准等。6. 6.2共享管理办法制定智慧统计大数据云平台共享管理办法及共享规则，明确 各部门的职责分工和权限范围，确定各部门需要共享的信息内容、 信息

55、共享的方式、信息共享的途径、数据采集的规范、安全注意 事项与要求等。6. 6.3运行管理规范制定智慧统计大数据云平台安全运行管理规范，建立一系列 得运行维护管理流程，包括设备管理、日常操作、安全保密，问 题处理等，同时明确技术人员组成及工作职责。第七章应用系统功能建设7. 1业务应用功能架构计局大数据统计平台应用系统功能主要由系统管理、ETL平台、联网直报、自助取数、多维分析五大功能组成。总体架构图如下所示:财政金融证券保脸分析 固定资产投资分析教胃分析人民生活和社会保邮分析文化创意服务分析対外贸易分析交通分析文化产业分析生产与自然灾書分析 互联网数提分析工业分析农业分析旅游分析科学技术分析

56、体离分析房地产开发分析人口分析联网 直报用户管理 fttBS 交 元敎潺管理 监養业务处理权限设贵制度制定数掘修改数据I：总名录障管谨釆篥裏设计报衰分" 数提发布JZ总衰设计教損审核 调査任务祁署 系统维护ETL平数据抽取数据转换数据加载台流程调度异常处理可视化试图系统 管理权限管理修改密码系统日志管理用户管理报表定制指标比对指标管理自肋 取数7.1. 1统计大数据采集ETL负责将分散的、异构数据源中的数据如关系数据、平面 数据文件等抽取到临时中间层后进行清洗、转换、集成，最后 加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘 的基础。ETL是数据仓库中的非常重要的一环，它是承前启后的必 要的一步。数据抽取就是从数据源抽取出所需的数据的过程。数据抽取 后，再经过数据清洗、转换，最终按照预先定义好的数据仓库 模型，将数据加载到数据仓库中去。数据转换主要用于解决数 据不一致性问题