大数据平台技术方案大数据平台技术解决方案

大数据平台技术方案大数据平台技术解决方案一、工程背景“十三五〞期间，随着我国现代信息技术的蓬勃开展，信息化建设模式发Th根本性转变，一场以云计算、大数据、物联网、移动应用等技术为核心的“新IT 〞浪潮风起云涌，信息化应用进入一个“新常态〞***〔某政府部门〕为积极应对“互联网+〞和大数据时代的机遇和挑战，适应全省经济社会开展与改革要求，大数据平台应运而Th。二、建设目标督，建立标准化共建共享投资工程管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发展。1、制定统一信息资源管理标准，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建会聚式一体化数据库，为平台打下坚实稳固的数据根底。2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的根底上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。3、在大数据分析监测根底上，为政府把握经济开展趋势、预见经济开展潜在问题、辅助经济决策提供根底支撑。三、建设原那么大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动〞的原那么，全面提升信息化建设水平，促进全省经济持续健康开展。1、统筹规戈IJ、分步实施。结合我省经济开展与改革领域实际需求，明确总体目标和阶段性任务，科学规划建设工程。先期完成大数据平题。23目的，突出重点，注重实效，加强平台可用性和易用性。4、深化应用、创新驱动。深入了解用户需求，密切跟踪信息技术开展趋势，不断深化应用、拓展新技术在应用中的广度和深度，促进跨界融合，丰富管理和效劳手段。四、建设方案为了保证工程的顺利进行和建设目标的可行性，我们采取如下几种建设方案。1、数据采集方案。性和时效性。1、预留接口，支持其它系统各种数据的上传导入处理。将现存本平台上复用。2、支持外接数据的上传导入处理。可以将企业单位或定点监测机构的数据通过同样的方式采集起来，在本平台上复用。3、支持非结构化数据，即搜索引擎数据、社交媒体数据、地理空间数据和音视频数据等等。2、数据分析方案。我们采用批量数据处理系统，借助于深度学习、知识计算和可视化等大数据分析技术，通过对数据的批量处理挖掘其中的价值来支持决策和发现新的洞察。3、业务整合方案。1、整合处理。将原有数据通过上传或导入方式进行采集，会聚起来。缺点是耗时较长。2平台中，作为子系统单独存在。缺点在于数据共享难以实现。五、建设内容1、宏观经济监测预测及可视化平台依靠互联网非统计数据转变，从监测预测宏观经济总量向监测预测宏观经济先行指标转变，从中长期监测预测向实时监测预测转变。宏观经济监测预测及可视化平台围绕网络搜索、社交媒体、电子商务、终端定位和业务交易等五个方面全面整合互联网相关数据资台。围绕重点产业活泼度、区域经济关联度、宏观经济走向社会预期、观、准确反映我省宏观经济运行状况的指标体系，编制"山东指数〞。在健全完善监测预警数据库的根底上，充分运用大数据技术和理型，切实提高预测分析的前瞻性、准确性和可靠性。Unity3D引擎，三维界面高度仿真，所见即所得。平台针对多源易构的海量数据，通过数据处理、存储管理、可视化交互分析等技术，实现图形化数据查询、可视化关联分析、证据链和情报线索开掘等功能。利用预测信号灯系统，形象地刻画出宏观经济总体运行状况，分析经济波动原因，及时了解各地区经济开展的不平衡性，准确判断和测定经济景气循环运行状态，提高宏观经济决策水平。2、企业信用监测预警效劳平台企业信用危机不仅给社会带来严重危害，也是关系到企业自身Th死存亡的重大事件，它是中国企业乃至中国市场经济开展的巨大障碍。因的预警及管理是十分重要的。企业信用监测预警效劳平台，全面整合社会信用监管信息和别，分别向企业自身、金融机构、其他政府部门及全社会进行通报。纳入企业信用预警体系的企业信息包括侵犯消费者权益且不履行相关义务的信息、消费者投诉未及时处理信息、行政处分逾期未执行信息、 查无下落企业信息等23种信息。可以动态配置预警信息工和相应预警等级，增强监测预警的全面性和灵活性。企业信用监测预警效劳平台以信息技术为支撑，以信用监管为手段，全面提高信用监管信息共享程度，及时预警影响社会交易平安和社会公共平安的不良信用信息，遵循“对外警示社会和企业；对内明确重点，积极采取应对措施〞的原那么，强化企业信用监管防范机制，有力推进“信用保税区〞建设，加强企业信用监督管理的主动性、前瞻现企业信用的社会化监督。3、投资工程信息管理平台应用，可有效解决投资建设工程管理动态过程的信息分析、信息构建，到达各参建方信息共享的目的。投资工程信息管理平台，支持重大工程推介，建立标准的工程审批流程和工程信息库，管理工程启动、方案、执行、监控和收尾的整个Th命周期，覆盖进度、质量、本钱、资源、风险等工程管理的各个要素，构建集成工程、流程、知识的信息化平台。逐步实现与相关部门业务系统的接入，形成全覆盖的投资工程管理持效劳。围绕设计、招标、监理、质量、平安、进度、施工、资金、变更、合同管理“十大环节〞，建立起对投资工程进行事前方案、事中控方位、全过程的方案、组织、协调与控制作用。目管理为主线，全面组织、全程贯穿各个业务环节；以工程计决策提供依据；遵循“以方案为龙头，以合同为中心，以投资控制为目4 、政务数据共享交换平台建设政务数据共享交换平台的首要目标就是要创造一个信息交换、信息共享的方式和环境，按照统一标准和标准，建立信息资源整合机制，标准数据采集口径、采集方式，标准数据的效劳方式，建立统一的资源信息整合与交换机制。我们按照统一、集约、高效的数据开发利用理念，通过研究建立多级交换管理体系，形成政务信息资源物理分散、逻辑集中的信息共享模式，通过以应用为抓手，进一步打通数据流，满足政府部门多方位、多层次的数据需求，为跨地域、跨部门、跨平台不同应用系统、不同数据库之间的互连互通提供包含提取、转换、传输和加密等操作的数据交换效劳。通过分布式部署和集中式管理架构，有效解决各节点间数据的及时、高效上传下达，在平安、快捷、方便的进行信息交换的同时精准的保证数据的一致性和准确性。政务数据共享交换平台的全局目标是建立“一个系统〞，解决政务协作、宏观决策、市场监管和社会管理效劳。六、技术支持与平台性能1、系统架构结合该工程以大数据平台为核心，多业务子系统并存的业务需求，以及存在不同种类操作系统、应用软件、系统软件的现状，SOA架构。SOA 是一个组件模型，它将应用程序的不同功能单元〔称为效劳〕通过这些效劳之间定义良好的接口和契约联系起来。接口全别离，从而最大程度上实现效劳的集成和重组。SOA实施是以业务效劳为导向的，业务效劳独立于技术之SOA架构的主要优势有：1SOA与平台无关，减少了业务应用及业务子系统整合的限制。2SOA具有低耦合的特点，各个业务子系统对整个业务系统的影响较低，在各个系统不断变化情况下，节省的费用会越来越多。3SOA做下一步，将实施造成的冲击减少到最小。SOA效劳交互示意图如下：2、技术支持1J2EE框架。Java2平台企业版(Java2PlatformEnterpriseEditionJ2EE)Java2平台来简化且标准应用系统的开发与部署，进J2EE使用的信息产品彼此之间无法兼容，企业内部或外部难以互通的窘境。基主要的技术标准有JDBC、EJB、JSP、JavaServlet、XML等。JDBC为访问不同数据库提供了统一的路径，使对数据库的访问具有平台无关性。EJB化了具有可伸缩性和高度复杂的企业级应用程序的开发。JSPHTMLJava代码组成，简化了页面的输出，保存了脚本语言易于使用的优点。ServletJavaWeb效劳器的功能。XML的标准格式。2SSM整合框架。SSMSpringMVC>SpringMybatisSpringMVCSpringFarmeWorkMVC模块，别离了控制器、模型对象、过滤器以Spring个轻量级开源框架，它的主要特点是方便解耦、简化开发、面向切面〔A0P〕的编程支持和声明式事务支持，其主要优点有低侵入式设计、独0RMJDBC代码和参数的手工设置XML或注解用于配置和原始映射，将接JavaPOJOs映射成数据库中的记录。其框架架构图如下：一 发送请求----------------ath/myRequest

A RequestMoppingHandlerMappingH«ndkfEx«cwtionChain(H^MyControlM用户" -

View

SSH

SpringMVCM7、

Mo<lel3 And、札i^MyControllerViewInternaLResourceVie^ResoLverStruts

Ecto觀觀MybatisSQL甚是方便。3、平台性能1、先进性、开放性。B/SJavaS0A开放式的体系框架，资的有效性和延续性。2、 可扩展性。由于采用了平台化构建思想，整个系统可做到与底层多种硬件环境、操作系统、数据库的自由适配，保证系统在软件、硬件环境方面的灵活配置以及未来的拓展应用。采用基于S0A