物联网大数据分析实验室建设方案章鱼大数据

1、物联网大数据分析实验室建设方案一、项目背景“十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建 设模式发生根本性转变 , 一场以云计算、大数据、物联网、移动应用 等技术为核心的“新 IT ”浪潮风起云涌，信息化应用进入一个“新 常态”。章鱼大数据为积极应对“互联网 +”和大数据时代的机遇和挑 战，适应经济社会发展与改革要求，开发建设物联网大数据平台。物联网大数据平台打造集数据采集、数据处理、监测管理、预测 预警、应急指挥、 可视化平台于一体的大数据平台，以信息化提升数 据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数 据说话、用数据管理、用数据决策、用数据创新” ，牢牢把握社会

2、经 济发展主动权和话语权。二、物联网行业现状数字传感器的大量应用及移动设备的大面积普及， 才会导致全球 数字信息总量的极速增长。 根据工信部的统计结果， 中国物联网产业 规模在 2011 年已经超过 2300 亿元，虽然和期望的“万亿规模产业” 还有一定距离，但已经不可小视。其中传感器设备市场规模超过 900 亿元，RFID产业规模190亿元，M2M终端数量也已超过2100万个。 另一个方面， 我国的物联网企业也呈现出聚集效应， 例如北京中关村 已有物联网相关企业 600余家，无锡国家示范区有 608 家，重庆、西 安等城市也有近 300 家。从区域发展来看，形成了环渤海、长三角、 珠三角等核

3、心区以及中西部地区的特色产业集群。在 2009 年以前，可能没有哪家企业说自己是物联网企业。一夜 之间产生的上千家物联网企业， 他们的核心能力、 产品或服务价值定 位、目标客户和盈利模式都是如何呢？首先来看这些物联网企业从哪 里来。现在的物联网企业主要分为三类， 第一类是以前的公用企业转 型，最典型的是电信运营商，他们有自己的基础设施，有客户资源， 因此自然转型到物联网行业。 除了电信运营商， 一些交通基础设施运 营商、甚至是气象设施运营商，也都转型为物联网企业。第二类是传 统 IT 企业，例如华为、神州数码，以及众多上市公司等。这一类公 司也是在传统的优势积累基础上开拓物联网新业务。 第三类

4、是一些制 造企业，包括传感设备制造企业，网络核心设备制造企业，还包括如 家电等一批传统制造企业。 这一类企业不能说没有大企业， 但是绝大 多数都是中小型企业。 这些企业的核心能力主要体现在三个方面， 第 一是传感器和智能仪表， 第二是嵌入式系统和智能装备， 第三是软件 与集成服务。再来看我国物联网应用的领域。 通过对多个部委和地区的物联网 专项进行汇总， 下图列出了目前提到最多， 也是应用最成熟的八个领 域。但是换个角度再看，不管是工业控制、供应链管理、精准农业， 还是建筑自动化、远程抄表、ETC其实都并不是新的技术领域，而 是在物联网这个大概念下重新包装后再次引起了人们的兴趣。 总的来说，物

5、联网应用传感器改善了信息获取的实时性和准确性，同时智能终端改变了人们利用和使用信息的习惯。目前存在的主要问题包括应用过于碎片化，缺少满足用户需求的创新型产品/服务，行业间缺乏信息共享和应用协同渠道，以及安全和隐私保护重视不够昏工业-工业控制.供应链管M 节霸咸排噺农业-精准农业.畜类追溯. 农产品物流瞬公共安全二代身份证、危化品监 管、安防监控心商贸仓储、运输母建筑灾害预防、建筑自动化 斗电力远程抄表、输变电监测 尋交通ETC ( RFID ).交通流 量监测(视频.地感线 圈).车辆调度(GPS )医疗卫生个人健康监护、社区医 疗、远程医疗三、建设目标章鱼大数据物联网大数据平台是顺应目前信息

6、化技术水平发展、 服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分 析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体 系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的 信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促 进经济持续健康发展。1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化 数据库，为平台打下坚实稳固的数据基础。2、梳理各相关系统数据资源的关联性，编制数据资源目录，建 立信息资源交换管理标准体系， 在业务可行性的基础上， 实现数据信 息共享，推进信息公开，建立跨部门跨

7、领域经济形势分析制度。3、在大数据分析监测基础上，为政府把握经济发展趋势、预见 经济发展潜在问题、辅助经济决策提供基础支撑。四、建设原则物联网大数据平台以物联网数据资源为重点， 以大数据应用为核 心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、 注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平， 促进全省经济持续健康发展。1、统筹规划、分步实施。 结合我省经济发展与改革领域实 际需求，明确总体目标和阶段性任务，科学规划建设项目。先期完成 大数据平台的整体架构建设， 后期分步完成业务系统的整合及相互间 数据共享问题。2、整合资源、协同共享。 对信息资源统一梳理，建立经济

8、发展与改革信息标准资源库和数据规范，逐步消灭“信息孤岛” ，加 快推进数据资源整合，建设共享共用的大数据中心，实现业务协同。3、突出重点、注重实效。 以用户为中心，以需求为导向， 以服务为目的，突出重点，注重实效，加强平台可用性和易用性。4、深化应用、创新驱动。 深入了解用户需求，密切跟踪信 息技术发展趋势，不断深化应用、拓展新技术在应用中的广度和深度， 促进跨界融合，丰富管理和服务手段。五、建设方案为了保证项目的顺利进行和建设目标的可行性， 章鱼大数据采取 如下几种建设方案。1、数据采集方案。我们统一信息资源标准规范， 建立多维度数据库， 拓宽数据 来源，通过不同的方式汇聚数据，增强分析力度

9、，提高监测预警 的准确性和时效性。1、预留接口，支持其它系统各种数据的上传导入处理。将 现存有关经济运行业务系统中的历史数据和时效数据， 通过上传 数据文件至服务器、 分析提取有效数据导入服务器数据库等方式 采集起来，在本平台上复用。2、支持外接数据的上传导入处理。可以将企业单位或定点 监测机构的数据通过同样的方式采集起来，在本平台上复用。3、支持非结构化数据，即搜索引擎数据、社交媒体数据、 地理空间数据和音视频数据等等。2、数据分析方案。物联网大数据之大并不是难点所在， 其真正难以对付的挑战 来自于数据类型多样、 要求及时响应和数据的不确定性， 而我们 所面临的也正是如此。我们采用批量数据处

10、理系统， 借助于深度学习、 知识计算和 可视化等大数据分析技术， 通过对数据的批量处理挖掘其中的价 值来支持决策和发现新的洞察。3、业务整合方案。在对社会发展相关业务子系统充分调研基础上， 结合项目需 求，可对其进行整合或嵌入处理 （本方案整合公共信用信息服务 平台、投资项目信息管理平台等） 。1、整合处理。将原有数据通过上传或导入方式进行采集， 原有功能模块整合到本平台中， 合二为一， 完美的将数据汇聚起 来。缺点是耗时较长。2、嵌入处理。以单点登录的方式将原有系统链接嵌入到本 平台中，作为子系统单独存在。缺点在于数据共享难以实现。六、建设内容1、宏观经济监测预测及可视化平台政府信息化的最终

11、目标是提高政府的决策水平，其中经济决策是核心内容。为了提高宏观调控决策水平，我们必须从依靠传统统计数据向依靠物联网非统计数据转变，从监测预测宏观经济 总量向监测预测宏观经济先行指标转变，从中长期监测预测向实 时监测预测转变。WftU.fr 軌眩隸广眾统fr.Piru产银捕报丧世制篥址ft据阵层业务*t理请汞 （愛询*预测）啟幅岸讶;可馆黑虻倉沽養做蜒宏观经济监测预测及可视化平台围绕网络搜索、社交媒体、 电子商务、终端定位和业务交易等五个方面全面整合互联网相关 数据资源，建设以“容量大、形式多、分类细、响应快”为目标 的宏观经济监测预测数据库，构建基于互联网数据的宏观经济非 统计指标监测预测应用

12、平台。围绕重点产业活跃度、区域经济关联度、宏观经济走向社会 预期、社会消费热点、大宗商品供求及价格走势、全国就业形势、 外贸订单变化趋势等方面，构建物联网大数据宏观经济先行指标 和现时预测指标库，研究能客观、准确反映我省宏观经济运行状 况的指标体系，编制“山东指数”。在健全完善监测预警数据库的基础上，充分运用大数据技术 和理念，加强数据挖掘力度，强化定量分析，建立宏观经济分析 系列模型，切实提高预测分析的前瞻性、准确性和可靠性。积极拓宽信息发布渠道，建立可视化平台，如采用 Unity3D 引擎，三维界面高度仿真，所见即所得。平台针对多源易构的海 量数据，通过数据处理、存储管理、可视化交互分析等

13、技术，实 现图形化数据查询、可视化关联分析、证据链和情报线索发掘等 功能。利用预测信号灯系统，形象地刻画出宏观经济总体运行状 况，分析经济波动原因，及时了解各地区经济发展的不平衡性， 准确判断和测定经济景气循环运行状态， 提高宏观经济决策水平。2、建立食品安全风险监测大数据分析平台食品安全风险监测大数据平台的基础是感知、收集、分析和 共享覆盖食品生产全过程的相关数据。国家应制定相关法规，强 制推行在农、林、牧、副、渔及食品生产企业和相关主体建立覆 盖食品生产全过程的食品安全风险监测网点，进行动态数据的标 示与感知，设立食品安全风险监测省级及地方大数据分平台，负 责动态收集、分析本省及地方的食品

14、安全监测数据，对本省及地 方的食品安全状况做出评估，对监测发现的可能存在的食品安全 隐患及时发布预警，并将数据及时汇总到食品安全风险监测管理 部门。3 、物联网数据共享交换平台物联网数据共享交换平台是各个平台中的基础性和综合性平 台，是解决“信息孤岛”、实现数据互连互通的基础设施，有利于 提高各类信息资源整合共享，以及信息资源的综合利用。塑担共9政策法规和标准旦录导航目号注册全立榕索遼臆症位贸共享安全ea建设物联网数据共享交换平台的首要目标就是要创造一个信 息交换、信息共享的方式和环境，按照统一标准和规范，建立信 息资源整合机制，规范数据采集口径、采集方式，规范数据的服 务方式，建立统一的资源

15、信息整合与交换机制。我们按照统一、集约、高效的数据开发利用理念，通过研究 建立多级交换管理体系，形成政务信息资源物理分散、逻辑集中 的信息共享模式，通过以应用为抓手，进一步打通数据流，满足 政府部门多方位、多层次的数据需求，为跨地域、跨部门、跨平 台不同应用系统、不同数据库之间的互连互通提供包含提取、转 换、传输和加密等操作的数据交换服务。通过分布式部署和集中 式管理架构，有效解决各节点间数据的及时、高效上传下达，在 安全、快捷、方便的进行信息交换的同时精准的保证数据的一致性和准确性。章鱼大数据物联网数据共享交换平台的全局目标是建立一个 可扩展、可集成、有统一数据模型、可交换和安全可靠的分布式

16、 系统，对各类物联网资源进行组织和管理。解决物联网信息资源 的发现与定位问题，解决物联网信息资源规划与整理问题。支持 物联网信息集成整合应用、各业务部门办公应用和政府职能决策 应用。面向政务协作、宏观决策、市场监管和社会管理服务。七、技术支持与平台性能1、系统架构建立基于分布式的物联网大数据集群管理系统， 提供物联网大 数据集群管理系统， 功能包含 Hadoop、Hive 、HBase、Sqoop、Flume、 Spark等节点部属及管理，提供实时监控集群的 CPU内存、硬盘 等使用率及相关信息，可以对管理节点、计算节点进行启动、停 止等操作管理。系统架构图如下：数揭分析层立件与储层2、Had

17、oop集群生态系统技术架构GJSMapReduceAmazcir. SAHz卩请TFSDrfTTKlDrillFauDFSImpalaC liubb/.rHikwpprPrrf*i11AMASparkCnffincKfka3、Hadoop核心主要功能设计肚话卩:ftS的并烤 Reduce :结锻的(MapReduceHDFSMnmoNodo :莒 理文件元戡据 DataNcd :存镯 物理文件cnent:蔬取文件的 8WAPI4、HDFS绍-文件读流程客卢端节点5 *寂pFSData hpusueanIClient向NameNod发起文件读取的请求。NameNod返回文件存储的 DataNod

18、e的信息。Client读取文件信息。5、HDFS绍-文件写流程Client向NameNod发起文件写入的请求。NameNode根据文件大小和文件块配置情况，返回给Clie nt它所管理部分DataNode的信息。Client将文件划分为多个Block，根据DataNode的地址信息， 按顺序写入到每一个DataNode块中。6、MapReduce映射、化简编程模型输入数据-Map分解任务- 执行并返回结果-Reduce汇总结 果- 输出结果Input Uppersfiddle Result ReducersOutput7、HBas 分布式数据存储系统厂* ZoonperHMdit曹11SlfF

19、Cftc1 .回J Sih匸11 fl i llT i 门 lTI DF5 tliwiQ3E3ElLDauNcdeOdhNodroilDdtdHode.JDu Id Node3IGientClient :使用 HBase RPC机制与 HMaster 和 HRegionServer进行通信Zookeeper :协同服务管理，HMaster通过Zookeepe可以随 时感知各个HRegionServer的健康状况HMaster:?管理用户对表的增删改查操作HRegionServer: HBase中最核心的模块，主要负责响应用户I/O请求，向HDFS件系统中读写数据HRegion:Hbase中分布

20、式存储的最小单元，可以理解成一个TableHStore: HBase存储的核心。由 MemStore和 StoreFile 组成。HLog：每次用户操作写入Memstore的同时，也会写一份数据到HLog文件2、平台性能及优势1、先进性、开放性。基于 Hadoop/Spark 主流大数据结构的应用技术和开放式的 体系框架，结构化设计，灵活可拆分，具有灵活的可扩充接口， 易于修改调整、二次开发和扩充，最大限度降低因上游技术升级 带来的系统实施风险，保证投资的有效性和延续性。2、可扩展性。由于采用了平台化构建思想，章鱼大数据整个系统可做到与 底层多种硬件环境、操作系统、数据接口的自由适配，保证系统 在软件、硬件环境方面的灵活配置以及未来的拓展应用。采用基于开放的模块化设计，可根据需要进行灵活动态的模 块扩充，并保证原系统环境不受影响。系统提供开放的标准接口，可实现与外围业务系统的无缝集 成应用，灵活扩展系统的业务应用范围。3、稳定性、可靠性。系统采用集群结构应用模式， 集中安装部署， 客户端零安装，