智云大数据云计算信息化实验室解决方案PPT

智云大数据云信息化实验室解决方案,1,1,个人简介,1,2,移动互联/物联网时代的云浪潮,移动互联/物联网时代的云浪潮,目录,1,3,虚拟化技术及平台管理,大数据仓库、分析和挖掘,物联网海量信息分析处理,智云大数据云信息化教学平台,云计算,啥是云计算？据说是IT的一种高大上的东西。云计算遥不可及？No，它已经悄然进入到我们生活中的方方面面。,1,4,身边的云计算,1,5,云盘,云输入法,云购物,云搜索,云服务器,云办公,2014：移动互联网/物联网云,2014物联网大会：大数据物联网时代，大数据时代是物联网的延伸;云计算被称为是继大型计算机、个人计算机、互联网之后的第四次IT产业革命,是新一代互联网、物联网和移动互联网的引擎和神经中枢；2014年，物联网与移动互联网的研究已经从应用层转移到了中间件云计算大数据层面。,1,6,云计算运维模型,1,7,云计算核心技术,1,8,虚拟化技术,云平台管理,服务器集群,分布式架构,分布式大数据,编程模式,服务集群/虚拟化/平台部署管理,分布式大数据/数据仓库/数据分析挖掘,云计算学习内容,1,9,云计算认知,云平台部署,大数据计算,云计算基本理论主流云计算应用虚拟化技术认知分布式计算认知集群服务器认知,虚拟化技术KVM/Xen/VMware部署与使用CloudStack云计算平台部署与使用，构建服务器集群,大数据Hadoop系统HDFS/MapReduce编程HBase/Hive数据库开发Mahout数据挖掘物联网大数据中间件,虚拟化技术及平台管理,虚拟化技术及平台管理,移动互联/物联网时代的云浪潮,目录,1,10,大数据仓库、分析和挖掘,物联网海量信息分析处理,智云大数据云信息化教学平台,云虚拟化技术,虚拟化（平台虚拟化技术）：通过使用控制程序（Hypervisor），隐藏特定计算平台的实际物理特性，为用户提供抽象的、统一的、模拟的计算环境（虚拟机）。虚拟化一般包含以下几个方面：虚拟的内容是资源（包括CPU、内存、存储、网络等）；被虚拟的物理资源有着统一的逻辑表示，而且这种逻辑表示提供给用户大部分相同或完全相同的物理资源的功能；经过一系列的虚拟化过程，使得资源不受物理限制约束，由此可以带给我们与传统IT相比更多的优势资源整合、提高资源利用率、动态IT等。虚拟化即是对资源的逻辑抽象、隔离、再分配、管理的一个过程。,1,11,为什么要虚拟化,1,12,服务器整合技术：完成集群服务器的资源整合；克隆技术：对大量同等计算的节点进行方便快速的克隆；动态迁移技术；虚拟快照/灾难恢复；方便自动化管理与使用；增强安全性；提高效率降低成本。,虚拟化应用架构,1,13,传统架构,虚拟化架构,将一台服务器当做N台服务器来使用,硬件层,应用程序,操作系统,常用虚拟化产品,1,14,KVM虚拟化,虚拟化核心：KVMQEMU管理工具：libvirtvirt-manager,1,15,Xen虚拟化,虚拟机管理工具：XenCenter,1,16,VMware虚拟化,虚拟化解决方案：vSpherevSphere核心组件：VMwareESXi虚拟机管理工具：VMwarevCenterServerVMwarevSphereClientWebClient,1,17,云自动化管理服务IaaS,有了虚拟化基础设施，实际运营将通过自动化的技术解决方案来提供全方位的IaaS服务,1,18,IaaS,Infrastructure,asaService,CloudStack,CloudStack是一个云平台管理的项目，旨在为公共及私有云的建设与管理提供软件的开源项目，往往作为作为基础设施即服务（简称IaaS）资源的通用前端。CloudStack形成的基础设施云和数据中心运营商可以快速，轻松地建立在其现有的基础设施提供云服务的需求，弹性云计算服务。CloudStack用户可以充分利用云计算提供更高的效率，无限的规模和更快地部署新服务和系统的最终用户。,1,19,CloudStack主要功能,通过CloudStack可以实现：通过配置、整合一系列软、硬件设备为客户构建计算、存储资源池以及相应服务平台，使用户可以按需、弹性获取计算及存储资源。通过云平台管理系统对整个云计算平台进行集中管理，实现对云平台的软、硬件资源进行统一分配和管理。构建虚拟服务器，部署各种业务系统，通过云平台能对应用系统计算资源的动态调配。虚拟机快照管理，批量复制虚拟节点，系统备份及灾难恢复。远程对虚拟机进行操作。,1,20,CloudStack产品组件框架,1,21,CloudStack产品部署,1,22,课程设计及实验目录,1,23,CloudStack管理面板,1,24,移动互联/物联网时代的云浪潮,目录,1,25,虚拟化技术及平台管理,大数据仓库、分析和挖掘,物联网海量信息分析处理,智云大数据云信息化教学平台,大数据仓库、分析和挖掘,云计算与大数据,云计算的模式是业务模式，本质是数据处理技术。数据是资产，云为数据资产提供存储、访问和计算。当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。,1,26,商业模式驱动,应用需求驱动,云计算本身也是大数据的一种业务模式,大数据的定义,IDC定义：为了更为经济的从高频率获取的、大容量的、不同结构和类型的数据中获取价值，而设计的新一代架构和技术。,1,27,“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。,大数据分析的核心技术,1,28,分析技术：数据处理：自然语言处理技术统计和分析：A/Btest/topN排行榜/地域占比/文本情感分析数据挖掘：关联规则分析/分类/聚类模型预测：预测模型/机器学习/建模仿真,存储结构化数据：海量数据查询、统计、更新等操作效率低非结构化数据：图片、视频、word、pdf、ppt等文件存储不利于检索、查询和存储半结构化数据转换为结构化存储按照非结构化存储,解决方案：Hadoop（MapReduce技术）,数据采集,数据储存,数据管理,数据分析与挖掘,大数据技术：数据采集：ETL工具数据存取：关系数据库/NoSQL/SQL等基础架构支持：云存储/分布式文件系统计算结果展现：云计算/标签云/关系图等,ApacheHadoop,Hadoop是一个分布式系统基础架构，由Apache基金会开发。ApacheHadoop是基于java语言实现的软件框架，在由大量计算机组成的集群中运行海量数据的分布式计算，它可以让应用程序支持上千个节点和PB级别的数据。Hadoop是项目的总称，主要是由分布式存储（HDFS）、分布式计算（MapReduce）等组成。,1,29,Hadoop体系架构,1,30,Pig是一个大规模数据分析平台，Pig为复杂海量数据并行计算提供简易的操作和编程接口Sqoop是一个Hadoop（Hive/HDFS/HBase）和关系型数据库的数据相互迁移的工具Hive工具提供完整的sql查询功能，可以将sql语句转换MapReduce任务进行运行ZooKeeper：一个分布式的、高可用性的协调服务HBase是一个开源的，基于列存储模型的分布式数据库HDFS是一个分布式文件系统。有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算,HDFS-分布式文件系统,HDFS是一个高度容错性的分布式文件系统，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。,1,31,NameNode可以看作是分布式文件系统中的管理者，存储文件系统的meta-data，主要负责管理文件系统的命名空间，集群配置信息，存储块的复制。DataNode文件存储的基本单元。它存储文件块在本地文件系统中，保存了文件块的meta-data，同时周期性的发送所有存在的文件块的报告给NameNode。Client获取分布式文件系统文件的应用程序。,MapReduce-映射、化简编程模型,MapReduce是一种编程模型，用于大规模数据集的并行运算。Map（映射）和Reduce（化简），采用分而治之思想，先把任务分发到集群多个节点上，并行计算，然后再把计算结果合并，从而得到最终计算结果。多节点计算，所涉及的任务调度、负载均衡、容错处理等，都由MapReduce框架完成，不需要编程人员关心这些内容。,1,32,Map负责将job分解成多个任务；Reduce负责把分解后多任务的处理结果合并起来。Hadoop将HDFS输入数据分成固定大小的块，我们称之为InputSplit。Split中的数据作为Map的输入，每个split对于一个map线程，多个Map线程组成一个MapTask；Split分片数据由多个MapTask处理之后，经过排序、合并输出处理结果；Reduce将MapTask的输出结果作为其输入，通过多个ReduceTask并行处理，合并MapTask的输出结果作为整个Job的输出。,MapReduce编程IDE插件,1,33,HBase-分布式数据存储,HBaseHadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统；HBase位于结构化存储层，HDFS为HBase提供高可靠性的底层存储支持，MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和故障恢复机制；Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的简单。,1,34,Hive-数据仓库工具,Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析,1,35,可扩展Hive可以自由的扩展集群的规模，一般情况下不需要重启服务延展性Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数容错良好的容错性，节点出现问题SQL仍可完成执行,Pig-数据流分析工具,Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫PigLatin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简易的操作和编程接口。,1,36,支持嵌套Pig提供了更加丰富的数据结构，支持值和嵌套的数据结构。可扩展Pig被设计为可以扩展的，处理路径上的每一个部分，都是可以使用用户定义函数（UDF）进行修改。可重用用户自定义函数UDF比MapReducer程序开发的库更易于重用。,Mahout-数据挖掘机器学习类库,Mahout是一套具有可扩充能力的机器学习类库。它提供机器学习框架的同时，还实现了一些可扩展的机器学习领域经典算法的实现，可以帮助开发人员更加方便快捷地创建智能应用程序。通过和ApacheHadoop分布式框架相结合，Mahout可以有效地使用分布式系统来实现高性能计算。,1,37,Mahout现在提供4种使用场景的算法。推荐引擎算法：通过分析用户的使用行为的历史记录来推算用户最可能喜欢的商品、服务、套餐的相关物品。聚类算法：通过分析将一系列相关的物品等划分为相关性相近的群组。分类算法：通过分析一组已经分类的物品，将其他未分类的其他物品按同样规则归入相应的分类。相关物品分析算法：识别出一系列经常一起出现的物品组(经常一起查询、放入购物车等)。,课程设计及实验目录,1,38,Hadoop大数据部分实验截图,1,39,移动互联/物联网时代的云浪潮,目录,1,40,虚拟化技术及平台管理,大数据仓库、分析和挖掘,物联网海量信息分析处理,智云大数据云信息化教学平台,物联网海量信息分析处理,物联网技术,物联网-theInternetOfThings，简称IOT，顾名思义是把所有物品通过互联网连接起来，实现任何物体、任何人、任何时间、任何地点（4A）的智能化识别、信息交换与管理。,1,41,物联网应用其实可以归纳为三大领域：最底层为设备域，以标示为特征，通过智能终端、传感网获取信息，这被称之为更透彻的感知层；中间为网络域-通信网络，以互联为特征，基于互联网或移动互联获取更全面的信息；最顶层为应用层，以智能分析决策为特征进行信息处理，包括云计算和大数据分析，这是更智能的决策。,物联网与大数据,1,42,物联网对应了互联网的感觉和运动神经系统；云计算是互联网的核心硬件层和核心软件层的集合，也是互联网中枢神经系统萌芽；大数据代表了互联网的信息层（数据海洋），是互联网智慧和意识产生的基础；包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。,物联网应用模型,1,43,物联网中间件,1,44,环境,工业,监控,感知/采集（嵌入式）,无线传感网络,网关服务,云服务,应用服务,物联网中间件,承载物联网应用的数据交换（无线传感网与互联网）的职能对物联网项目大数据进行存储、检索、管理、实时分析处理提供规范的应用编程接口,物联网数据仓库及分析,物联网数据中心：物联网数据中心不仅包括计算机系统和配套设备（如通信/存储设备），还包括冗余的数据通信连接/环境控制设备/监控设备及安全装置，是一大型的系统工程。通过高度的安全性和可靠性提供及时持续的数据服务，为物联网应用提供良好的支持。数据库：物联网数据特点是海量性，多态性，关联性及语义性，在物联网中多种数据库共存：关系数据库系统作为实时数据的处理，为物联网的数据及时处理提供支撑。新兴数据库系统（NoSQL数据库）针对非关系型、分布式的数据存储，对分布式离散历史数据进行处理，并且基于此构建大数据分析挖掘等技术。管理运维：当感知识别层生成的大量信息经过网络层传输汇聚到管理服务层，管理服务层解决数据如何存储（数据库与海量存储技术）、如何检索（搜索引擎）、如何使用（数据挖掘与机器学习）、如何不被滥用（数据安全与隐私保护）等问题。,1,45,物联网在精准农业上的应用，可以实时监测环境数据，挖掘影响产量的重要因素，获得产量最大化的大数据分析处理系统。,智云物联-ZCloud-DataCenter,智云物联网公共应用支撑服务平台，提供ZCloud海量数据源的接入服务，具备数据即时消息推送处理、数据仓库存储与数据挖掘等功能；基于Hadoop集群服务器进行管理，采用分布式数据库系统。管理系统架构为B/S架构，通过Web浏览器访问登录平台对数据中心进行管理和系统运营监控；软件系统包含三大主要模块：即时消息服务、数据仓库、监控视频服务；即时消息服务：能够接收网关的实时数据，采用非轮询的发布/订阅消息队列推送机制对数据进行消息收发，支持一对多的消息发布；数据库仓库：基于HBase/Hive构建的分布式数据仓库，可以将用户数据采用服务器集群进行管理，多处备份，数据丢失概率小于0.1%；监控视频服务：提供IP云台监控摄像头的接入，支持内外网地址解析服务，能够即时抓拍保存图片，支持视频的录制，支持云台的自定义转动；软件系统提供数据推送、数据存储、数据挖掘查询等管理功能，实时显示监测数据（动态实时更新），现场视频，显示实时/历史数据曲线；支持自动控制策略管理，包含触发器、定时器、执行器、短信/电话等各个模块的自动控制策略管理，可以配置根据指定的传感器/定时器触发指定的执行动作，能够监测策略的触发记录等信息；支持GPS地理位置上传，辅助对传感器设备的位置定位，支持GIS地图显示；提供私有的数据库使用权限，对多客户端间共享的私有数据进行存储、查询使用；提供接入数据的跟踪分析，并支持数据在线调试，通过指令对硬件数据进行远程控制管理。,1,46,智云物联大数据源,1,47,智云大数据处理项目案例,1,48,基于污水厂的环境监测系统，能够实时对各种水质参数及环境参数进行采集，并且支持分布式大数据的数据存储，支持数据分析及挖掘，能够对超标参数进行及时示警，并且可以根据同期参数对未来趋势进行预判，达到智能处理的目的。,移动互联/物联网时代的云浪潮,目录,1,49,虚拟化技术及平台管理,大数据仓库、分析和挖掘,物联网海量信息分析处理,智云大数据云信息化教学平台,智云大数据云信息化教学平台,智云大数据云信息化教学平台,中智讯推出专业实用的大数据云信息化教学平台，帮助学生熟悉和掌握大数据及云计算领域的前沿技术，掌握云计算与大数据的开发方法，学习云计算虚拟化、云平台管理、服务器集群、数据分析、数据挖掘、数据建模、数据仓库、物联网大数据分析等知识。,1,50,入云之路-云教学设备的选择,1,51,设备联机，真实模拟大量数据节点集群场景,按需采购，预算可控，升级方便,单设备集群主机，非虚拟化的伪集群,设备间互不影响，灾难易恢复，方便维护,VS,智云旗舰产品：ZCloud-iCorex4a80,1,52,专业的云计算教学设备/最小云服务集群系统一人一机教学/可视化的云硬件系统嵌入式系统监控集群状态可恢复集群的一键还原系统可联机实现多主机构建区域大集群云计算服务,涵盖云集群部署、云平台管理、大数据、分布式仓库、分布式编程等全部学科主流云架构教学体系/丰富的应用案例CloudStack云自动化管理，支持xen/KWM/VMware等虚拟化技术Hadoop分布式大数据系统框架/数据分析挖掘技术,智云物联网海量实时传感数据源/7*24小时不间断采集智云分布式集群仓库系统和Hadoop数据分析系统ZXBee轻量级无线传感协议/多种不同类型无线设备接入智云B/S架构专家系统/Android智能应用,与高校联合共建智云大数据云信息化创新实验室智云物联开放平台共享/毕设、课设、大赛、实训项目辅助开发辅助课程体系的融合/专业师资队伍的培养/定期免费师资培训班、技术沙龙ApacheHadoop云计算大数据认证培训,ZCloud-iCorex4a80技术参数,系统主要技术指标：实验系统采用工业机柜结构设计，包含教学必需的管理、2*计算、主存储、二级存储、网络等单元，每个单元分区独立设计节点主机采用工业级服务器，支持7*24小时不间断稳定运行，铝合金外壳包装采用Cotex-A8嵌入式系统对集群主机进行状态监控，能够显示运行状态、资源消耗、电源能耗等信息，同时可以触摸管理各个主机系统包含19寸以上液晶显示器提供五口千兆路由交换机支持智云大数据源接入，集成ZCloud智云数据中心中间件，能够对智云物理数据进行数据分析、数据仓储、数据挖掘等,1,53,ZCloud-iCorex4a80技术参数,系统软件主要指标：CentOS-4.3操作系统，提供一键式安装实施部署，包含Linux常用组件，云虚拟化组件，ClouldStack组件提供KVM、Xen、Vmware等虚拟化软件及教学内容提供云虚拟化管理软件CloudStack-4.3，自动化安装部署实施，能够构建虚拟服务器，部署各种业务系统，通过配置、整合一系列软、硬件设备为客户构建计算、存储资源池以及相应服务平台，使用户可以按需、弹性获取计算及存储资源提供分布式大数据分析系统Hadoop/HDFS，HBase/Hive数据库系统的数据仓库，基于HDFS、MapReduce、HBase等应用程序的集成开发环境，大数据挖掘系统Mahout程序开发提供基于智云数据中间件系统，支持智云数据源的数据接入与存储，能够基于大数据Mahout数据挖掘系统开发快速查询最近1小时、最近1周、最近1月、最近1年及任意时间段数据,1,54,ZCloud-iCorex4a80技术参数,管理&二级存储主机硬件参数：CPU：赛扬G1840处理器(2.80GHz,2MB,含英特尔核芯显卡HDGraphicGT1)内存：8GB(2x4GB)Non-ECCDDR31600MHzSDRAMMemory硬盘：500GB7200RPM3.5512e/4kSATAHardDrive支持IntelVT虚拟化技术网卡：千兆网卡，Wi-Fi4xUSB2.0，1xVGA，1xPCI，1xUART自主工业级主板设计，防静电及抗电磁干扰嵌入式集群监控单元（支持电容触摸操作）智云zigbee网关（支持ZCloud智云数据接入）,1,55,ZCloud-iCorex4a80技术参数,计算主机硬件参数：CPU：酷睿i54460处理器(3.20GHz,6MB,含英特尔核芯显卡HDGraphic4600)内存：8GB(2x4GB)Non-ECCDDR31600MHzSDRAMMemory硬盘：500GB7200RPM3.5512e/4kSATAHardDrive支持IntelVT虚拟化技术网卡：千兆网卡主存储主机硬件参数CPU：赛扬G1840处理器(2