管理信息系统滕佳东五版PPT课件

1 第4章云计算与大数据 第4章云计算与大数据 2 本章所讲的主要内容如下 4 1云计算概述4 2大数据概述4 3云计算与大数据的相关技术4 4数据管理4 5云计算和大数据在信息系统中的应用 第4章云计算与大数据 3 4 1云计算概述 4 1 1云计算简介4 1 2云计算的特点4 1 3云计算的发展 本节所讲的内容如下 第4章云计算与大数据 4 4 1 1云计算简介 美国国家标准与技术研究院 NIST 关于云计算的定义 云计算是一种按使用量付费的模式 这种模式提供可用的 便捷的 按需的网络访问 进入可配置的计算资源共享池 资源包括网络 服务器 存储 应用软件 服务 这些资源能够被快速提供 只需投入很少的管理工作或与服务供应商进行很少的交互 第4章云计算与大数据 5 4 1 1云计算简介 云计算中三个公认的服务层次 IaaS PaaS和SaaS 图4 1云计算的服务层次 IaaS的意思是基础设施即服务PaaS的意思是平台即服务SaaS的意思是软件即服务 第4章云计算与大数据 6 4 1 1云计算简介 从用户角度来看 IaaS 用户可以从云计算服务供应商处获得多核的CPU资源 指定大小的内存 给定的网络宽带以及所需存储空间 然而用户需要自行安装和开发应用程序和系统 典型代表为Amazon的EC2 PaaS 用户可以从云计算服务供应商处获得包含基本数据库和中间件程序的一套完整系统 然而用户需要根据接口编写所需的应用程序 如Google的AppEngine Microsoft的Azure和Amazon的SimpleDB 第4章云计算与大数据 7 4 1 1云计算简介 SaaS 用户可以从云计算服务供应商处获得完整的应用程序 只需根据地址进行访问 通过设定好的账号和密码进行使用 或对多个不同的服务进行整合 典型的SaaS服务有SalesForce YahooHadoop和CiscoWebex Collaboration等 第4章云计算与大数据 8 4 1 2云计算的特点 云计算核心特点是计算的虚拟化 多虚一 通过将大量低性能的服务器或运算单元虚拟成为一台具有极强运算能力的超级计算机来完成复杂的计算任务 一虚多 在一台服务器上定义多台虚拟机 将计算任务分配给多台虚拟机共同完成 从而最大限度地发挥服务器的运算能力根据多虚一和一虚多两种不同的技术发展方向 云计算可被分为集中云与分散云 第4章云计算与大数据 9 4 1 2云计算的特点 集中云 集中云的技术基础是计算的多虚一 其最早期的应用实例是Google应用于搜索引擎的云计算实现 多虚一技术可分为主备模式 Active Standby 和负载均衡模式 LoadBalance 两大类 集中云主要应用于大型互联网服务提供商和大型研究机构所构建的云服务和数据中心 第4章云计算与大数据 10 4 1 2云计算的特点 分散云 分散云的技术基础是一虚多 这已成为当前云服务的关键底层技术 一虚多的最主要目的是为了提高服务器的运算效率 通过在同一台服务器上安装多台虚拟机实现对CPU运算能力最大限度的使用 并充分利用所有的内存和带宽资源 一虚多在技术方面的实现方案大致可分为三类 1 操作系统虚拟化OS Level 2 主机虚拟化Hosted 3 裸金属虚拟化Bare Metal 第4章云计算与大数据 11 4 1 3云计算的发展 第4章云计算与大数据 12 4 2大数据概述 4 2 1大数据简介4 2 2大数据处理系统4 2 3大数据处理的层次 本节所讲的内容如下 第4章云计算与大数据 13 4 2 1大数据简介 大数据 也称巨量资料 指的是需要新处理模式才能具有更强的决策力 洞察力和流程优化能力的海量 高增长率和多样化的信息资产 在维克托 迈尔 舍恩伯格及肯尼斯 库克耶编写的 大数据时代 一书中 大数据被解释为摒弃了抽样调查而采用所有数据进行分析处理的方法 BigData 第4章云计算与大数据 14 4 2 1大数据简介 大数据的定义 核心特征是以V开头的三个关键词 Volume Variety和Velocity Volume也就是数据量 目前指几十TB 几PB的数量级 Variety指的是大数据的多样性 结构化数据 非结构化数据 Velocity表示数据产生和更新的频率很快 每秒几十条以上 第4章云计算与大数据 15 4 2 2大数据处理系统 从服务的对象角度对大数据处理系统进行分类 可以将其分为个体服务和整体服务两种类型 从提供服务的时间点的角度对大数据处理系统进行分类 可以分为实时和批处理两种类型 表4 1大数据处理系统的分类 第4章云计算与大数据 16 4 2 2大数据处理系统 1 个体服务 批处理型 在电商网站中基于用户的历史浏览和购买记录所进行的一对一营销 保险公司通过对能够反映客户驾驶习惯的数据 如驾驶频率 速度 急刹次数等 进行收集和分析 以确定对保费所给予的折扣等 2 个体服务 实时型 当顾客位于某门店附近或停留在某购物网站的时候自动为其实时地推送相关信息等 3 整体服务 批处理型 通过对社交网络中的文本信息进行分析来预测市场趋势并确定对冲基金的操作策略 利用搜索引擎中的大量搜索信息来预测感冒流行趋势等 4 整体服务 实时型运用 大量智能手机用户中GPS采集的位置信息来实时监测交通阻塞的状况并反映到地图软件中等 大数据处理系统应用举例 第4章云计算与大数据 17 4 2 3大数据处理的层次 运用大数据来解决现实问题 通常会遵循 对过去的分析 对现状的监控 对将来的预测 对行动的优化 这样的过程循序渐进地进行 图4 2大数据处理的层次 第4章云计算与大数据 18 4 3云计算与大数据的相关技术 4 3 1云计算与大数据4 3 2云计算与物联网4 3 3智能决策系统4 3 4数据挖掘与机器学习4 3 5Haoop 分布式大数据系统 本节所讲的内容如下 第4章云计算与大数据 19 4 3 1云计算与大数据 大数据处理力求在合理的时间内达到从庞杂的数据中撷取 管理 处理及整理出可以帮助企业经营用户进行决策的有用资讯 为实现这一目标 实践中通常会采用包括大规模并行处理数据库 数据挖掘 分布式文件系统 分布式数据库 云计算平台 互联网和可扩展的存储系统等技术和方法 第4章云计算与大数据 20 4 3 2云计算与物联网 物联网 InternetofThings IoT 的概念自提出之初就常常同大数据的采集和处理联系在一起 它被定义为 通过射频识别 RFID 红外感应器 全球定位系统 激光扫描器等信息传感设备 按约定的协议 把任何物品与互联网相连接 进行信息交换和通信 以实现智能化感知 识别 定位 跟踪 监控和管理的一种网络概念 第4章云计算与大数据 21 4 3 2云计算与物联网 云计算是实现物联网的核心技术之一 也是推动物联网服务创新的重要基础 在物联网的建设中 有三大重要的基础 1 传感器等电子元器件 2 传输的通道 即网络 3 高效的 动态的 可以大规模扩展的数据处理能力 物联网所采集到的实时动态信息完全具有大数据的大体量 多样性 高速度的特性 而这里所提到的第三个基础正是在云计算技术的帮助下得以实现的 第4章云计算与大数据 22 4 3 2云计算与物联网 云计算与互联网结合方式大致分为以下几种 单中心 多终端此模式由单一的云计算中心和若干物联网终端 传感器 摄像头等 组成 这类应用主要运用云计算中心所提供的海量存储和统一界面 分级管理等功能 为日常生活提供较好的帮助 如家庭电子设备的监测 对高速路段的监控 幼儿园小朋友监管等 多中心 大量终端此模式适用于区域跨度较大的企业和单位 譬如 一个跨多地区或者多国家的企业 因其分公司或分厂较多 要对其各公司或工厂的生产流程进行监控 对相关的产品进行质量跟踪等 这一模式的前提是云计算中心须包含公共云和私有云 并且它们之间的互联没有障碍 信息 应用分类处理 海量终端在这一模式下 具体根据应用模式和场景 对各种信息 数据进行分类处理 然后选择相关的途径给相应的终端 对需要大量数据传送但安全性要求不高的数据等 可以采取本地云计算中心处理或存储 对于计算要求高 数据量不大的 可以放在专门负责高端运算的云计算中心里 而对于数据安全要求非常高的信息和数据 我们可以放在具有灾备中心功能的云中 第4章云计算与大数据 23 4 3 3智能决策系统 影响非结构化问题的因素往往既存在于企业现有的结构化数据库中 也存在于社会中和互联网上 这些因素与决策问题本身并不构成明显的因果关系但却又无法忽视它们的影响 在这种情况下 尽可能多地将相关因素的数据收集起来 并对其潜在的模式和知识进行挖掘进而指导决策 就成为了一种自然而然的想法 实现这种决策的系统就是基于智能数据分析方法的智能决策系统 智能决策系统 第4章云计算与大数据 24 4 3 3智能决策系统 智能决策系统中的专家系统 ExpertSystem 常被用来替代专业技术人员以辅助管理者进行决策 这类系统也被称为基于知识的系统 Knowledge BasedSystem 专家系统是一种基于数据分析和智能算法的决策系统 它非常适用于诊断性问题和指令性问题 它可以被用来对问题的状态进行判断 或对备选方案进行选择 主要应用领域 会计 用于审计 管理咨询和培训 医药 病症的初步诊断 辅助开具药物处方 财务管理 辨别高风险账户 生产 机械故障诊断 指导各类产品的加工制造 专家系统 第4章云计算与大数据 25 4 3 3智能决策系统 优点 处理大量的数据 减少决策失误 汇集来自各种渠道的信息 改善用户体验 提高决策的一致性 减少人力投入 降低成本 第4章云计算与大数据 26 4 3 4数据挖掘与机器学习 数据挖掘是对大量存储的数据进行分析 并从中找出隐藏在项目之间的相互关系和模式等信息的手段 也就是说 数据挖掘是通过聚类分析 神经网络 模糊逻辑 回归分析 决策树 关联分析 自然语言处理等手段 由计算机从大量的历史数据中找到知识的过程 数据挖掘 第4章云计算与大数据 27 4 3 4数据挖掘与机器学习 相关技术简要介绍 聚类分析 聚类 Clustering 是指将数据集中相似的样本点聚集到一起 将整个数据分成几个组 每个组内的样本被认为具有类似的性质 例如 在推荐系统中 可以运用聚类分析的方法将兴趣爱好类似的用户分在同一个用户组内 然后以组为单位来推荐商品 回归分析 RegressionAnalysis 是指当某个变量的变化受若干其他变量的影响时 用于求得表现它们之间关系的公式的一种统计学分析方法 第4章云计算与大数据 28 4 3 4数据挖掘与机器学习 相关技术简要介绍 神经网络 NeuralNetwork 是指在计算机上实现与人脑神经系统类似的计算方式 通过模仿神经元之间的信息传递和相互刺激的模式来实现对非线性问题的学习 神经网络可以用于解决分类 回归 预测等数据挖掘中的典型问题 它具有下述特点 独立学习并能够适应环境参数的变化 适于大规模并行处理 可以在具有不完整或不良结构信息的情况下进行工作 能够处理变量之间具有依赖性的大量信息 可以分析信息中的非线性关系 第4章云计算与大数据 29 4 3 4数据挖掘与机器学习 相关技术简要介绍 决策树 DecisionTree 是一种用于预测和分类的分析方法 将决策过程中的条件用树状结构表示出来 对于其中的某一个条件 分别给出其为Yes和No两种情况下的处理方式 关联分析 AssociationAnalysis 又叫购物篮分析 MarketBasketAnalysis 是一种在多个商品中找到可能会同时购买的商品组合 如购买商品A的人很有可能同时购买商品B 的分析方法 第4章云计算与大数据 30 4 3 4数据挖掘与机器学习 相关技术简要介绍 遗传算法 GeneticAlgorithm 是一种人工智能系统 它通过模仿进化过程中适者生存的规律从而产生一个问题的逐步改进的解决方案 换句话说 遗传算法是一种优化系统 它能发现产出最优输出的输入组合 遗传算法中引入了三种来自于进化论的概念 选择 交叉 变异 自然语言处理 NaturalLanguageProcessing 是指将英语 汉语等人类日常交流中所使用的语言 通过计算机程序进行分析和利用的各种理论和方法 第4章云计算与大数据 31 4 3 5Hadoop 分布式大数据系统 Hadoop 云计算中产生了多虚一的解决方案 在这种方案中 将多个低端计算设备组织在一起可以形成一个功能专一的分布式系统 Hadoop是最知名也最被大家广泛接受的一个分布式系统框架 Hadoop开始时是Nutch的一个子项目 而Nutch又是ApacheLucene的一个子项目 在Hadoop中 一个数据集会被划分为比较小的块 并通过Hadoop分布式文件系统 HDFS 分布存储于计算机集群内的多台机器上 第4章云计算与大数据 32 4 3 5Hadoop 分布式大数据系统 主要特征 便捷性 Hadoop运行在由一般商用机器构成的大型集群上 或者如亚马逊弹性计算云 EC2 等云计算服务上 可靠性 Hadoop致力于在一般商用硬件上运行 其架构假设硬件会频繁地出现失效 它可以从容地处理大多数此类故障 可扩展性 Hadoop通过增加集群节点 可以线性地扩展以处理更大的数据集 易用性 Hadoop允许用户快速编写出高效的并行代码 第4章云计算与大数据 33 4 4数据管理 4 4 1NoSQL数据库与关系型数据库4 4 2Haoop与关系型数据库4 4 3实时数据处理 本节所讲的内容如下 第4章云计算与大数据 34 4 4 1NoSQL数据库与关系型数据库 表4 2RDBMS 关系型数据库 与NoSQL数据库的比较 NoSQL数据库对使用SQL的关系型数据库关系型数据库所不擅长的部分进行了有益的补充 因此应该将其理解为 NotonlySQL 第4章云计算与大数据 35 4 4 2Haoop与关系型数据库 Hadoop和典型的SQL语言及关系型数据库进行比较 1 用横向扩展代替向上扩展扩展 商用关系型数据库的代价是非常昂贵的 它们的设计更容易向上扩展 要运行一个更大的数据库 就需要购买一个更大的机器 Hadoop的设计就是为了能够在商用PC集群上实现横向扩展的架构 添加更多的资源对于Hadoop集群而言就是增加更多的机器 一个Hadoop集群的标配可达十至数百台计算机 第4章云计算与大数据 36 4 4 2Haoop与关系型数据库 Hadoop和典型的SQL语言及关系型数据库进行比较 2 用键值对代替关系表虽然关系模型具有大量形式化的属性 但是许多当前的应用所处理的数据类型并不能很好地适应这个模型 文本 图片和XML文件的大型数据集往往是非结构化或半结构化的 Hadoop使用键值对作为基本数据单元 可足够灵活地处理结构化程度较低的数据类型 在Hadoop中 数据的来源可以有任何形式 但最终都会转化为键值对以供处理 第4章云计算与大数据 37 4 4 2Haoop与关系型数据库 Hadoop和典型的SQL语言及关系型数据库进行比较 3 用函数式编程 MapReduce 代替声明式查询 SQL 查询数据的过程是 声明想要的查询结果并让数据库引擎判定如何获取数据 SQL使用的是高级声明式查询语句 而MapReduce则使用脚本和代码 利用MapReduce可以实现比SQL查询更为一般化的数据处理方式 第4章云计算与大数据 38 4 4 2Haoop与关系型数据库 Hadoop和典型的SQL语言及关系型数据库进行比较 4 用离线批量处理代替在线处理Hadoop起初是专为离线处理和大规模数据分析而设计的 因此它并不十分适合于对几个记录随机读写的在线事务进行处理的模式 第4章云计算与大数据 39 4 4 3实时数据处理 在关系型数据库中 数据需要先保存到位于硬盘上的表中 然后 在应用程序发出查询的时间点上 再对所有的数据一起进行处理 并将结果输入到内存中 由于这样的搜索 运算处理在每次发出查询时都要执行一遍 因此随着数据量的增加 性能就会逐步弱化 在流数据处理中 数据输入时并不会被写入到硬盘上 而是在内存中对数据进行处理 因而能够实现高速处理 此外 上一次处理的结果会作为中间数据保留下来 因此并不需要每次都处理所有的数据 而只需要处理流入内存的数据与中间数据的差异部分就可以了 实时数据处理 第4章云计算与大数据 40 4 5云计算和大数据在信息系统中的应用 4 5 1大数据在信息系统中的应用4 5 2商业智能与大数据4 5 3基于云计算的企业信息化 本节所讲的内容如下 第4章云计算与大数据 41 4 5 1大数据在信息系统中的应用 1 商品推荐系统这即指根据用户属性 行为 购买记录等数据 为其推荐最合适的商品或服务 这种方式在Amazon 乐天 京东 当当等电子商务网站中应用广泛 2 定向广告投放系统这种服务是通过网站浏览记录 电商网站上的购买记录等数据 在分析用户兴趣爱好的基础上 将用户进行分类 并对每一类用户投放不同的互联网广告 在Google Yahoo等提供的在线服务中早已采用了这种系统 第4章云计算与大数据 42 4 5 1大数据在信息系统中的应用 3 基于位置信息的营销系统 利用手机中的GPS位置信息 NTTDocomo与东京海上日动火灾保险合作开发了一个系统 可以在用户到达滑雪场 高尔夫球场时 自动根据其目的推送 Docomo一次性保险 的信息 4 非法操作检测系统通过对信用卡庞大的使用记录数据进行分析 可以对每个用户检测出可能预示着非法使用的模式 即异常状态 并建立一个自动进行非法使用检测的模型 加入流数据处理技术后也可以实现对非法使用的在线监控 并对是否允许交易做出判断 第4章云计算与大数据 43 4 5 1大数据在信息系统中的应用 5 故障预测系统这是指通过在复印机 办公一体机等硬件设备上安装的各种传感器 收集如卡纸等错误信息 设备使用记录 耗材消耗状态等数据 并通过数据挖掘来探测产生故障或问题的预兆 6 服务持续改善系统SalesforceCRM GoogleApps等SaaS中 利用通过互联网提供服务的优势 对所提供的软件功能的使用数据进行收集 例如 那些无人使用的功能会在下次版本升级的时候被去掉 而频繁使用的功能则需要进一步强化 第4章云计算与大数据 44 4 5 1大数据在信息系统中的应用 7 交通阻塞预测系统这即是通过汽车实际行驶位置和车速等信息生成的交通监控数据 来提供道路阻塞等交通信息 使用这一系统 汽车厂商可向用户提供由汽车导航系统会员的行驶数据生成的道路交通信息 8 电力状况管理系统这是通过各家庭安装的智能电表 对电力的使用状况进行监控 并检测出用电模式 电力公司可以通过各家庭的用电模式 对用电需求做出预测 第4章云计算与大数据 45 4 5 1大数据在信息系统中的应用 9 股市分析系统该系统通过对数百万条社交网络中的文本信息进行选择和分析 并将这些信息按照不同的感情倾向 如 警戒 平稳 活跃 等 进行分类 最终用于预测市场行情的动向 指导股票市场的交易行为 10 优化燃油成本美国的货运公司U S Xpress构建了一个管理系统 通过利用安装在卡车上的传感器 能够实时掌握车辆的当前停留位置 怠速时间 燃油余量 空调状况等超过900项数据 第4章云计算与大数据 46 4 5 2商业智能与大数据 对企业内外所存储的数据进行有组织的系统性的收集 整理和分析 从而获得对各种商务决策有价值的知识和观点 这样的概念 技术及行为被称为商业智能 BI BusinessIntelligence 第4章云计算与大数据 47 4 5 2商业智能与大数据 BI的主要目的是分析从过去到现在发生了什么 为什么发生 并做出报告 也就是说 是将过去和现在进行可视化的一种方式 BI的进化方式 从 对过去的分析 和 对现状的监控 到 对未来