第5章大数据技术架构_第1页
第5章大数据技术架构_第2页
第5章大数据技术架构_第3页
第5章大数据技术架构_第4页
第5章大数据技术架构_第5页
已阅读5页，还剩1页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

ADDINCNKISM.UserStyle教案首页课序第次学时周次第教学周教学题目大数据技术架构教学目标知识理解大数据架构的基本概念，掌握大数据架构的设计方法，以及常见的Hadoop、Spark、Flink生态架构。能力掌握大数据架构的基本概念及设计方法，能够进行Hadoop、Saprk及Flink架构设计和部署，并掌握它们之间的区别与联系，能够在不同的场所进行设计与部署。情感通过学习了解中国大数据的发展，大数据在国家发展中的战略地位以及在国民生产中的应用，通过“这十年”中国变迁的历史数据分析中国在综合国力、科技、脱贫、环保等方方面面的变迁，为世界发展贡献中国力量。教学重点Hadoop架构、Spark架构和Flink架构教学难点Hadoop架构、Flink架构教学方法手段采用课堂互动讲解+研讨分析，线下提供学习资源多媒体+课后作业教学组织方式1.讲解2.互动3.练习4.课后作业5.预习课后反思（课后手写）教学环节课程引入新课讲解课堂讨论每课小结布置作业时间分配(以分钟计算)575532教学设计【教学进程安排】课程引入：1.总计回顾上节课内容2.提问大数据如何部署和实现？一、大数据技术架构概述1.大数据技术架构大数据技术架构视为大数据解决方案的蓝图。大数据参考架构由系统协调者、数据提供者、大数据应用提供者、大数据框架提供者和数据消费者五大逻辑功能构件组成，包括信息价值链和信息技术价值链。从高到低分别为角色、活动和组件。第1层最顶层是大数据技术架构的5个角色：系统协调者、数据提供者、大数据应用提供者、大数据框架提供者、数据消费者。安全和隐私及管理为大数据系统的5个角色提供服务和功能。第2层的逻辑构件是每个角色执行的活动。第3层的逻辑构件是执行每个活动需要的功能组件。2.大数据技术处理平台根据大数据从来源到应用以及大数据的传输流程，可以将大数据技术处理平台分为数据采集层、数据存储层、数据处理层、数据应用层、数据治理层和数据运维层，其中数据运维层和数据治理层贯穿大数据处理的各个层次。二、数据技术架构设计1.Lambda架构2.Kappa架构3.IOTA架构三、Hadoop生态架构四、Spark生态架构Spark基本流程五、Flink生态架构1.Flink设计架构2.Flink架构体系3.流处理应用的基本组件：数据流、状态、时间、窗口4.FlinkAPI：ProcessFunction、数据流API、TableAPI和SQLAPI5.Flink扩展库：CEP库、数据集API、Gelly6.Flink基础编程模型7.Flink作业执行过程六、Hadoop、Saprk、Flink三种架构比较七、总结：六、作业：1）大数据技术参考模型？2）述Lambda、Kappa和IOTA的区别。区别？3）Spark的基本流程？4）Flink的作业执行过程思考题（案例）：几种架构之间的区别和联系？课堂组织：【课程引入】承上启下总计回顾上节课内容提

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论