云计算与大数据处理技术

云计算和大数据处理技术今天，随着IT的增长，数据呈指数级增长，超出了传统技术方法所能解决的范围。为此，人们将目光转向刚兴起的云计算，实现通过云计算实现大规模数据处理解决方案、以更少的成本处理更大规模数据的目标，并成为当前云计算应用程序的一大难题。本课程的基本理念是：1、现在“云计算”已经不再流行了。在某些传统IT方法看似无力的情况下，云计算具有强大的故障排除能力，海量数据存储和处理就是其中的一部分。如何在云计算分布式环境中正确设计大容量数据模型？如何解决设计中一系列非常难以平衡的问题，如资源、效率、安全性、可靠性等？云计算如何帮助解决传统IT技术似乎无法解决的敏感问题？云计算体系结构设计中需要深入研究的关键问题。理解问题的最好方法是分析成功案例。在本课程中，我们从多个角度分析了不同的应用系统在面对庞大数据处理的困难时如何解决问题并取得了成功。研究这些现有系统不是目的，而是希望学生们学习这些问题解决方法和想法，通过归纳整理深入的理解，根据自己面临的领域特性，制定解决具体实际问题的方案。云计算也是使其在庞大的数据处理领域真正发挥作用的有效方法。3、云计算与一般产品设计(在云计算应用程序体系结构设计中作为服务考虑)有何区别？需要考虑的产品的服务特征是什么？如何构建适合不同级别的服务平台？在这个过程中，我们应该考虑什么问题？有什么成功案例吗？有什么解决方案？4、云计算应用程序最重要的问题是安全问题。安全性不是后期需要解决的独立问题，而是在初期需要做出巨大努力来考虑的产品战略。安全性和可用性是云计算能否顺利实施和应用的关键因素，也是云计算体系结构设计的关键因素。如何考虑安全问题？如何解决数据安全性、网络安全性、主机安全性、数据管理和灾难恢复等一系列问题？如何制定适当的安全和可用性策略？实际上有什么经验和教训呢？5、虚拟化是将现有数据中心转变为基于云计算的服务系统的重要手段。我们必须深入研究虚拟化技术如何实现。虚拟化技术的问题是什么？如何正确应用虚拟化技术，将基础架构转换为服务？各种虚拟化技术的优点是什么？有什么陷阱吗？如何计划技术解决方案？如何正确执行云计算体系结构设计？这不是一般的理论和概念介绍过程，而是讨论问题解决方案的深入过程。教师对这一领域有深入的理论研究和实践经验，在此过程中，将与学习者一起研究这些问题，并对关键点进行实践研究，加深对这些解决方案的理解。我想通过本课程学习，将国内云计算项目开发推向新的水平。云计算和大数据处理技术第一节课云计算的概念和现状1)云计算概念2)云计算发展现状3)云计算实施机制4)云计算开发环境5)云计算的优势二是了解Google云计算系统如何处理批量数据1)如何部署大型存储文件系统？GFS系统体系结构GFS容错机制GFS系统管理技术MapReduce生成背景MapReduce编程模型MapReduce实施机制MapReduce案例研究2)如何提供锁定服务以解决分布式数据一致性问题？Chubby设计理念Chubby的Paxos算法Chubby文件系统3)如何构建大规模、高性能的表结构？BigTable设计目标BigTable系统体系结构BigTable服务器BigTable性能优化4)如何构建高可用性和可扩展的数据系统？Megastore设计目标Megastore数据模型Megastore事务处理和并发控制Megastore基本体系结构Dapper监视系统Dapper关键技术Dapper工具在第三课Hadoop云计算项目中，进一步了解如何处理云数据1)HDFS:高可靠性处理机制和应用Hadoop项目简介HDFS体系结构HDFS主要工作机制Hadoop vs GoogleHadoop API构建Hadoop环境2)HBASE:非常大、非常稀疏的可扩展性数据模型Hbase简介HBase的工作机制HBase和HDFSHBase外部接口ZooKeeper中的数据模型ZooKeeper的读写机制如何使用ZooKeeper第四，了解Windows Azure中平台作为服务的本质1) Microsoft云计算平台2) Microsoft云操作系统Windows Azure3) Microsoft云关系数据库SQL Azure4)Azure AppFabric5)Azure Marketplace第五，讨论Amazon云计算如何提供云服务1)Dynamo基础架构2)灵活计算云EC23)简单存储服务S34)简单队列服务SQS5)简单数据库服务Simple DB6)关系数据库服务RDS7)内容推送服务CloudFront第六讲云计算实施的关键：安全战略1)云计算安全是必须事先重视的战略2)云计算的特点和安全挑战3)云计算安全系统及其关键技术4)基础架构云安全框架5)云计算安全平台第七，当前数据中心如何过渡到云计算环境？1)VMware云产品2)云管理平台vCenter3)vCloud Service Director4)VMware的网络和存储虚拟化5)比较主要业务云计算解决方案6)主流开源云计算系统比较7)国内代表性云计算平台比较基础架构(IaaS)作为第8课服务的核心实施技术1)IaaS技术系统概述2)服务器虚拟化技术CPU虚拟化内存虚拟化I/O虚拟化3)存储虚拟化技术存储系统概述存储设备层的存储虚拟化块聚合层的存储虚拟化文件/记录层的存储虚拟化4)主机网络虚拟