Cloudera大数据解决方案

Cloudera大数据,从最先进的Hadoop平台到企业级数据中心,Cloudera公司背景,创立2008,由几家世界顶级IT企业前雇员创立世界顶级技术支持24x7全球技术支持主动技术支持&预测性技术支持企业核心业务应用数千家企业客户，超过500名付费订阅企业客户超过60%为世界500强客户成功案例全球范围内数百项成功实施案例最大生态系统超过1300个合作伙伴培训全球超过5万人通过培训得到了Cloudera认证开源社区领导者Cloudera是无可争议的Hadoop开源社区领导者和贡献者Cloudera首席架构师为Hadoop之父：DongCutting,公司发展历史,ClouderaConfidential-InternalUseOnly,3,Cloudera应用成果,ClouderaConfidential-InternalUseOnly,4,行业成功案例,Financial&BusinessServices,TelecomTechnology,HealthcareLifeSciences,Media,RetailConsumer,EnergyPublicSector,6,应用行业,2014Cloudera,Inc.Allrightsreserved.,Cloudera大数据应用案例种类,7,Cloudera中国,2014Cloudera,Inc.Allrightsreserved.,8,英特尔7.4亿美元投资到Cloudera英特尔与Cloudera通过开源驱动创新英特尔使得Hadoop在IA架构上运行达到最优性能Cloudera与英特尔协作建立广泛的合作伙伴生态系统Cloudera在中国建立销售及技术服务团队，英特尔大数据团队2014年9月正式加入,Intel与Cloudera大数据联盟,2014Cloudera,Inc.Allrightsreserved.,9,数据量决定数据使用方式,2014Cloudera,Inc.Allrightsreserved.,10,以前拷贝数据到计算节点,现在拷贝计算程序到数据节点,Relativesize&complexity,流程驱动:StructureddatamainlyInternaldataonly“Important”dataonly,传统数据分析:将数据带至计算平台,2014Cloudera,Inc.Allrightsreserved.,11,复杂的架构许多特殊用途的系统频繁的数据移动缺乏数据的整体认识,高数据遗失率许多资料数据未能被使用风险与合规高存储成本,数据存取速度慢需要前期建模数据转换速度慢转换程序常遗失数据,高数据分析的成本现有系统负荷量过大缺乏灵活性“商业智能积压”,4,1,2,3,2014Cloudera,Inc.Allrightsreserved.,多样化的分析平台将应用程序带至数据结合多样化的工作于常见的数据(即SQL+搜索)真正的敏捷性分析,4,1,2,3,4,大数据分析:将计算平台带至数据,12,主动合规存档全保真原始数据不定时间，任何来源成本最低的存储,1,保持Staging所有的分析使用单一数据源保持变换后的数据的状态更快更便宜,2,自动服务BI探索简单的搜索+BI工具“Schemaonread”灵活性降低BI用户请求积压,3,Hadoop改变游戏方式,Hadoop方式,传统方式,$30,000+perTB,Expensive&Unattainable,难以线性扩展网络成为瓶颈只能存储结构化数据难以扩展新的字段和数据类型,Expensive,Specialpurpose,“Reliable”ServersExpensiveLicensedSoftware,$300-$1,000perTB,Affordable&Attainable,无限性能扩展没有网络瓶颈方便聚合多种数据来源灵活的数据访问方式,Commodity“Unreliable”ServersHybridOpenSourceSoftware,ClouderaEnterprise,统一平台，全面的大数据解决方案,统一平台，全面的大数据解决方案,批处理，交互式处理和实时处理.兼具高性能和易用性的统一平台.端到端交互式分析海量数据聚合全面的数据处理框架广泛的第三方工具兼容,ClouderaImpala,业内领先的开源SQL数据库,Impala的优势,勿需远程检索，勿需数据移动使用Hadoop元数据开源(Apache-licensed),与YARN的整合便捷的安装、管理与监控可通过Cloudera管理器进行升级,ANSISQL兼容性主流BI工具的整合预先定义的分析方法(MADlib),全面的数据安全性基于角色的访问控制可审计的权限管理,简单&开放,便捷,可管理,安全&管治,先进的MPP架构:不使用MapReduce海量数据处理性能远超传统数据库性能是Hive/Stinger的10-100倍以上,快速检索任意Hadoop上的数据“Schemaonreadorwrite”引擎之间共享数据,例如检索、机器学习,Hadoop上最快的SQL,灵活,SQL性能比较,SingleUser,5,10Users,11,SingleUser,25,10Users,120,10Users,302,10Users,202,SingleUser,37,SingleUser,77,5.0 x,10.6x,7.4x,27.4x,15.4x,18.3x,IndependentvalidationbyIBMResearchSQL-on-HadoopVLDBpaper:“Impalasdatabasearchitectureprovidessignificantperformancegains”,搜索ClouderaSearch(ApacheSolr),2014Cloudera,Inc.Allrightsreserved.,19,易用交互式的全文检索与切面导航实时的数据检索多用户友好灵性批处理,实时或者按需索引多类型、多格式支持原生与Hadoop执行引擎相结合丰富的API与完善的生态系统100%开源业界标准的搜索引擎成熟的代码基础,活跃的社区,CDH是唯一一个提供企业级搜索解决方案的商用Hadoop版本,ClouderaSearch框架介绍,非结构化数据,用户搜索界面(Hue),Flume,HDFS,Raw,filtered,orannotateddata,SolrCloudCluster(s),Datatobeindexed,Indexeddata,MapReduceBatchIndexing,GoLiveupdates,HBaseCluster,ReplicationEventstobeindexed,结构化数据,ClouderaManager,Searchqueries,$,机器学习与流处理ApacheSpark,2014Cloudera,Inc.Allrightsreserved.,21,开源的数据并行处理框架快速.充分利用内存，比MapReduce的数据处理快100倍，有效支持迭代式机器学习与分析开发友好.提供Java,Scala,Python等多语言丰富的API完整.集成于CDH,可通过Cloudera管理器管理；通过与Databricks公司的协作共同对Spark开发完善便捷的实时流处理简单.API有利于快速部署流处理应用程序容错.实现“Exactly-once”语意统一.基于Spark平台共享数据与模型,第三方应用扩展性,数百家和CDH互相认证兼容性的第三方合作伙伴,为企业用户更方便整合Hadoop到现有业务系统,Access,ingest,transform,andcleansealldataonHadoopwithavisualdevelopmentenvironment,QuicklyconnecttoHadoopforad-hocvisualizationsofyourdatatofindpatternsandoutliers,RunleadinganalyticalsystemsnativelyonHadooptogetinsightsfromalldata,DeliverR-poweredadvancedpredictiveanalyticstoHadoopforbetterdatamodeling,ClouderaEnterprise,端到端大数据平台管理,让Hadoop平台运维管理更容易,ClouderaManagerHadoop业内最完善，最全面的零宕机时间管理平台，管理整个大数据平台系统，而不仅是Hadoop集群本身独有特性:统一配置，管理和监控全部Hadoop模块在线向导式安装和升级一键寻求Cloudera支持强大的第三方扩展支持,一个工具搞定全部运维管理,Hadoop运维管理的复杂性：,+,DIY方式的运维管理,对比Cloudera,“在第三方客户调查中显示，超过95%的客户希望使用统一的端到端管理工具对Hadoop集群进行维护管理，而不是被迫学习多种开源工具用于不同类型的管理”,简化的故障诊断流程,ClouderaManager最大程度提高故障诊断效率,注意到系统任务失败，集群停止服务,在TaskTracker界面中定位找到故障任务,借助Ganglia调查服务，主机，网络的各种监控指标，帮助查找故障原因,尝试找到合适的HEAPMEMORY设置大小,更新设置，分发到所有节点，暂时中断服务，重启整个集群,故障原因：TaskTrackerHeapMemeory设置过低,1小时,2小时,1小时,30分钟,通过CLOUDERAMANAGER,4.5小时,15分钟,非Cloudera平台故障诊断,ClouderaManager关键特性,全面的灾备解决方案,零宕机时间-滚动升级,ClouderaManager扩展接口,APIaccessprovidesprogrammaticaccesstoclusteroperations(suchasconfigurationandrestart)andmonitoringinformation(suchashealthandmetrics).TheCMAPIisanHTTPRESTAPI,usingJSONserialization.TheAPIisservedonthesamehostandportastheCMwebUI,anddoesnotrequireanextraprocessorextraconfiguration.APIusershavethesameprivilegesastheydointhewebUIworld.,Exampleshttp:/cloudera.github.io/cm_apiMetricsplug-in,ClouderaEnterprise,企业级安全和审计功能,全面的企业级安全功能，满足企业合规性要求,验证，授权，审计，合规,验证GuardingaccesstotheclusteritselfTechnicalConcepts:验证网络隔离,ClouderaManager,ApacheSentry,ClouderaNavigator,NavigatorEncrypt&KeyTrustee|Partners,外围安全需求,ClouderaManager提供自动化用户验证,支持ADKerberos单点登录,Kerberos配置向导,支持配置多KDC用户验证和监控信息,用户直接通过AD进行单点登录Hadoop所有服务统一接受ADKerberos验证用户对Hadoop服务的访问权限由通过ADGroups控制,通过向导自动为当前集群配置Kerberos，简化繁琐的手动操作，避免各种可能的错误流程,自动配置和调整多KDC协调工作当Kerberos生效后，自动通过CM监控Kerberos验证状态,访问授权需求,可视化权限管理,数据审计视图需求,为什么需要ClouderaNavigator,Cloudera数据审计和生命周期管理平台,ClouderaNavigatorHadoop平台上唯一的端到端数据审计解决方案。最大程度降低安全风险，保证和企业安全审计策略兼容独有能力:数据审计数据血缘管理Hadoop元数据标记和发现数据生命周期,数据安全需求,在上层应用和文件系统中实现透明加密层合规性无限数据扩展超高性能：采用Intel硬件指令集优化可选重点内容加密Navigator管理服务器对密钥管理,Cloudera数据透明加密,ClouderaE