CSDN大数据应用大会PPT——08-吴朱华：海量数据从27小27做起 中小企业Big Data解决之道.ppt_第1页
CSDN大数据应用大会PPT——08-吴朱华：海量数据从27小27做起 中小企业Big Data解决之道.ppt_第2页
CSDN大数据应用大会PPT——08-吴朱华：海量数据从27小27做起 中小企业Big Data解决之道.ppt_第3页
CSDN大数据应用大会PPT——08-吴朱华：海量数据从27小27做起 中小企业Big Data解决之道.ppt_第4页
CSDN大数据应用大会PPT——08-吴朱华：海量数据从27小27做起 中小企业Big Data解决之道.ppt_第5页
已阅读5页，还剩12页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

上海人云科技创始人吴朱华ikewu83微博ID:peopleyunPeopleY,海量数据从小做起中小企业BigData解决之道,上海人云科技团队,上海人云科技团队组建于2010年底，团队的成员主要来自于IBM中国研究院和上海贝尔阿尔卡特等著名IT企业。现在力推的产品是用于海量数据的YunTable，并即将在11月底正式对外发布其企业级版。同时已在2011年中发表云计算核心技术剖析一书，此书受到业界极大的关注和好评，并已经印刷万册。,云计算核心技术剖析,什么是海量数据？,海量数据的时代,海量数据的意义,互联网企业；智能电网；车联网；医疗行业；安全领域。,海量数据的用途和价值,Variety：一般包括结构化、半结构化和非结构化等多类数据，而且它们处理和分析方式有区别;Volume：通过各种设备产生了大量的数据，PB级别是常态；Velocity：要求快速处理，存在时效性；Vitality：分析和处理模型必须快速变化，因为需求在变；Complexity：处理和分析的难度非常大。,海量数据的特点(4V+1C),如何从“小”做起？,认识自己的不足，比如在技术、人力和财力等方面是无法比肩BAT（百度、阿里巴巴和腾讯）；明确分析自己的需求，比如，数据类型、数据大小、读写量级、读写比例、并发数、延迟度和分析的复杂度等；要灵活使用现有的工具，比如开源或者是一些可以承受的商业软件，不排斥自建，但是一定要有价值，希望是画龙点睛；尽量不要走平台思路，应以具体的应用和场景为主；要进行不断地测试和迭代来进行验证。,主要方针,海量数据的处理流程,简介：利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作；特点：并发数高；待选工具：MySQL、Redis、MongoDB和实时数据库。,采集,简介：将海量的来自前端的数据导入到一个集中的大型分布式数据库或者分布式存储集群，并且可以在这个基础上做一些简单的清洗工作；特点：导入数据量大。,导入/处理,简介：利用分布式数据库来对存储于其内的集中的海量数据进行普通的查询和分类汇总等，以此满足大多数常见的分析需求；特点：查询涉及的数据量大，查询请求多；待选工具：Hadoop（包括hive、pig等工具），HBase，Cassandra和Infobright等。,查询,简介：基于前面的查询数据进行数据挖掘，来满足高级别的数据分析需求；特点：算法复杂，并且计算涉及的数据量和计算量都大；待选工具：HadoopMahout等。,挖掘,YunTable,YunTable是在传统的分布式数据库和新的NoSQL技术的基础上发展而来的新一代分布式数据库。通过它能构建一个百台级别的分布式集群来管理PB级别的海量数据。,YunTable最大的特色就是快，它能极快地导入海量的数据，并极快地进行相关的查询；
人人文库> 全部分类> 行业资料 > 管理策划

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论