HC第一章大数据概述

修订记录课程编码适用产品产品版本课程版本ISSUEHC1209201OceanStor9000V100R001V2.0开发/优化者时间审核人开发类型（新开发/优化）张博2013-09-20罗庆超/余雷新开发本页不打印HC1209201

第一章大数据概述目标学完本课程后，您将能够:描述大数据产生、概念和特征；理解大数据对IT的需求和促进因素了解大数据方案。目漏录大演数鸣据上产央生未与弱特吨点大既数牵据铜对I成T的纷需终求侨与珠促谅进大息数蛮据遥解担决雁方蚊案I巴T戴发暑展午时酒代轻的堤数更据厌变手迁BigDataCloudBYODMedia&EntertainmentVirtualizationSDS2020年全球数据总量40ZB（Gartner）

海舌量梅数帆据终产龟生2015年，数据将达到8ZB，数据价值$169亿每天2.5亿张照片每天2.88万小时视频一部3D电影1P以上一个平安城市200P每天6.3百万订单每天5千万条消息全球每秒2.9百万邮件每天处理24P数据D执A叫T悦A海显量天数枕据嘱的俗管喜理健难喝题数据全周期管理Efficiency效率PB级的非结构化数据和TB级的结构化数据Store存储海量数据如何实现快速的查找Search检索数锻据刻类例型移柔动险商作务C数R吊M数胞据计的划机围会事捆务客件户销葵售层订崇单事尊物即贴时歼消瘦息需剪求库宋存大巧数酬据销盯售包订平单事哀物移眨动狂商董务需另求大态数悟据C支R嚷M数冒据客炕户计蜂划事皱务结锤构内化拘数长据牧与讲非腥结签构溉化亚数宏据互联网：Google,百度Facebook,Twitter,新浪….数据以非结构化处理为主在企业大数据中，仍然是以结构化数据处理为主平均1个P数据中非结构化为主（原生互联网公司）结构化半结构化非结构化~35%~27%用户行为轨迹（个体）UserProfile内容（ITEM，图像、视频、文本)数据21个历史详单查询社交网络数据（群体）WebPage&Log~23%~5%~10%结构化为主（电信运营商）~15%~3%~12%网络XDR(探针俘获后，含历史）计费CDR(含历史）主数据（三户+订购+接触等含历史）分析汇总数据（含历史）CUBE和统一视图~7%互联网WebPage&Log(含历史）~13%社交网络数据~18%~25%内容（图像、视频、文本)数据~7%Hadoop和分布式文件系统数据库解割构念大觉数光据大鹅数翻据恋特湿征ValueVolumeVariety海量的数据规模非结构化数据的超大规模增长，IDC预计到2020年全球数据量将达到40ZBVelocity快速的数据流转和动态的数据体系实时分析而非事后分析，低延时并发访问，是大数据区别于传统数据的显著多样的数据类型文件、电子邮件和视频等非结构化信息约占未来十年数据产生量的90%巨大的数据价值对未来、行为模式等的预测分析，一部数小时的视频，可能有用的数据只有一两秒大数据四大特征目吗录大昆数文据盾产灵生缴与析特伤点大摧数鞠据他对I粒T的枪需缓求征和核促绑进大含数绪据其解券决荣方净案数恳据择应姐用傻中堤的拜性惨能烟与酒容市量存储性能要求

（每秒对象数）应用数据存储

（例如，电子邮件、虚拟机/启动、Sharepoint*）大型关系数据库

（例如，NoSQL、非ACID）内容分发网络（CDN）企业数据库

（OLTP、OLAP）小规模随机大规模顺序GigabytesTerabytesPetabytesExabytes高性能

存储容量

存储融合

存储服务器

备份与归档（服务器与客户端）大型对象存储

（例如，照片/视频）大型分析工具

（例如，Hadoop*/HDFS）高性能计算

（例如，pNFS、Luster*）大银数捐据筝对牛技剃术旗要川求对应挑战数衔据底挖撒掘贴、磁商些业舒智束能垃、寺数训据淘搜毕索关键技术V爽o耳l愈u冲m蠢e海大量V刷e页l真o怠c拐i盯t碍y快足速V除a主l辈u绞e价砌值V肺a竹r炮i晃e抚t佛y多谦样庄性并犬行嚷计始算惕（峡批落量真计救算步、放流盐计设算具）非能结托构没化迈：处分朗布牢式查文宋件/对烂象字系聚统半泄结缓构否化罚：N孝o惨S粱Q故L数胀据既库结面构冈化冲：背分毛布铲式妈数认据立库异尚构反数艘据嫩融锁合E故T遮L过引程啊优蔽化大嗽数并据粱分句析咱技转术大固数角据贸存卸储迷技作术数据处理数据存储数据采集数据源物联网、企业、社交化网络……数据分析应用及展现数剃据凡可诱视萄化大锣数思据贫对置I净T蜻系屿统壮要姓求单恐机集悲群N迹A甚S单舅机G形E巧F分CF内C关说系袜型炮数宗据疏库1联0通G捉E雹F终C需I佣B分熊布细式择数旦据昆库非向关喘系涉型冒数斑据笨库双它控裤阵福列1当0塔G障E脚S搅A球S知I率B横采向雾扩驶展块错级店虚构拟咳化横么向阻扩饲展分怕布孙式梳文训件坏系闲统计猎算响瓶撕颈存企储柜瓶丢颈网挂络手瓶裳颈数克据掉库银瓶悼颈应衰用浮独惑占狐主值机多滴应让用削共蹈享水大砖规脉模述资袜源导池大割数级据耽推皂动拍I颗T桨架诸构棕演荡进剃（汗一跑）OSOSOSApp1App2Appn小型机/服务器…CloudOSApp1App2Appn云基础设施资源池…I卵T基轰础删设亮施谅架轰构叶从零以熔计它算棚为雕中抹心以浆数貌据级为仅中驻心大顽数呢据百推奖动财I短T敞架故构舒演舱进清（戴二积）大惕规丧模债并靠行巩处巨理持匀久殖化漆内绣存inputoutput大侵数柴据聋对隶存只储亚技芹术胖促俘进寨（僻一杜）StorageNodeStorageNodeStorageNode数测据桶保惧护数铲据朵管凳理数究据务流抽动JDBC/ODBCNFS/CIFS/HDFSISCSIR抢e摩s呀t快潜照远区程犁复车制E织C动他态饥分驼层策德略晃驱凑动归毕档/节汁能/鹊W具o屿r婆m重莲删疮、企压秆缩快乖速模搜交索烧和愿分尤类臂检红索特巩性接捞口存选储亦池1（否租豪户A）存富储令池2（帆租英户B）ABB何2B依1A余2CR全验局钞命筛名绞空暖间基堆础缸架查构A辉1大富数倾据巴对全存悼储菌技逼术姜促寒进粗（冲二蛾）更高效的网络传输更快的处理存储介质处理器的升级硬件卸载10GEEthernetRoCE，ToEInfinibandRDMAPCIeFCoESSD非易失性内存（NVDIMM）MRAM指令加速大扑数霞据浙应嫩对链技益术惰发抽展主趋马势2中0曲1斯12句0鞋1拼x2住0点1己32永0蔬1听5生眨活花助插理机帖器歌人报挪表陕仪义表盖盘广轨告推至荐精屡准宾营漏销R贱D状B唇M烧SN白O乞S拖Q缓L爽D陆BM缸P蒜P坝D表B以棚客餐户勺画糟像另为仔基悲础闭的质业曾务分轨布壶式顶内垫存申计编算熊技减术H返P小厨型拳机I盗B君M小饮型如机X鉴8扛6机街架滥服研务雀器刀第片狸服民务划器统府计段分浓析O埋L兽A过P分轰析预相测吃分淡析数旬据仓应喷用储发玻展蚕趋架势数赶据症智凤能发光展聚趋绍势存似储削计晓算发斧展象趋甚势硬丛件发鱼展息趋悲势目药录大毙数熄据腥产饭生例与吊特煮点大围数宵据器对I托T的矛需财求料和购促婚进大净数票据磁解婶决炊方见案大赞数置据滥存姨储枕解顽决锐方晓案Scale-outNAS存储Scale-outDBScale-outBackup分析备份数据全生命周期管理NFS/CIFS存储VTL/LTFS备份XDBC/SQL分析ABCScale-out文件系统OceanStor9000分布式存储通用服务器网络（交换机，路由器）存储节点ScaleoutBlockScaleoutFilesystemScaleoutDBScaleoutObjectScaleoutbackupHadoopFSAPI,NFS/CIFS,Posix,ISCSI,S3CloudOS计算存储网络数据库横向扩展（硬件扩展）块虚拟化丰富的增值软件及对外接口集群虚拟化10GESASIB横向扩展（硬件+文件系统），文件虚拟化,丰富的增值软件及对外接口10GESASIB非关系型数据库分布式数据库互呀联若网隔大旧数缩慧据俘解胶决乖方哄案坡-原H栽A勤D权O沸O早P分析平台MapReduce分布式并行处理架构Hbase非关系型数据库HDFS-分布式文件系统H虾a饲d甘o次o极p亚大宴数摩据拒分融析总炕结大正数豪据鼻产继生肥与朋特国点大摩数睬据姓对I黎T的绩需解求永和乓促