大数据技术特点PPT课件

1、.,1,大数据的4V特性,体量Volume,多样性Variety,价值密度Value,速度Velocity,非结构化数据的超大规模和增长 总数据量的8090% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍,大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义,大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）,实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效,.,2,Value 价值,挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的

2、信息. 价值密度低,是大数据的一个典型特征.,.,3,Variety 多样性,企业内部的经营交易信息;物联网世界中商品,物流信息;互联网世界中人与人交互信息,位置信息等是大数据的主要来源. 能够在不同的数据类型中,进行交叉分析的技术,是大数据的核心技术之一.语义分析技术,图文转换技术,模式识别技术,地理信息技术等,都会在大数据分析时获得应用.,.,4,Velocity 速度,1s 是临界点. 对于大数据应用而言,必须要在1秒钟内形成答案,否则处理结果就是过时和无效的. 实时处理的要求,是区别大数据引用和传统数据仓库技术,BI技术的关键差别之一.,.,5,Volume 数据量,PB是大数据层次的

3、临界点. KB-MB-GB-TB-PB-EB-ZB-YB-NB-DB,.,6,Hadoop：大数据分析的利器,Apache Hadoop 是一个用java语言实现的软件框架，在由大量计算机组成的集群中运行海量数据的分布式计算，它可以让应用程序支持上千个节点和PB级别的数据。 设计理念：可靠、高效、扩展 可靠：假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。 高效：因为它以并行的方式工作，通过并行处理加快处 理速度。 扩展：容易扩展，能够处理 PB 级数据。,Hadoop Hadoop的核心子项目，提供了一个分布式文件系统(HDFS)和支持MapRedu

4、ce的分布式计算。 HBase 建立在Hadoop内核之上，提供可靠的，可扩展的分布式数据库。 ZooKeeper 一个分布式的、高可用的协调服务。Zookeeper提供分布式锁之类的基本服务用于构建分布式应用。 Hive 分布式数据仓库。Hive管理HDFS中存储的数据，并提供基于SQL的查询语言用以查询数据。,Hadoop核心,.,7,大数据涉及的关键技术,需求,技术描述,关键技术,海量数据分布式处理,Hadoop 生态系统,针对大量数据进行分布式处理的系统框架,实时数据处理,Streaming Data,流计算引擎,非结构化数据处理,文本处理技术；自然语言理解； 多媒体处理技术,文本内容

5、分词与分析；图像、音视频分析,可视化交互界面,通过交互式可视化界面辅助用户进行分析,交互式可视化探索分析技术,智能数据分析,大规模机器学习技术,计算机模拟人类学习行为，包括特征提取、图形生成等,保护隐私数据与信息个体的对应关系等安全技术,高效存储和管理大规模数据,数据存储备份技术、数据放置和调度技术、数据溯源,存储、放置、调度大规模的数据,数据隐私保护,数据隐私防范保护措施与数据安全技术,大数据采集处理,大数据分析,存储、组织、管理,.,8,从各种媒体表示的信息中，根据不同的需求获得知识。知识发现过程由以下三个阶段组成：（1）数据准备，（2）数据挖掘，（3）结果表达和解释。 也有的说法是，知识发现是数据挖掘的别名。,知识发现、数据挖掘、机器学习,数据挖掘的描述有很多，个人倾向于这个版本：一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。,机器学习(Machine Learning,