信息技术 课件 第11章 大数据

大数据信息技术010203大数据概述

大数据关键技术大数据分析算法04大数据安全风险与安全挑战内容纲要01大数据概述PARTONE大数据概况大数据的概况大数据的发展历程大数据的结构类型大数据的主要数据来源大数据的主要数据来源01大数据概述01大数据概述2019年全球信息化资料量达到41ZB，中国的数据产生量约占23%，美国约为21%。2012年全球信息化资料量只有2.8ZB，美国约占全球数据量的32%，西欧占19%，中国只占13%。数据生产量衡量是国家综合实力的一个重要指标大数据的发展历程最早出现在1980年托夫勒所著《第三次浪潮》书中“大数据”术语首次使用在1997年由研究员迈克尔·考克斯和大卫·埃尔斯沃斯使用的。大数据技术，起源于2004年前后发表的关于分布式文件系统的三篇论文。2008年9月，《自然》杂志推出了名为“大数据”的封面专栏2009年“大数据”在信息技术行业中兴起。2013年被称之为“大数据元年”01大数据概述大数据数据类型结构化非结构化半结构化01大数据概述足够的数据体量是大数据的基础多样的混杂数据是大数据的核心数据来源管理信息系统Web信息系统物理信息系统科学实验系统01大数据概述数据库及数据仓库的应用场景数据库关系型数据库OLTP操作增删改查“事务”型操作速度快、数据一致性高、数据量小数据仓库OLAP操作面向主题经过集成定期更新非易失性复杂的分析、查询操作、多维度分析处理01大数据概述02大数据关键技术PARTTWO大数据关键技术取传洗存管查算挖画02大数据关键技术取数据爬虫技术传感器网络融合技术Sqoop技术flume技术ELK技术02大数据关键技术传数据kafkaInfiniBand02大数据关键技术洗数据数据清洗噪声数据遗漏数据不一致数据ETL数据集成不同数据源模式匹配数据冗余数据冲突数据转换格式变换维度变换数据离散化数据规范化数据规约数据方聚集维规约数值规约概念分层02大数据关键技术存数据1）基于MPP架构的新型数据库集群，通过列存储、粗粒度索引等多项大数据处理技术，重点面向行业大数据所展开的数据存储方式。2）基于Hadoop的技术扩展和封装，是利用Hadoop开源优势及相关特性，衍生出的相关大数据存储技术。3）大数据一体机是专为大数据的分析处理而设计的软、硬件结合的产品。02大数据关键技术大数据存储的主要类型02大数据关键技术Hadoop分布式平台系统架构管数据大数据管制大数据治理02大数据关键技术DAMA数据管理知识体系职能框架查数据1）基于HBase做预聚合如

Opentsdb,Kylin等，均需指定预聚合的指标，在数据接入的时候进行聚合运算，适合相对固定，维度较多的业务报表类需求。2）基于Parquet做列式存储如

Presto,Drill，Impala

等，基本是完全基于内存的并行计算，能降低存储空间，提高IO效率。3）基于Lucene做外部索引如

ElasticSearch，Solr

等。02大数据关键技术大数据查询技术框架算数据批处理MapReduceHadoopSpark图计算PregelGiraphTrinityGraphXPowerGraph流计算ScribeFlumeStormS4SparkStreaming迭代计算Twisterspark内存计算SparkHANADremelRedis02大数据关键技术大数据计算模式及典型系统挖数据互联网+时代，企业的发展产生的数据更多，数据的类型更多，数据数量更大为了从体量巨大、类型繁多、生成快速的大数据集中寻找出更高的价值，需要大数据分析与挖掘技术大数据挖掘就是将数据分析与挖掘的概念应用于大数据环境02大数据关键技术画数据多维数据可视化基于几何面向像素基于图标基于层次基于图形文本可视化基于文本内容基于文本关系网络可视化基于节点和边基于空间填充时空数据可视化流式地图（FlowMap）时空立方体（Space-timeCube）02大数据关键技术可视化分析技术分类03大数据分析算法PARTTHREE大数据分析算法数据分析的基本类型数据分析的基本流程数据挖掘的基本算法03大数据分析算法03大数据分析算法数据分析的分类数据分析的基本流程03大数据分析算法数据挖掘跨行业标准流程（CRISP）（1）业务理解（2）数据理解（3）资料准备（4）数据建模（5）结果评价（6）上线部署数据挖掘的基本算法分类问题（Classification）朴素贝叶斯分类算法决策树算法支持向量机算法、人工神经网络算法聚类问题（Clustering）K-Means(K均值)聚类DBSCAN最大期望（EM）层次聚类算法关联分析（associationanalysis）Apriori算法FP-G算法FreeSpan算法Prefixspan算法回归预测（regressionanalysis)逻辑回归多项式回归岭回归套索回归推荐系统(Recommendation)协同过滤推荐（CollaborativeFilteringRecommendation）基于内容推荐（Content-basedRecommendation）混合推荐03大数据分析算法04PARTFOUR大数据安全风险与安全挑战大数据的安全风险分布式存储大数据泄露大数据传输04大数据安全风险与挑战大数据的安全挑战侵犯隐私权跨境