大数据技术与应用基础-第1章大数据概述.ppt

大数据技术与应用基础,21世纪高等院校“云计算和大数据”人才培养规划教材,第1章,大数据概述,能力,CAPACITY,要求,掌握大数据技术的基本情况，了解大数据和云计算行业的新技术。,具有良好的自学能力，对新技术有学习、研究精神，具有较强的动手操作能力。,培养良好的职业道德。,大数据的概念及特征,大数据的发展,大数据的产生及数据类型,大数据计算模式和系统,大数据的主要技术层面和技术内容,大数据的典型应用,一、大数据的发展,大数据综述,Google上每天需要处理24PB的数据；,淘宝累计的交易数据量高达100PB；,每天会有2.88万个小时的视频上传到Youtobe；,根据国际数据公司IDC的测算，到2020年数字世界将产生35000EB的数据。,大规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力。因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。,一、大数据的发展,大数据有多重要,一、大数据的发展,国家政策,大数据的发展,大数据的概念及特性,大数据的产生及数据类型,大数据计算模式和系统,大数据的主要技术层面和技术内容,大数据的典型应用,二、大数据的概念及特性,大数据的概念：关于大数据难以有一个非常定量的定义。,大数据,在信息技术中，“大数据”是指一些使用目前现有数据库管理工具或者传统数据处理应用很难处理的大型而复杂的数据集。其挑战包括采集、管理、存储、搜索、共享、分析和可视化。维基百科,“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。Gartner,大数据指的是那些大小超过标准数据库工具软件能够收集、存储、管理和分析的数据集。麦肯锡,二、大数据的概念及特性,大数据的特性,1大体量（Volume）,3时效性（Velocity）,2多样化（Variety）,4大价值（Value）,大数据的发展,大数据的产生及数据类型,大数据的概念及特性,大数据计算模式和系统,大数据的主要技术层面和技术内容,大数据的典型应用,三、大数据的产生及数据类型,（1）企业内部及企业外延。企业原有内部系统如ERP、OA等应用系统所产生的存储在数据库中数据，这部分数据属于结构化数据，可直接进行处理使用，为公司决策提供依据。,近年来互联网、云计算、移动互联网、物联网及社交网络等新型信息技术的发展，使得数据产生来源非常丰富：,（2）互联网及移动互联网。移动互联网促进更多用户从传统的数据使用者转变为数据生产者。,（3）物联网。物联网技术的发展，使得视频、音频、RFID、M2M、物联网和传感器等产生大量数据，其数据规模更巨大。,三、大数据的产生及数据类型,数据类型,结构化数据,半结构化数据,数据类型很多，此处从不同方面分析。,按数据类型：,按生产主体：,按数据作用方式：,非结构化数据,企业应用产生的少量数据,用户产生的大量数据,机器产生的巨量数据,交易数据,交互数据,按数据类型：,按生产主体：,按数据作用方式：,大数据的发展,大数据计算模式和系统,大数据的产生及数据类型,大数据的概念及特性,大数据的主要技术层面和技术内容,大数据的典型应用,四、大数据计算模式和系统,大数据计算模式及典型系统和工具,大数据的发展,大数据的概念及特性,大数据的产生及数据类型,大数据计算模式和系统,大数据的主要技术层面和技术内容,大数据的典型应用,五、大数据的主要技术层面和技术内容,大数据主要技术层面和技术内容,应用层,04,系统层,基础层,算法层,02,03,01,（1）基础层基础层主要提供大数据分布存储和并行计算的硬件基础设施。（2）系统层在系统软件层，需要考虑大数据的采集、大数据的存储管理和并行化计算系统软件几方面的问题。（3）算法层考虑如何能对各种大数据处理所需要的分析挖掘算法进行并行化设计。（4）应用层基于上述三个层面，可以构建各种行业或领域的大数据应用系