大数据技术大数据技术概述05课件

大数据技术大数据技术概述大数据的定义大数据的定义维克托·迈尔·舍恩伯格大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型。大数据的定义百度百科大数据指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的定义维基百科大数据又称为巨量资料，指的是传统数据处理应用软件不足以处理的大或复杂的数据集。大数据的定义麦肯锡全球研究所大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据的定义Gartner大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据的特征5VVolumeVolume，大体量，数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P、E或Z。Variety，多种类，它们具有异构性和多样性的特点，没有明显的模式，也没有连贯的语法和句义，多类型的数据对数据的处理能力提出了更高的要求。Velocity，高速度，处理速度快，时效性要求高，需要实时分析，数据的输入、处理和分析连贯性地处理，这是大数据区分于传统数据挖掘最显著的特征。VarietyVelocityvalueVeracityvalue，低价值密度，大数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，存在大量不相关信息。Veracity，准确性，或者称之为真实性，大数据来自现实生活，因此能够保证一定的真实准确性。相对来说，信息含量高，噪声含量低，信噪比较高。大数据技术大数据的相关技术问题引入大数据开发的过程大致分为大数据采集、大数据预处理、大数据存储与管理、大数据分析与挖掘、大数据可视化等五个阶段。大数据采集数据来源WEB端WEB端，包括基于浏览器的网络爬虫，或者API。APP端，包括无线客户端采集SDK，或者埋点。传感器，例如物联网测量值转化成数字信号。APP端传感器数据库第三方数据数据库，涉及源业务系统和数据同步，包括结构化数据与非结构化数据。第三方数据，一般是由合作方提供的，例如政府公布的数据。ETL抽取（extract）：从各种数据源获取数据。转换（transform）：按需求格式将源数据转换为目标数据。加载（load）：把目标数据加载到数据仓库中。大数据预处理大数据预处理步骤大数据预处理步骤数据清洗是一项复杂且繁琐的工作，同时也是整个数据分析过程中最为重要的环节。数据清洗的目的在于提高数据质量，将脏数据清洗干净，使原数据具有完整性、唯一性、权威性、合法性、一致性等特点。数据集成是将互相关联的分布式异构数据源集成到一起，使用户能够以透明的方式访问这些数据源。数据规约的目的就是从原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性，这样在精简数据集上进行数据挖掘显然效率更高，并且挖掘出来的结果与使用原有数据集所获得结果是基本相同。数据变换是指数据进行变换处理，使数据更适合当前任务或者算法的需求。它的主要目的是将数据转换或统一成易于进行数据挖掘的数据存储形式，使得挖掘过程更有效。大数据存储与管理NoSQL

在大数据时代，数据库并发负载非常高，对于关系数据库来说，在庞大的表里面进行SQL查询，效率是极其低下，这就催生一种新型数据库技术，NoSQL。

对于NoSQL，当前比较流行的解释是“NotOnlySQL”，它所采用的数据模型是类似键值、列族、文档等非关系模型。因此与传统关系数据库相比，NoSQL具有易扩展性、高性能、高可用、灵活的数据模型等特点。NoSQL数据库抛弃了关系模型并能够在集群中运行，不用事先修改结构定义也可以自由添加字段，这些特征决定了NoSQL技术非常适用于大数据环境，从而得到了迅猛的发展和推进。大数据分析与挖掘大数据分析描述型分析：发生了什么？诊断型分析：为什么会发生？预测型分析：可能发生什么？指令型分析：下一步怎么做？数据分析是指用适当的统计、分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据挖掘技术数据挖掘是指提取隐含在数据中的、人们事先不知道的、但又是潜在有用的信息和知识。数据挖掘的常用算法包括分类、聚类、关联规则。分类聚类关联规则聚类是指将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。分类是指根据重要数据类的特征向量值及其他约束条件，建立分类函数或分类模型。关联规则是反映一个事物与其他事物之间的相互依存性和关联性。大数据可视化大数据可视化大数据可视化是指运用计算机图形学和图像处理技术，将数据转换为可以在屏幕上显示出来进行交互处理的方法和技术。它的本质是借助于图形化手段，清晰有效地传达与沟通信息。大数据可视化最常用的表现形式是统计图表，常用的统计图表包括折线图、柱状图、饼图、散点图、雷达图、仪表盘等。常见图表折线图柱状图饼图散点图大数据技术大数据分析处理平台问题引入随着互联网的快速发展，数据的存量和增量快速增加，数据的存储和分析都变得越来越困难，存储容量、读写速度、计算效率等无法满足用户需求，如何解决？Google公司三种方案MapReduce:开源分布式计算框架BigTable:大型的分布式数据库GFS:分布式文件系统HadoopHadoopHadoopHadoop是一个对大量数据进行分布式处理的软件架构，可以将海量数据分布式地存储在集群中，并使用分布式并行程序来处理这些数据。核心设计：分布式文件系统HDFS----存储

MapReduce----计算

YARN----管理HadoopHadoop生态系统随着Hadoop的快速发展，相继开发出了很多组件，这些组件各有特点，共同服务于Hadoop工程，并且与Hadoop一起构成了Hadoop生态系统。SparkSparkHadoop不足：计算模型延迟过高无法胜任实时、快速的计算需求SparkSpark于2014年正式成为Apache软件基金会的顶级项目，目前，Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台系统。SparkSpark优点：可以通过基于内存来高效处理数据流编程支持JAVA、Python、Scala及R语言可以用于批处理、交互式查询、实时流处理、机器学习和图处理大数据技术大数据的应用与未来问题引入大数据技术，在政府机关、行政机构，在电商、金融、医疗、教育、能源、制造业等领域，都有广泛的应用。具体到应用场景，关联分析、趋势预测和决策支持是使用比较多的场景。大数据的应用政务大数据美国政府于2012年3月29日发布《大数据研究与发展倡议》，同时组建了“大数据高级指导小组”。中国已将大数据视为国家战略，并且在实施上，也已经进入到企业战略层面，这种认识已经远远超出当年的信息化战略。世界上其他发达国家的政府部门已经开始推广大数据应用，如新加坡、日本和澳大利亚均在大数据时代做出了自己相应的响应和行动。行业大数据电子商务平台掌握了非常全面的客户信息，商品信息，以及客户与商品之间的联系信息。大数据被应用到整个电子商务的业务流程。电子商务能够有现在的发展，能够在消费模式中牢牢占据主流位置，大数据技术功不可没。大数据技术以其对信息的挖掘分析等功能，在金融领域当中的应用，能够有效促进金融行业的健康发展，增加市场份额，提升客户忠诚度，提升整体收入，降低金融风险。在医疗领域，对数据进行管理、整合、分析、预测，这样就能够帮助医院进行更有效的决策，如用药分析、药品不良反应、疾病并发症、治疗效果相关性分析，或者用于疾病诊断与预测，或者制定个性化治疗方案。教育大数据在教育界，特别是在学校教育中，数据成为教学改进最为显著的指标。通常，这些数据不仅包括教师学生的个人信息、考试成绩，同时也包括入学率、出勤率、辍学率、升学率等。对于具体的课堂教学来说，数据应该是能说明教学效果的，比如学生做题的准确率、作业的正确率、积极参与课堂提问的举手次数、回答问题的次数、时长与正确率、师生互动的频率与时长。近年来，随着大数据成为互联网信息技术行业的流行词汇，教育逐渐被认为是大数据可以大有作为的一个重要应用领域。大数据的未来大数据的未来未来预测全球大数据市场规模将从2018年的420亿美元增长至2024年的840亿美元。数据来源：前瞻产业研究院大数据的未来未来预测从细分市场来看，大数据软件市场份额占比将呈逐渐上升趋势，2018年，大数据软件市场份额占比为33.3%，到2024年，大数据软件市场份额占比将上升至41.0%。数据来源：前瞻产业研究院工业大数据

工业大数据是指在工业领域，主要通过传感器等物联网技术进行数据采集、传输得来的数据，由于数据量巨大，传统的信息技术已无法对相应的数据进行处理、分析、展示，而在传统工业信息化技术的基础上借鉴了