大数据基础（第二版） 课件 项目四 大数据分析技术及相关应用

目录项目一大数据概述项目二大数据思维项目三数据库基础知识项目四大数据分析技术及相关应用项目五数据可视化概论项目六大数据安全项目七大数据与新一代信息技术的融合应用项目四大数据分析技术及相关应用

1大数据分析技术之初体验

2大数据分析生命周期

3大数据处理和分析工具

4大数据实际使用案例任务1大数据分析技术之初体验传统方式下数据处理和分析首先明确：所有业务分析都是基于数据进行的。传统方式：企业自己创建和存储的结构化数据，如CRM系统中的客户数据，ERP系统中的运营数据，以及会计数据库中的财务数据。任务1大数据分析技术之初体验大数据时代下数据以及大数据处理和分析大数据时代：得益于社交媒体和网络服务（如Facebook，Twitter），数据传感器以及网络设备，机器和人类产生的网上交易，以及其他来源的非结构化和半结构化的数据的普及，企业现有数据的体积和类型以及为追求最大商业价值而产生的近实时分析的需求正在迅速增加。我们称这些为大数据。大数据分析通常是指对规模巨大的数据进行的分析。通过多个学科技术的融合，实现数据的采集、管理和分析，从而发现新的知识规律。

任务1大数据分析技术之初体验大数据下：数据处理和分析传统的数据管理和业务分析工具及技术：解决不了大数据问题，面临大数据的压力，故大数据分析见解的新方法开始不断涌现。新方法：采取一种完全不同于传统工具和技术的方式进行数据处理、分析和应用。新方法包括：开源框架Hadoop，NoSQL数据库（如Cassandra和Accumulo）以及大规模并行分析数据库（如EMC的Greenplum，惠普的Vertica和TeradataASTERData）。这意味着，企业也需要从技术和文化两个角度重新思考他们对待业务分析的方式。任务1大数据分析技术之初体验传统方式下数据处理和分析传统的数据管理和业务分析工具及技术都面临大数据的压力，与此同时，帮助企业获得来自大数据分析见解的新方法不断涌现。这些新方法采取一种完全不同于传统工具和技术的方式进行数据处理、分析和应用。大数据性质的变化具体来说，大数据性质的变化体现在以下几点：１．体积２．类型３．速度任务1大数据分析技术之初体验传统方式下数据处理和分析传统上：为了特定分析目的进行的数据处理都是基于相当静态的蓝图。通过常规的业务流程，企业通过CRM、ERP和财务系统等应用程序，创建基于稳定数据模型的结构化数据。数据集成工具用于从企业应用程序和事务型数据库中提取、转换和加载数据到一个临时区域，在这个临时区域进行数据质量检查和数据标准化，数据最终被模式化到整齐的行和表。这种模型化和清洗过的数据被加载到企业级数据仓库。这个过程会周期性发生，如每天或每周，有时会更频繁。传统的数据处理/分析如图4-1所示。任务1大数据分析技术之初体验图4-1传统的数据处理/分析任务1大数据分析技术之初体验大数据性质的变化Web、移动设备和其他技术的出现导致数据性质的根本性变化。大数据具有重要而独特的特性，这种特性使得它与“传统”企业数据区分开来。不再集中化、高度结构化并且易于管理，与以往任何时候相比，现在的数据都是高度分散的、结构松散（如果存在结构的话）并且体积越来越大。具体来说：任务1大数据分析技术之初体验1.体积通过Web、移动设备、IT基础设施和其他来源产生的企业内部和防火墙外的数据量每年都在成倍增加。

2.类型数据类型的多样性增加，包括非结构化文本数据以及半结构化数据（如社交媒体数据，基于位置的数据和日志文件数据）。

3.速度得益于数字化交易、移动计算以及互联网和移动设备的高用户量，新数据被创建的速度以及实时分析的需求正在增加。广义地说，大数据由多个来源产生，包括：任务1大数据分析技术之初体验传统方式下数据处理和分析（1）社交网络和媒体目前有超过7亿facebook用户，2.5亿推ter用户和1.56亿面向公众开放的博客。facebook上的每个更新、Tweet和博客上文章的发布及评论都会创建多个新的数据点（包含结构化、半结构化和非结构化的），这些数据点有时被称为“数据废气”（2）移动设备全球有超过50亿正在使用中的移动电话。每次呼叫、短信和即时消息都被记录为数据。移动设备（尤其是智能手机和平板电脑）让使用社交媒体等应用程序更容易，而社会媒体的使用会产生大量数据。移动设备也收集和传送位置数据。任务1大数据分析技术之初体验传统方式下数据处理和分析（3）网上交易数十亿的网上购物、股票交易等每天都在发生，包括无数的自动交易。每次交易都产生了大量数据点，这些数据点会被零售商、银行、信用卡、信贷机构和其他机构收集。（4）网络设备和传感器各种类型的电子设备（包括服务器和其他IT硬件、智能电表和温度传感器）都会创建半结构化的日志数据记录每一个动作。任务1大数据分析技术之初体验大数据与传统数据既有联系又有区别传统数据大数据千兆字节--百万兆字节拍字节（PB）--艾字节（EB）集中化分布式结构化半结构化和非结构化稳定的数据模型平面模式已知的复杂的内部关系不复杂的内部关系任务1大数据分析技术之初体验小结：

大数据是所有行业新的权威的竞争优势。认为大数据是昙花一现的企业和技术供应商很快就会发现自己需要很辛苦才能跟上那些提前思考的竞争对手的步伐。在我们看来，他们是非常危险的。对于那些理解并拥抱大数据现实的企业，新创新，高灵活性，以及高盈利能力的可能性几乎是无止境的。因此，需要处理和分析大数据的新工具。感谢聆听参考教材：请输入教材名称目录项目一大数据概述项目二大数据思维项目三数据库基础知识项目四大数据分析技术及相关应用项目五数据可视化概论项目六大数据安全项目七大数据与新一代信息技术的融合应用项目四大数据分析技术及相关应用

1大数据分析技术之初体验

2大数据分析生命周期

3大数据处理和分析工具

4大数据实际使用案例任务2大数据分析生命周期

大数据分析的生命周期可以分为以下七个阶段：1）明确目的；2）数据获取；3）数据存储；4）数据处理；5）数据分析；6）数据可视化；7）报告撰写大数据分析的生命周期的不同阶段所需的大数据技术也不尽相同，从数据分析的生命周期角度看：大数据技术主要包括数据收集、数据存储、数据处理、数据分析、数据可视化任务2大数据分析生命周期数据收集是在明确数据分析的目的之后，获取数据的过程，可以为数据分析提供直接的素材和依据。在收集数据时，数据来源包含两种方式。第一种方式是直接来源，通过直接来源获取的数据是第一手数据，这类数据主要来源于直接的调查或实验的结果。第二种方式是间接数据，也称为第二手数据，第二手数据一般来源于他人的调查或实验，是对结果进行加工整理后的数据。

一、数据收集任务2大数据分析生命周期在实际工作中，获取数据的方式有很多种，包括:数据库、公开出版物、统计工具、市场调查。1.数据库现代企业都有自己的业务数据库，用来存放公司自成立以来的相关的业务数据。（1）网站用户数据：包括注册时间、用户性别、所属地域、来访次数、停留时间等。（2）订单数据：包括下单时间、订单数量、商品品类、订单金额、订购频次等。（3）反馈数据；包括客户评价、退货换货、客户投诉等。

数据收集任务2大数据分析生命周期2.公开出版物在数据分析中，有时会需要一些比较专业的数据，这些数据可以通过公开出版物获取，比如，中国统计网，各行各业发展报告等。3.统计工具的数据专业的网站统计工具有很多，国内常用的网站统计工具有百度统计和CNZZ（现已改名为友盟+）等。通过这些统计工具可以获取访客来自哪些地域、访客来自哪些网站、访客来自哪些搜索词、访客测览了哪些页面等数据信息，并且会根据需要进行广告跟踪等。

数据收集任务2大数据分析生命周期4.市场调查市场调查就是用科学的方法，有目的、系统地搜集、记录、整理和分析市场情况，了解市场的现状以及发展趋势，为企业的决策者进行市场预测、做出经营决策制订计划提供客观、正确的依据。市场调查的常用方法有：观察法、实验法、访问法、问卷法等。

数据收集任务2大数据分析生命周期数据的有效存储是大数据技术的基础，数据存储技术的发展主要经历了以下阶段。

二、数据存储1.关系型数据库传统的数据处理技术以关系型数据库作为基本的存储方式，在关系型数据库中，通常要把待分析的数据处理成一张表的形式，表的每一行称为一个实例、对象或样本，表的每一列称为属性、特征或变量。关系型数据库强调的是密集的数据更新处理性能和系统的可靠性，而不同系统产生的业务数据存放于分散、异构的环境中，不易统一查询访问，因而在针对支持决策而进行的数据分析处理上难以满足多样化的需求。任务2大数据分析生命周期

2.数据仓库为了将大量的业务数据用于分析和统计，人们提出了数据仓库的概念。一个完整的数据仓库主要由四部分构成：数据源、数据仓库和数据集市、OLAP服务器，以及前台分析工具。数据仓库中的数据源包括联机事务处理系统、外部数据源、历史业务数据集等，前台分析工具主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具，以及各种基于数据仓库和数据集市的应用开发工具等。任务2大数据分析生命周期

3.非关系型数据库和分布式文件系统在Web2.0时代，互联网更加注重用户交互，网站信息的提供者由传统网站管理员变成了普通用户。用户提供的信息是海量的，从航班预定、股票交易到通信、购物、娱乐、社交，数据量从TB级升至PB级，并仍在持续爆炸式地增长。为了应对大数据时代海量互联网数据的存能和管理，非关系型数据库和分布式文件系统应送而生，非关系型数据库和分布式文件系统使得数据的存储可以发展到数以千计的节点上，具有更高的可用性和可扩展性。任务2大数据分析生命周期三、数据处理

在数据分析师获取的大量数据中，并不是所有的数据都具有价值，这时就需要数据分析师对数据进行处理加工提取有价值的数据。在数据分析中，数据处理是必不可少的一个环节，主要包括数据清理、数据转换、数据提取、数据汇总、数据计算等数据处理这些方法。任务2大数据分析生命周期四、数据分析

数据分析师对处理过的数据进行分析，通过合适的方法及工具，从中推导出有价值的信息并形成有效结论的过程。在确定数据分析思路的阶段，同时应根据分析内容确定合适的分析方法，这样才能从容地对数据进行分析研究。目前数据分析多是通过软件来完成的，简单实用的软件有人们比较熟悉的Excel，专业高端的分析软件有SPSS（统计产品与解决方案软件）和SAS（统计分析软件）等。另外，在电商数据分析中还需要使用生意参谋等专门的数据分析工具。任务2大数据分析生命周期五、数据可视化

数据可视化是将数据分析结果通过直观的方式（表格、图形等）呈现出来。通过数据展现可以让决策者更好地理解数据分析结果。通常情况下，表格和图形是展现数据的最好的方式。常用的数据图表包括条形图、柱形图、饼图、折线图、散点图、雷达图等。根据需求，数据分析师可以将分析完成的数据进一步整理成相应的图表，如漏斗图、矩阵图、金字塔图等，因为图形能够更直观、有效地将数据分析师的结论和观点表达出来，所以人们更乐于接受用图形展现数据的方式。任务2大数据分析生命周期【素质拓展】数据挖掘与数据分析的区别

数据分析一般都是得到一个指标统计量结果，比如总和、平均值等，这些指标数据都需要与业务结合进行解读，才能发挥数据的价值与作用。

数据挖掘一般是指从大量的数据中通过算法搜索隐藏在其中有价值的信息的过程。数据挖掘侧重于解决四类问题：分类、聚类、关联和预测（定量、定性），其重点在于寻找未知的模式与规律。总地来说，数据分析与数据挖掘的本质都是一样的，都是从数据中发现关于业务的有价值的信息，只不过分工不同。感谢聆听参考教材：请输入教材名称目录项目一大数据概述项目二大数据思维项目三数据库基础知识项目四大数据分析技术及相关应用项目五数据可视化概论项目六大数据安全项目七大数据与新一代信息技术的融合应用项目四大数据分析技术及相关应用

1大数据分析技术之初体验

2大数据分析生命周期

3大数据处理和分析工具

4大数据实际使用案例任务3大数据处理和分析工具大数据处理和分析工具

目前市场上存在多种方法处理和分析大数据，但多数都有一些共同的特点。即他们利用硬件的优势，使用扩展的、并行的处理技术，采用非关系型数据存储处理非结构化和半结构化数据，并对大数据运用高级分析和数据可视化技术，向终端用户传达见解。目前较流行的有三种将会改变业务分析和数据管理市场的大数据分析技术。任务3大数据处理和分析工具一、HadoopHadoop是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由雅虎的DougCutting创建，Hadoop的灵感来自于MapReduce，MapReduce是谷歌在2000年代初期开发的用于网页索引的用户定义函数。它被设计用来处理分布在多个并行节点的PB级和EB级数据。Hadoop集群运行在廉价的商用硬件上，这样硬件扩展就不存在资金压力。Hadoop现在是Apache软件联盟(TheApacheSoftwareFoundation)的一个项目，数百名贡献者不断改进其核心技术。任务3大数据处理和分析工具一、HadoopHadoop基本概念：与将海量数据限定在一台机器运行的方式不同，Hadoop将大数据分成多个部分，这样每个部分都可以被同时处理和分析。（一）Hadoop的发展史

雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。任务3大数据处理和分析工具一、Hadoop（一）Hadoop的发展史2003年：Google发表了一篇技术学术论文谷歌文件系统（GFS）2004年：Nutch创始人DougCutting基于Google的GFS论文实现了分布式文件存储系统名为NDFS2005年：DougCutting又基于MapReduce，在Nutch搜索引擎实现了该功能2006年：Yahoo雇用了DougCutting，DougCutting将NDFS和MapReduce升级命名为Hadoop，Yahoo建立了一个独立的团队给GougCutting专门研究发展Hadoop。任务3大数据处理和分析工具一、Hadoop（一）Hadoop的发展史Hadoop框架中最核心的设计就是：MapReduce和HDFS。1.MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”，即为海量的数据提供了处理和计算。2.HDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem）的缩写，为海量的数据提供了存储，为分布式计算存储提供了底层支持。任务3大数据处理和分析工具大数据处理和分析工具Hadoop的组成图任务3大数据处理和分析工具大数据处理和分析工具HDFSArchitecture任务3大数据处理和分析工具大数据处理和分析工具MapRedcu的处理流程图任务3大数据处理和分析工具大数据处理和分析工具Hadoop框架任务3大数据处理和分析工具大数据处理和分析工具HBase数据表结构图任务3大数据处理和分析工具一、Hadoop（二）Hadoop如何工作

客户从日志文件、社交媒体供稿和内部数据存储等来源获得非结构化和半结构化数据。它将数据打碎成“部分”，这些“部分”被载入到商用硬件的多个节点组成的文件系统。Hadoop的默认文件存储系统是Hadoop分布式文件系统。一旦MapReduce阶段完成，数据科学家和其他人就可以使用高级数据分析技巧对处理后的数据进一步分析。也可以对这些数据建模，将数据从Hadoop集群转移到现有的关系型数据库、数据仓库等传统IT系统进行进一步的分析。任务3大数据处理和分析工具大数据处理和分析工具MapReduce工作流程图任务3大数据处理和分析工具一、Hadoop（三）Hadoop的优点和缺点

Hadoop的主要优点：它可以让企业以节省成本并高效的方式处理和分析大量的非结构化和半结构化数据，而这类数据迄今还没有其他处理方式。因为Hadoop集群可以扩展到PB级甚至EB级数据，企业不再必须依赖于样本数据集，而可以处理和分析所有相关数据。使用Hadoop的成本也很廉价。任务3大数据处理和分析工具一、Hadoop（三）Hadoop的优点和缺点

Hadoop的主要优点：1.高可靠性。Hadoo按位存储和处理数据的能力值得人们信赖。2.高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。3.高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。任务3大数据处理和分析工具一、Hadoop（三）Hadoop的优点和缺点

Hadoop的主要优点：4.高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。5.低成本。与一体机、商用数据仓库以及QlikView、Yonghong、Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。任务3大数据处理和分析工具二、NoSQL

一种称为NoSQL的新形式的数据库（NotOnlySQL）已经出现，像Hadoop一样，可以处理大量的多结构化数据。但是，如果说Hadoop擅长支持大规模、批量式的历史分析，在大多数情况下（虽然也有一些例外），NoSQL数据库的目的是为最终用户和自动化的大数据应用程序提供大量存储在多结构化数据中的离散数据。这种能力是关系型数据库欠缺的，它根本无法在大数据规模维持基本的性能水平。任务3大数据处理和分析工具

在某些情况下，NoSQL和Hadoop协同工作。例如，HBase是流行的NoSQL数据库，它仿照谷歌的BigTable，通常部署在HDFS（Hadoop分布式文件系统）之上，为Hadoop提供低延迟的快速查找功能。目前可用的NoSQL数据库包括：1.HBase；2.Cassandra；3.MarkLogic；4.Aerospike；5.MongoDB；6.Accumulo7.Riak8.CouchDB9.DynamoDB。二、NoSQL任务3大数据处理和分析工具

目前大多数NoSQL数据库的缺点是，为了性能和可扩展性，他们遵从ACID（原子性，一致性，隔离性，持久性）原则。许多NoSQL数据库还缺乏成熟的管理和监控工具。这些缺点在开源的NoSQL社区和少数厂商的努力下都在克服过程中，这些厂商包括DataStax,Sqrrl,10gen,Aerospike和Couchbase，他们正在尝试商业化各种NoSQL数据库。二、NoSQL任务3大数据处理和分析工具三、大规模并行分析数据库

不同于传统的数据仓库，大规模并行分析数据库能够以必需的最小的数据建模,快速获取大量的结构化数据，可以向外扩展以容纳TB甚至PB级数据。对最终用户而言最重要的是，大规模并行分析数据库支持近乎实时的复杂SQL查询结果，也叫交互式查询功能，而这正是Hadoop显着缺失的能力。大规模并行分析数据库在某些情况下支持近实时的大数据应用。任务3大数据处理和分析工具三、大规模并行分析数据库大规模并行分析数据库的基本特性包括：1.大规模并行处理的能力就像其名字表明的一样，大规模并行分析数据库采用大规模并行处理同时支持多台机器上的数据采集、处理和查询。相对传统的数据仓库具有更快的性能，传统数据仓库运行在单一机器上，会受到数据采集这个单一瓶颈点的限制。任务3大数据处理和分析工具三、大规模并行分析数据库大规模并行分析数据库的基本特性包括：2.无共享架构无共享架构可确保分析数据库环境中没有单点故障。在这种架构下，每个节点独立于其他节点，所以如果一台机器出现故障，其他机器可以继续运行。对大规模并行处理环境而言，这点尤其重要，数百台计算机并行处理数据，偶尔出现一台或多台机器失败是不可避免的。任务3大数据处理和分析工具三、大规模并行分析数据库大规模并行分析数据库的基本特性包括：3.列存储结构大多数大规模并行分析数据库采用列存储结构，而大多数关系型数据库以行结构存储和处理数据。在列存储环境中，由包含必要数据的列决定查询语句的“答案”，而不是由整行的数据决定，从而导致查询结果瞬间可以得出。这也意味着数据不需要像传统的关系数据库那样构造成整齐的表格。任务3大数据处理和分析工具三、大规模并行分析数据库大规模并行分析数据库的基本特性包括：4.强大的数据压缩功能它们允许分析数据库收集和存储更大量的数据，而且与传统数据库相比占用更少的硬件资源。例如，具有10比1的压缩功能的数据库，可以将10TB字节的数据压缩到1TB。数据编码（包括数据压缩以及相关的技术）是有效的扩展到海量数据的关键。任务3大数据处理和分析工具三、大规模并行分析数据库大规模并行分析数据库的基本特性包括：5.商用硬件像Hadoop集群一样，大多数（肯定不是全部）大规模并行分析数据库运行在戴尔、IBM等厂商现成的商用硬件上，这使他们能够以具有成本效益的方式向外扩展。任务3大数据处理和分析工具三、大规模并行分析数据库大规模并行分析数据库的基本特性包括：6.在内存中进行数据处理有些（肯定不是全部）大规模并行分析数据库使用动态RAM或闪存进行实时数据处理。有些(如SAPHANA和Aerospike)完全在内存中运行数据，而其他则采用混合的方式，即用较便宜但低性能的磁盘内存处理“冷”数据，用动态RAM或闪存处理“热”数据。任务3大数据处理和分析工具现代数据架构任务3大数据处理和分析工具大数据处理和分析工具小结：三种大数据处理和分析工具Hadoop，NoSQL和大规模并行分析数据库不是相互排斥的。相反的，这三种方法是互补的，彼此可以而且应该共存于许多企业。Hadoop擅长处理和分析大量分布式的非结构化数据，以分批的方式进行历史分析。NoSQL数据库擅长为基于Web的大数据应用程序提供近实时地多结构化数据存储和处理。而大规模并行分析数据库最擅长对大容量的主流结构化数据提供接近实时的分析。任务3大数据处理和分析工具【引经据典】从“分马”问题讲起数据处理古时候，有个老人，在临死时决定把遗产这样分配：大儿子得二分之一，二儿子得三分之一，三儿子得九分之一。老人的遗产原来是17匹马。如果按照老人的遗嘱分，就得把马杀死。正在三个儿子左右为难时，一个过路的智者下了马，看情况笑了笑，说他可以解决此事。他说要借给你们一匹马，这时候总数就变成了18匹马，大儿子得二分之一共9匹，二儿子得三分之一共6匹马，三儿子得九分之一共2匹，还剩下1匹马，智者又牵了回去。故事告诉我们，对于数据的处理需要采用合适的方法才能完成预期任务。感谢聆听参考教材：请输入教材名称目录项目一大数据概述项目二大数据思维项目三数据库基础知识项目四大数据分析技术及相关应用项目五数据可视化概论项目六大数据安全项目七大数据与新一代信息技术的融合应用项目四大数据分析技术及相关应用

1大数据分析技术之初体验

2大数据分析生命周期

3大数据处理和分析工具

4大数据实际使用案例任务4大数据实际使用案例

当前，各地各部门都将大数据事业作为“一把手工程”，开展“千企改造工程”，搭建服务平台，推进大数据与产业融合应用，利用新一代信息技术对传统产业进行全方位、全角度、全链条的改造，提高全要素生产率。接下来让我们看看大数据应用的实际案例：任务4大数据实际使用案例大数据在彩票选号中的应用

大数据在产品质量管理中的应用大数据在人口统计中的应用大数据在投资风险报酬分析中的应用01020304任务4大数据实际使用案例一、大数据在彩票选号中的应用

当今社会彩票市场越来越火爆，很多彩民都密切关注怎么能够将统计学理论运用到彩票选号中这一实际问题。实践中，统计学理论在实际的应用主要体现在下面两个方面：

一是基于所获得数据并配用合理的概率统计公式来得出各种彩票数字号码出现的概率值，根据计算得出的最大可能数值进行选号。举个例子，像“1234567”这样一直连续数据的彩票号码相比较“2674531”这种非连续性数据号码来说，发生的概率极低，二者发生的概率值比例约为29∶6724491（1∶230000）。任务4大数据实际使用案例一、大数据在彩票选号中的应用

二是统计数据的应用。

统计以前出现过的所有中奖号码数据，然后进行计算整理，用统计数据预测的概率值来选择选号区间及可能中奖号码。而这些都是和大数据有关，因为各种数字组合是海量的，另外以往开奖次数也达到了几万次，中奖号码数据也是海量的。这些都要使用统计方法对大数据进行处理。任务4大数据实际使用案例

二、大数据在产品质量管理中的应用

在质量管理中，通常研究一个过程中生产的全体产品。如果需要观测的总体N很大，有破坏性或者成本很高，那这种方法是不可取的。通常的做法是从总体中抽取一个或多个个体来进行观测。这种从所需要观测的总体中抽取部分个体，组成所研究对象的样本，通过观察样本来推断总体的方法就是概率统计的核心。任务4大数据实际使用案例

二、大数据在产品质量管理中的应用

过去产品比较简单，检验工厂生产的成品大部分都是随机抽样，相比市场抽样合格率有所不足。

现在的产品越来越复杂，由于实际情况，大数据的管理方式:检验部门借助成品检验结果数据、不合格检验数据，以及相适应的管理数据，了解出定性和定量指标与成品质量的关系。

比如，如果需要了解厂家生产的产品的质量合格率，就应该了解这批产品的质量指标变化规律，由此可对工厂成品的质量做出合理的预测与决断，从而提升检验工作的效率与准确率。任务4大数据实际使用案例

三、大数据在人口统计中的应用

人口统计是从大量的调查数据中研究人口现象的一种方法。通过统计方法和数据处理技术分析人口调查得到的大量数据，得出关于人口发展的各种现象和本质，预测人口数量的发展趋势，据此制定各种人口政策和经济发展政策，促进人口的可持续健康发展，最终达到人口与社会经济协调发展。任务4大数据实际使用案例

三、大数据在人口统计中的应用

通过对人口、金融、交通、电力、电信等各种大数据的整合和挖掘，找到有关衡量社会因素的指标。建立经济、社会、环境因素对劳动力需求及供给数量的预测模型，并通过系统动力学方法，建立劳动力供需数量对经济、社会、教育等问题的反馈影响，通过反馈机制将这些影响引入到劳动力供需预测模型中，对预测结果进行修正，最终建立区域经济平衡时的劳动力供需预测稳态模型。任务4大数据实际使用案例

四、大数据在投资风险报酬分析中的应用

现代社会的投资环境越来越复杂，投资方式逐渐多样化，投资对象也不断创新。然而投资即意味着风险，风险和收益总是对应而生的。投资者一般根据自己的风险偏好选择合适的投资产品。由于风险性投资能给投资者带来超乎想象的报酬，所以投资者还是喜欢进行风险性投资的，这种报酬就称为“风险报酬”。风险报酬的分析在很大程度上也是依赖于统计方法的应用。任务4大数据实际使用案例

其他以下几个方面的应用，它们包括：1.推荐引擎网络资源和在线零售商使用Hadoop根据用户的个人资料和