大数据分析技术 习题答案 项目一

1、.大数据分析的基础包含哪五个方面？(1)数据挖掘与分析从广义的角度出发，数据挖掘算法是大数据分析的重要核心内容。只有特定的数据挖掘算法 处理不同业务场景所产生的数据类型和结构，才能获得高质量的价值数据。同时.，随着数据 挖掘算法地不断优化，使其能够处理更多、更大和更复杂的数据内容。(2)数据可视化分析大数据可视化分析因其直观，易读，易理解，不仅被大数据分析科学家使用，也大量地使用 在普通客户的业务需求之中。大数据可视化分析能够非常高效地将晦涩难懂，抽象的数据， 以清晰、直接的各种图形和表格非常简单描述出数据背后所蕴含的丰富故事。(3)预测分析大数据预测分析是大数据分析的重要应用，通过应用数据挖

2、掘算法找到特定业务领域的大数 据特点，并建立符合行业特征的数据模型，实现对未来业务数据进行有效的预测，帮助优化 不同行业、企业的经营和决策。(4)语义分析大数据语义分析用于对网络数据的分析和挖掘，通过对用户不同行为产生的不同数据，例如， 评论关键词、搜索关键词、产品关键词等特定行业的上下文语义，有针对性地分析和判断用 户需求和行为模式，为企业和用户提供更好的服务和体验。(5)数据分析和质量管理大数据不仅仅只有海量的数据，更需要其高质量的数据和数据管理作为重要支撑。高质量的 数据能够更加精准地针对特定业务数据提供更有价值的数据分析结果。.大数据分析有什么作用？(1)进一步提升工作效率面对需要处理

3、的海量数据，不仅需要花费大量的人力、物力和财力对其进行有效存储、管理 和维护，还要对其实施有效地分析处理才能发现变量和常量等数据之间隐藏的内在关联。因 此,数据分析能够通过正确的呈现方式，将数据之间千丝万缕的关系和规律进行简单地描述, 从而提升工作效率。(2)让业务和数据变得更加易于理解、可读传统的数据库管理系统往往不能非常直观地呈现出数据整体和局部的状态和联系。不仅对于 专业数据科学家，还包括普通用户，要及时，高效地理解和掌握某个领域或业务当中海景的 结构化数据表，甚至是半结构化和非结构化的数据，都是十分困难的事情。通过应用大数据 分析技术能够让复杂的数据变得可读、可理解，有利于数据工作者和

4、客户能够对数据进行更 优化的归纳和总结，并使得特定的业务数据变得更加有逻辑，条理更加清晰。(3)业务开展更加精准大数据分技术的目的就是为了在海量数据之中发现知识，用科学的统计方法帮助人们精准定 位业务过程中可能存在的问题和机会，从而防止了业务实施过程中的失误，使得业务实施的 路线和方向更加明确和精准。.大数据分析有哪些技术？PythonPython拥有非常成熟的技术和资源社区，能够在数据分析和处理、人工智能以及数据可视 化等方面提供强大的技术支持。大数据业务流程的数据采集、数据存储、数据分析、数据处 理以及数据可视化都是应用Python及其类库实现的。Python比拟著名的类库和工具有： Nu

5、mpy Pandas Matplotl ib Seiki iTearn 等。NumpyNumpy是Python中的一个矩阵计算包，提供了非常强大的数组ndarray及其相应的处理函 数ufunc,使其能够在高效地应用内存的前提下，非常快速地创立N维数组，并提供矢量化 数学运算，实现不编写特定循环的情况下对整个数组进行标准运算操作。Numpy的出现不仅 极大地弥补了 Python在操作列表数据类型进行数值运算过程中比拟耗费内存和CPU计算资 源的问题，而且很好的补充了 Python的array模块不能支持多维数组及其运算的缺乏。PandasPandas是建立在Numpy之上的一个Python数据

6、分析包，拥有强大的数据分析功能，包含 Series J)ataFrame等高级数据结构和工具。Pandas纳入了大量的库和一些标准的数据模型， 提供了高效操作大型数据集所需要的工具。Pandas提供了大量快速便捷的函数和方法。其 中，Pandas拥有的坐标轴特点能够支持数据自动对齐，高效提升不同数据源的数据探索和 检索，防止了数据处理过程中出现的问题。MatplotlibMalploll ib是基于Numpy的一套Pylhon包，拥有非常丰富的可视化图形库和工具，通过强 大的接口能够实现绘制满足不同数据类型和业务需求的专业图形，并且能支持多种操作系统 的不同GUI后端,输出的图形格式可以是PD

7、F, SVG, JPG, PNG, BMP, GIF等。Seikit-learnScikit-lcarn是一个基于Python语言的机器学习开源框架。ski earn中包含了大量的优质 的数据集，在学习机器学习的过程中，可以通过使用这些数据集实现出不同的模型。Hadoop及其主要生态圈Hadoop是大数据技术重要代表之一。它是来源于Apache基金会以JAVA编写的开源分布式 框架工程。其核心组件是HDFS、YARN和MapReduce,其它组件为:HBASE、HIVE、ZOOKEEPER 和SQ00P等。这些组件共同提供了一套完整服务或更高级的服务。Hadoop可以将大规模海 量数据进行分布

8、式并行处理。Hadoop具有高度容错性、可扩展性、高可靠性和稳定性，让 Hadoop成为最流行的大数据分析系统。.大数据分析有哪曲流程？(1)问题识别在开展大数据分析之前，首先应该明确具体任务以及需要解决的问题。只有以解决问题为导 向，才能更加清晰、有效地围绕问题开展数据分析工作。(2)数据可行性数据可行性是指根据识别的问题所需要得到的数据是否具有较高可靠性和可用性以及数据过度拟合问题。数据可行性需要把握三个细节：明确数据的体量和专业领域明确抽象概念和具体指标数据的映射关系明确具体业务中的代表性数据(3)数据准备数据准备需要具体落实每个数据的具体作用和所代表的具体内涵，可以说大数据分析的大部

9、分时间都是花费对数据的准备过程中。具体分数据采集和数据预处理。数据采集:在这个数据爆炸的时代，不管是提供底层基础架构的云计算，还是实现各种 人工智能应用，都离不开其核心的源泉：数据。由于物联网海量的穿戴设备、网络多媒体平 台以及电子商务平台中的数据太多、太宽泛，人们需要通过特殊的技术和方法实现在海量的 数据中到真正有价值的数据，从而为下一步大数据分析业务提供数据支撑。因此，数据 采集是直接获取数据的桥头堡。数据预处理:数据预处理主要是指在对数据开展具体分析和挖掘之前对数据进行的一些 处理。数据预处理有四个任务，数据清洗、数据集成、数据变换和数据规约。数据清洗：根据具体业务规那么制定针X寸性的数

10、据清洗规那么，包括检测和去除数据集中的噪声 数据和无关数据，处理遗漏数据，去除空白数据域或者是知识背景下的空值。数据集成：根据具体业务需要，将不同结构和类型的数据，例如，不同数据库和不同格式的 普通文件有机地结合在一起，使之能够为特定业务领域提供高质量的数据共享服务。例如， 数据仓库模式就是一种数据集成方式。它是面向主题的，集成的，相对稳定的数据集合。数据变换：根据具体大数据分析框架或技术的要求，结合具体业务的描述，将数据进行特定 地转换，使之更符合大数据分析框架的特点和业务的需求方式。数据规约：根据业务需求对原始数据进行量身裁剪，实现数据既能够很好地保持数据的完整 性，又能够从数据维度、数量

11、和体机方面得到有效地缩减。（4）数据模型数据模型是用经过设计之后的数据对现实世界特征的描述和呈现。数据模型能够很好地将现 实世界中需要处理的问题通过计算机能够识别的方式进行高效地的处理。数据模型的建立需 要结合业务模型、数据分析模型以及专家的经验判断。另外，还要考虑当前的运算能力是否 满足数据模型的运算需求。（5）分析结果大数据分析的结果作为重要结论分为定性和定量的评估结果，分析结果必须要能够严谨可靠 且符合业务决策需求。5.大数据分析有哪些主要模型？（1）比照分析模型在特定,业务背景知识中将多个数据进行比拟，从而发现和揭示事物的变化开展规律。比照分 析比拟简单，能够相对简单地比拟数据之间的联

12、系，分析操作步骤较少，能够非常直观的呈 现不同数据的异同之处，能够精准表示数据之间度量值的差距。比照标准是比照分析的主要 抓手，将比照对象的指标与标准进行比照，就能得出有结果了。目前常用标准是时间标准、 空间标准、特定标准。例如，今年10月的某商品销售数量和去年10月的销售数量进行比照 就是基于时间标准的比照分析；不同城市之间对于共享单车的接受程度就是基于空间标准的 比照分析；应用专家经验判断的数据标准与当前领域数据的比照就是基于特定标准的比照分 析。（2）分类分析模型分类分析通过给与不同类型的数据不同的成员资格，从而将数据分成不同类别的群体，其目 的是将未知类别的数据更好地向某一个类进行归纳，并按其接近归纳的程度细化分类质最。 例如，通过分类分析模型区别垃圾邮件和非垃圾邮件；通过糖尿病患者某些数据指标（血糖, 血压，心率等）判断是否患有糖尿病。（3）关联分析模型通过分析变量之间的关系发现数据之间隐含的联系，包括明确自变量和因变量的因果变化规 律或者变量之间相关性、方向性和紧密程度等。作为数据挖掘的重要技术，通过分析顾客的 消费数据，发现其内在偏好规那么，为商家提供有价值的销售策略。关联分析的应用案例非常 多，例如，比拟著名的啤酒与尿布，人们发现在超市里面购买尿布的男性顾客也会同时