大数据分析理论和技术

1、大数据分析理论和技术（ 3）胡经国本文根据有关文献和资料编写而成，供读者参考。本文在篇章结构、内容 和文字上对原文献作了一些修改和补充，并且添加了一些小标题，特此说明。五、大数据分析的几个应用案例下面要介绍的大数据分析的应用案例，包括网上促销、交通疏导、航班和 车队管理和智能新闻聚合。1、网上促销、网上促销概述目前，一个公司想要取得商业上的成功，在线促销已经成为了很重要的手 段。不过，如果没有进行实时的数据分析，那么可以说是干了相当于白干。成 功的促销行为，应当依据之前收集的数据来决定此次促销所应使用的文案、设 计、界面以及针对的人群等。因为，这些数据可以帮助我们理解客户的需求以 及市场的动向

2、和机遇。如果想要充分利用这些数据，还需要做到高效地整合数 据，打造一个低延迟的分析系统，并且为分析人员提供一些统计数据直观的图 标来进行辅助。在促销开始之前，先要订立一个业绩上的目标。为此，我们应该清楚促销 针对的客户群和市场。然后，将销量和流行度指数这样的业绩目标进行量化。 我们可以收集的数据包括：销售报表、客户反馈、网站统计等等。从多个数据源进行分析的好处，是它能够为未来的发展提供更多的认识。 这是单一的销售量所无法比拟的。单纯的销售量，无法体现出消费者和环境的 变化。因此，很难作为预测未来的可靠保障。、大数据分析促销的好处大数据分析在促销上的好处，可以总结成下面几点： 、富有针对性这意味

3、着钱能够真正地花在刀刃上。所以，看似要多投入，但是其实能够 节约开支。 、及时反馈大数据实时分析意味着可以针对市场的变化迅速调整决策。 、为以后的市场决策打下基础2、交通疏导例如，你要上班出席重要会议，结果却被堵在路上不知道什么时候才能到 达公司。这时，你可能除了干着急，也没有什么办法。不过，借助大数据分 析，你可以找出拥堵不严重的路线，甚至可以通过实时疏导来解决整个城市的 拥堵问题。在这方面做得比较突出的是谷歌地图。谷歌通过收集安卓用户的位置和运 动等信息来预测交通状况，并且给予用户行动建议。不过，现在这项服务效果 还不是特别好。因为，谷歌再怎么收集信息，也很难知道用户此时使用的是什 么交通

4、工具；而开车和骑电动车对于交通的影响是很不一样的。3、航班和车队管理、航班和车队管理概述大数据分析在航班管理上，可以帮助我们减少花费并且节约时间。这需要 从每一架飞机或汽车收集以下数据：燃油消耗、负载、速度、路面状况和航线航班如果计划得不好的话，肯定费用会上升。这就意味着赚的钱会变少。这就是物流公司钟情于大数据分析提升运输效率的原因。数据分析可以帮助物 流公司减少空驶的情况，并且优化行驶的路线。这么一来，不光是效率能够提 升，对于保护环境也能做出一定的贡献。航班和车队管理，还能够与交通疏导结合起来，为车辆寻找最合适的行车 路线，进一步提高效率和降低开销。、大数据分析给航班和车队管理带来的好处大

5、数据分析可以给航班和车队管理带来以下好处： 、实时数据分析可以减少燃油使用量，并且降低尾气排放。 、优化路线，减少空驶率。 、为车辆提供可视化辅助。4、智能新闻聚合、智能新闻聚合概述现在已经有很多新闻应用可以根据用户的兴趣来聚合相应的新闻，然后提 供给用户。大数据分析在媒体的生产、归档和聚合上也能够发挥作用。单就新闻而言，每天产生的新闻数据量就以 PB 计，而且还在迅速增长在媒体领域，大数据分析的目的是实时地识别、分类、结构化、翻译、分析和 管理媒体内容。而分析的结果则是为每一个用户单独提供的新闻聚合。(2)、大数据分析给智能新闻聚合带来的好处大数据分析给智能新闻聚合带来的好处包括： 、高效的

6、信息管理。 、提高趋势和数据的即时性。 、自动化的搜索和低延迟查询所带来的经济性。六、大数据分析行业五大发展趋势目前，大数据分析是一个非常热门的行业。虽然，大数据分析行业尚处于 发展初期，但是它是一个快速发展的领域，每时每刻都在产生新的变化。下面 谈谈大数据分析行业的五大发展趋势。1、基于云的大数据分析Hadoop 是用于处理大型数据集的一个框架和一组工具。它最初被设计成工 作在物理机集群上。但是，目前这种现象已经改变，已经有越来越多的基于云 的数据处理技术出现。例如，谷歌 BigQuery 中的数据分析服务， IBM 的 Bluemix 云平台等等。它们都是基于云的大数据分析平台。就目前而言

7、，大数据分析正开始向云计算迁移。因为，大数据分析需要一 个安全、稳定、可靠的审计环境。目前，已经有很多公司开始跟云服务公司合 作，希望得到一个能够横跨多个部门的云平台，来支持公司的数据分析业务。 随着云平台成本的降低，这个发展趋势将越来越明显。2、Hadoop 通用数据分析操作系统如今， Hadoop 分布式分析框架正在演变成为分布式资源管理器。将来，它 可能演变成为一个通用的数据分析操作系统。有了这些系统，你可以将不同的 数据操作和分析操作插入到 Hadoop 分布式存储系统中来执行。越来越多的企 业将会使用Hadoop来构建企业的数据中心。3、更多的预测分析随着大数据分析的发展，分析师不仅

8、会与更多的数据一起工作，而且还将 处理大量的许多属性的工具。但是，随着大数据行业的发展，针对旧数据的分 析是为了提供更多的预测分析功能。毕竟人们更希望利用原有的数据来对未来 产生有利的用途。4、更多更好的 NoSQL替代传统的基于 SQL 的关系型数据库的产品被称为 NoSQL 数据库。如今 它已经迅速普及到特定种类的分析应用程序中。而且，这一趋势还在持续增 长。据估计，未来将有1520个开源的NoSQL数据库共同存在。它们各自有 自己的专长。这些数据库将会得到快速发展。5、基于内存的大数据分析如今，使用内存数据库来加快大数据分析处理的方式越来越受到欢迎。很 多用户都非常喜欢这种方式。目前，很

9、多基于内存的大数据分析管理工具已经 出现。其中，以亚马逊的 HANA 一体机尤为明显。除了分析软件看好这个市场，作为全球的处理器生产商，英特尔也非常看 好这一领域的发展。从目前其产品推出的发展趋势来看，其内存支持将会越来越大；一些特定产品其内存支持甚至比硬盘的容量还要大。综上所述，大数据分析是一个热门行业，也是一个未来有很大发展前景的 行业。目前，很多厂商都针对大数据分析领域推出新产品。但是，对于企业用 户来说，在选择大数据分析产品的时候要多加注意。由于目前大数据分析尚没 有发展到成熟市场的阶段，因而市场上的大数据分析产品参差不齐，在选择时 还是选择知名品牌为好。七、数据分析挖掘体系总体而言，

10、数据分析挖掘体系可分为：数据预处理、分析挖掘、数据探 索、分析工具和数据展现五个部分。1、数据预处理数据预处理包括：数据清洗、数据集成、数据变换和数据规约几种方法。、数据清洗包括：缺失值处理和异常值处理。、数据集成包括：同名同义、异名同义、单位不统一的实体识别和冗余性识别。、数据变换包括：函数变换、规范化、连续属性离散化、属性沟通和小波变换。、数据规约包括：属性规约和数值规约。2、分析挖掘分析挖掘的内容较多，包括：假设检验、方差分析、回归分析、主成分分 析、因子分析、典型相关分析、对应分析、多维尺度分析、信度分析、生存分 析、分类预测、聚类分析、关联规则、时间序列分析和著名的灰色理论。其 中，

11、后面几个应用较多。、分类预测方法包括：决策树、神经网络、支持向量机（ SVM ）、 Logistic 回归、判别分 析和贝叶斯网络。、聚类分析包括： K-Means 聚类、 Kohonen 网络聚类、两步聚类和层次聚类。、关联规则算法包括：Apriori算法、GRI算法和Carma算法。、时间序列分析包括：简单回归分析法。、趋势外推法是指数平滑法、自回归法、ARIMA模型、季节调整法。、灰色理论分为：灰色关联和灰色预测。3、数据探索数据探索主要分为两大类：数据质量分析和数据特征分析。、数据质量分析包括：缺失值分析、异常值分析和一致性分析。、数据特征分析包括：分布分析、对比分析、统计量分析、周期性分析、贡献度分析和相 关性分析。4、分析工具常用的分析工具如下：Excel、Clementine、Eviews、R 语言、Matlab、Stata、SAS、Tableau、报 表工具