大数据挖掘与分析的关键技术研究.doc

大数据挖掘与分析的关键技术研究 摘要：云计算、物联网和互联网的快速发展，使得数据量以极快的速度增长，大数据成为研究热点。大数据的价值产生于分析过程，所以大数据挖掘与分析是整个大数据处理流程的核心。本文介绍了大数据数据体量巨大、数据类型繁多、价值密度低、处理速度快的4V特征、以及基于这些特征的大数据挖掘与分析需要解决的关键技术。 关键词：大数据 大数据分析 大数据挖掘 可视分析 中图分类号：TP391 文献标识码：A 文章编号：1007-9416（2015）11-0000-00 随着云计算、物联网和互联网等技术的快速发展，各种移动设备、传感网络、电商网站、社交网络时时刻刻都在生成各种各样类型的数据，大数据时代已经到来。大数据即数据体量巨大、数据类型多样、数据的质量低、处理速度迅速的数据。大数据分析的核心是从大量数据中获取有价值的内容，更准确、更深层次的知识，而不是对数据简单的统计和分析。 1 大数据的定义与特征 大数据已经进入了我们每个人的生活，各行各业都在讨论如何发展和运用大数据，那么什么是大数据，大数据的特征是什么？ 大数据是指所涉及的数据规模巨大到无法通过目前主流的软件工具在合理时间内撷取、管理、处理、挖掘这些数据，并整理成为企业经营决策有用的信息。 IBM提出大数据的4V特征，得到了业界的广泛认可。第一，数量（Volume），即数据巨大，从TB级别跃升到PB级别；第二，多样性（Variety），即数据类型繁多，不仅包括传统的格式化数据，还包含来自互联网的大量视频、图片、位置和日志等；第三，速度（Velocity），即处理速度快；第四，价值性（Veracity），即追求高质量的数据。大数据具有 4V 特征， 给人们带来了新的机遇与挑战。 2 大数据挖掘与分析的意义 在大数据处理的过程中，数据分析是核心，因为大数据的价值全部在数据分析过程中产生。互联网、硬件等技术迅猛发展，加深了人们对数据分析的需求。如果大数据是一种产业，赚钱的重点在于如何提高数据的分析能力，通过分析发现数据的更多潜在的价值。在大数据时代，数据分析是数据价值发现的最重要环节，也是决策的决定性元素。 传统的数据分析主要针对结构化数据，且已经形成一整套非常有效果的分析体系。但是在大数据时代，半结构化和非结构化数据量的快速增长，给传统的分析技术带来了巨大的挑战和冲击。大数据分析于传统数据分析有哪些区别呢？ 3 大数据挖掘与分析的关键技术 大数据挖掘与分析的关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据实时处理、大数据可视化和应用等。 3.1大数据采集技术 大数据采集一般分为大数据智能感知层和基础支撑层。 智能感知层重点攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层重点攻克提供大数据服务平台所需的虚拟服务器、数据库及物联网络资源等处理技术。 3.2 大数据预处理 大数据预处理是指在大数据挖掘前期对大数据进行的一些提前处理。预处理包括数据清理、数据集成、数据变换和数据归约等几种方法（表1）。 大数据的特点是数据量大，但并没有增加数据价值，相反增多了数据噪音，有很多数据放在存储器里就没再用过。数据量的突然增加，各种媒体数据被任意碎片化。在应对处理大数据的技术挑战中，大数据的降噪与清洗技术值得高度重视。 早期主要是结构化数据的挖掘，可从数据库中发现时序知识、关联知识和分类知识等。在大数据时代，数据库已经不能满足人们的需求了。大数据中数据类型繁多，我们进入了一个非结构化数据挖掘时代。因此，非结构化数据模型是大数据预处理的重要研究方向。 表1：传统数据分析与大数据分析比较 传统数据分析 大数据分析 对已知的数据范围中好理解的数据进行分析。 不能保证输入的数据是完整、清洗过或没有错误。 建立在关系数据模型之上，分析在关系已经被创立的基础上进行。 需要考虑以RFID、图片、视频等形式存在的非结构化数据。 定向的批数据处理 对数据的实时处理。 通过昂贵的硬件来实现。 通过通用的硬件和新一代的分析软件来实现。 3.3大数据管理 大数据不断地从复杂的应用系统中产生，并且将会以更多、更复杂、更多样化的方式持续增长。多样化的物联网传感设备不断地感知着海量的具有不同格式的数据。物联网系统中大数据的复杂化和格式多样化，决定了物联网系统中针对大数据的应用场景和服务类型的多样化，从而要求物联网大数据管理系统必须采用特定技术来处理各种格式的大数据，而现在针对特定数据类型和业务的系统已经无法满足多样化需求，因此，设计新的具有可扩展性的系统架构已经成为大数据管理的研究热点。 3.4大数据实时处理 根据大数据速度快的特点，时间越长，数据的价值也在不断衰减，因此很多领域需要对数据进行实时处理。大数据时代，伴随着各种应用场景的数据分析从离线转向了在线，实时处理的需求不断提高。大数据的实时处理面临着一些新的挑战，主要体现在数据处理模式和算法的选择及改进。 3.5大数据可视分析 大数据可视分析是指在大数据自动挖掘的同时，融合计算机的计算能力和人的认知能力，利用人机交互技术和可视化界面，获得大规模复杂数据集的分析能力。在大数据时代，大数据可视化是必须尽快解决的关键问题，为大数据服务的研究指明了方向。 4 结语 传统数据处理方法已经不能满足大数据挖掘与分析的需求。近年来，大数据挖掘与分析领域已经出现了很多新技术，并成为大数据采集、存储、处理和呈现的坚实基础。但是对大数据分析的价值尚缺少深入的理解，大数据分析中的很多重要技术还不成熟，还有很多其他关键技术难题需要去继续研究。 参考文献 1 韩晶.大数据服务若干关键技术研究D.北京邮电大学博士学位论文，2013. 2 程学旗，靳小龙，王元卓等.大数据系统和分析技术综述J.软件学报，2014，25（09）：1889-1908. 3 任磊，杜一，马帅等.大数据可视分析综述J.软件学报，2014，25（09）：1909-1936. 4 McKinsey Global Institute。Big