基于云计算的大数据处理技术探讨

-精选财经经济类资料- -最新财经经济资料-感谢阅读- 1 基于云计算的大数据处理技术探讨 摘要：大数据是信息化时代的产 物，因此其发展离不开云计算的大力支 持。大数据的特征显著，包括数据处理 效率高、数据类型多样化等。本文主要 以大数据特征和应用作为出发点，分析 了大数据与云计算的关系，并在此基础 之上从挖掘技术、可视化技术等方面探 讨了基于云计算的大数据处理技术，以 期为相关行业人员提供一些参考和意见。 中国论文网 /8/view-13001550.htm 关键词：云计算；大数据；大数 据处理 中图分类号：TP274 文献标识码： A 文章编号： 1007-9416（2017）08- -精选财经经济类资料- -最新财经经济资料-感谢阅读- 2 0218-02 随着社会经济的发展以及网络技 术的进步，人们获取信息资源的渠道得 以拓宽、获取信息的方式更加灵活性。 与此同时，信息种类的繁多以及信息传 播的高效性也对现有数据处理模式和数 据处理体系提出了更高的要求。依据大 数据摩尔定律，数据规模和数量将呈逐 年扩大趋势，预计 2020 年，世界数据 量将超过 35 亿 GB。由此可见，当前社 会已进入“信息大爆炸 ”和大数据时代。 加之云技术的兴起与发展，改变了传统 数据处理方式，促使数据处理方式向高 效、智能化、信息化方向发展。如何利 用云计算技术实现数据的高效处理，已 成为当今社会各界关注的焦点问题之一。 1 大数据概述 1.1 特征 在计算机领域，大数据特征较为 多样化。具体而言，表现在五方面。其 一，庞大性。其二，丰富性。其三，价 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 3 值型。其四，高速性。其五，准确性。 不同业界均认为：加强对大数据的研究， 既可以提高数据的准确性，又可以促使 国家经济的发展。与此同时，在大数据 时代和云计算环境下，与一般数据容量 相比，大数据容量较大。 1.2 应用 大数据的应用包括三个架构。第 一，融合式架构。所谓融合式架构是指 整合数据信息之后，对数据进行科学处 理。这样可以提高数据的整合效率。此 种模式为用户模式，又称之为服务器模 式。服务器主要负责方案的管理。第二， 分散式架构。此种架构模式可以控制客 户端数据信息。控制模块具有多样性， 不同控制模块的控制对象不同，将其分 布在不同客户端中，能够起到自我调整 和控制内部系统的作用。由此可见，此 种架构模式的安全性较高，且具有较强 的灵活性。但是也存在的一定的缺陷， 即数据维护成本较高、用户注册时会出 现诸多提示性问题。第三，混合式架构。 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 4 此种架构模式综合了前面两种架构模式 的优点。无论是数据的分发还是数据的 传播，都需要依靠服务器完成。用户要 想实现数据的交互，则需要借助客户端 完成。 2 云算和大数据的关系 就云计算的功能而言，其显著功 能为处理虚拟化资源。云计算与互联网 的有效结合，不仅能够大大提高数据运 算能力，还可以实现资源共享。云计算 的服务器与互联网各种交付模式的整合， 能够在实现资源优化配置的同时降低数 据运算任务量。就云计算特点而言，主 要包括五方面：其一，虚拟性（最根本 特点） ；其二，扩展性；其三，可靠性； 其四，高规模性；其五，通用性。利用 云计算展开数据运算，可以对数据信息 进行虚拟化。相对而言，运算机的一大 优势是可以提供数据的容错性措施。并 且，用户可以结合自身实际要求与需求 设置其规模，并展开动态性管理。在不 同的行业领域，均可以通过云计算实现 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 5 数据的计算、数据的应用。因此，用户 的应用成本降低、获取信息的方式更加 灵活。 3 大数据处理技术 3.1 Hadoop 、Open Stack 技术 Hadoop 属于一种分布式架构。 此种架构适用于数据容量较大的情况， 依据 Hadoop 高吞吐量特征，能够实现 对数据的及时处理，进而提高数据处理 效率。另外，Hadoop 可以实现对多个 数据副本进行维护、再次布局和操作失 败的操作。就其数据处理方式而言，主 要以并行方式为主。此种处理方式具有 成本低、便利性大等优势。Open Stack 属于分布式平台。平台优势在于包含的 组件较多、支持范围广。其中，就 Open Stack 平台模块而言，主要包括两 种，一是 NOVA 模块，二是 Swift 模 块。Hadoop 与 Open Stack 的结合，既 可以提高资源的利用率，又可以提高数 据的处理效率。 3.2 存储技术 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 6 就数据信息的特征而言，其显著 特征包括两点。其一，分散性。其二， 庞大性。在处理数据信息过程中，假设 采用传统的存储技术，不仅无法满足大 数据存储要求，还会降低数据计算效率。 现阶段，随着社会的不断发展，数据信 息量日益增加。无论是传统数据存储技 术还是数据存储库，都无法满足大数据 容量需求。而利用计算机展开数据存储 和计算，能够通过列式存储方式，实现 对庞大的数据信息进行分割，进而将分 割之后的数据进行单独存储。在数据投 影时，云计算可以在较快时间内找到所 需数据信息，这样既可以有效弥补传统 数据处理方式的不足与缺陷，又可以大 大提高数据存储和处理效率。与此同时， 在列式存储中，相邻数据的相似性极高。 这在一定程度上可以减少数据存储空间。 3.3 挖掘技术 通常情况下，实现数据挖掘不仅 需要对数据进行收集与清理，还需要完 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 7 成数据集成操作。采用云计算下的联机 分析方式可以纵观整个数据，并站在全 方位、多角度剖析数据。在此基础之上， 采用联机分析方式能够实时在数据库中 挖掘内在数据，并对挖掘之后的数据进 行模拟化表示。就挖掘技术的优势而言， 包括提高数据处理效率、实现对数据模 块的分配布局、善于解决并行任务等。 同时，挖掘技术在很多行业都是非常适 用的，比如电子商务、物流等等行业， 通过数据挖掘技术可以提供相关业务的 精确性和针对性。 3.4 可视化技术 此种技术可以凸显数据的直观性， 并为用户自身操作数据提供便利。所谓 可视化技术是指利用图形学或者图像表 示数据，最终向用户展现一种交互技术。 依靠图形化的原则，探索相对较为复杂 的数据，可以明显发现其中的不同之处。 除此之外，采用此种技术可以分析数据 的表面、实现数据的多维度表示。当用 户在检索数据信息过程中，可以利用可 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 8 视化技术提高数据检索效率。 4 云计算下大数据廉价计算平台 4.1 大规模廉价计算平台 大规模计算平台，即运用现代信 息技术对数据进行安排，这种安排办法 一般是在台式电脑、笔记本脑、液晶 电脑等 PC 机上进行平台搭建，这个平 台具有动态、高效、便于拓展等优势， 具有十分强大的实用性。常规办法是把 云计算和 Hadoop 技术同编程技术进行 整合。在整合之间，便可以对大数据进 行一定程度的分类，这样分类以后，有 利于对数据中各个子集的采集、安排更 加明确，使得数据通过这种分类安排变 得清晰明了。 大规模计算平台是将虚拟技术运 用到 PC 机上完成各种各样的应用，这 种应用有利于利用闲置平台采集资源。 例如对虚拟服务器 Ui 和 Uj（i 可以任意 取值） ，可以针对单独数据实现安排。 要使得这一系统得到实现，就需要对各 种资源进行集合、整理。在这一系统的 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 9 控制当中需要对节点资源池进行管理， 这种管理分为几个步骤进行。这其中有 一个基础，便是计算机节点的激活，它 需要在 PC 机上对数据进行安排和分配， 并对此做相应计算和资源存储安排，紧 接着，将安排好的计算流程与资源分别 进行处理，这样安排以后，才能激活计 算节点。 4.2 大数据处理计算流程概述 在大规模廉价计算平台的具体操 作过程中，最为重要的板块就是计算流 程的设计，计算流程的设计关系到资源 能否顺利存储。因而在此单独作为一个 项目提出。以电信的资源处理流程为例， 电信每天都需要处理成千上万资源，这 些资源若没有按照计算流程进行保存将 十分混乱。因此，电信的计算流程分成 了几个步骤进行，每个步骤都有细致的 数据工作流程。它具体是由：数据分析 板块、消费查询板块、性能监控板块三 个板块组成。这三个板块每一个都具有 详细的处理过程。因此，在处理大数据 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 10 时，要建立相应流程可以通过细化分配 来完成。 4.3 实现大规模安排的步骤 要实现大规模数据核心数据安排， 就需要对数据虚拟化的办法实施有效安 排。具体步骤为： 第一，对数据资源进行整合。在 进行数据虚拟化时必须要提前利用电脑 进行数据资源的安排，进行实际操作的 电脑有两种。一种是为进行资源提供的 电脑，另一种是具有计算流程的电脑。 这个步骤主要是对资源进行收集和保存， 并对保存的资源通过确定流程进行计算。 第二，对第一步所得出的结果进 一步处理，并做好下一流程安排。 第三，将第二步处理结果与相关 文件结合，即在此要对该节点和资源进 行一定程度的管理。 第四，要将实施操作的各个部分 （程序、保存空间、网络等）实施管理。 管理过程中使用的相关工具要同时开始 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 11 安排节点、流程，当一切就位以后方可 以进行方案。 第五，一切准备就绪，计算机流 程开始。 第六，激活计算、存储资源分配 的计算流程。 5 结语 大数据容