探讨云计算在海量数据挖掘过程中的问题

PAGEPAGE1探讨云计算在海量数据挖掘过程中的问题摘要：当今时代，云计算、云效劳等逐步从科学家们的观念中走入生活，被投入到广泛的应用之中，而且被群众所认可。然而，从整个云计算框架上来看，其发展却只是刚刚起步，尚未有十分完善的研究体系落成。另一方面，在其实际操作中尚有一些缺陷。基于此，在分析云计算应用价值的基础上，讨论了云计算技术在海量数据发掘经过中的问题，用以读者参读。本文关键词语：云计算;数据发掘;节约资源;统筹统管1云计算的应用价值1.1愈加节约资源相比于以往的硬件存储，云计算将愈加节省人力、物力，而且其安全的性能也得到了较好的保障。这种全新的理念与形式重要是利用一些效劳器的集中状况，这些效劳器在被集群之后，其功能将特别强大，能够分门别类地对于各种资源进行挑选，而且根据云用户的需求，配送到其用户中心。这样一来，一方面客户能够比较方便地利用网络上各种资源，另一方面，运营方由于没有传统的硬件平台的缺陷的制约，能够节约成本，促进创新。在大数据处理方面，云计算、云处理更是能够发挥其优势进行解决，对于大数据的综合性的计算，深层的发掘及最后的整合，在云端的辅助之下，一切都可变得流畅。这很好的弥补了当下大型计算机的不足之处，一些难以处理的大数据及超等文件，在云计算完成了强大计算资源池的转换之后，将变得容易的多。1.2云计算为推进信息化建设提供有效途径1.2.1为统筹统管创造有利条件传统的硬件处理经过中，经常无法对数据进行较为集中的存放，尤其是当遇上数据较大的情况时，工作人员的硬件存储管理工作，经常是复杂而且繁冗的。云计算能够克制这一点，在资源被分割的零散状况之下，能够通过其强大的计算功能将其进行整合，这一点对于数据的管理是一个福音，对于运营及管理人员更是福音。另外，对于网络上技术标准不一的状态也能有改善的作用。1.2.2为信息系统安全运行提供技术支持云计算最大好处，在于其构造的虚拟化。以往的硬件在运行使用的经过中，由于材质等方面的原因，经常容易出现故障，而且这些故障都需要进行较大工作量的维护。而云计算克制了此点，一旦出现局域故障，云计算中心能够根据其远程的维护功能，对于普遍存在的故障进行云分析，进而实现云修补。另外，在病毒查杀的经过中，联网云查杀使得查杀的能力大幅度提升，信息系统的安全性能得以提升。2云计算技术在海量数据发掘经过中的关键问题2.1虚拟机迁移虚拟机经常需要得到迁移，由于在迁移的经过中能够避开热门，进而使得数据中心的负载，而不是总处于超负荷的状况，即是一个减压平衡的经过。另外，数据中心在这一经过中，其高度相应也有望被提升。以往虚拟机的迁移经常是比较滞后的，然而近年来已经克制了此点。以往虚拟机的滞后迁移，对于进程级迁移方法来说，需要面对不少的困难，然而，在运用了实时迁移之后，这些困难都能够被克制。然而，在避免热门的经过中，经常是比较困难的。由于系统的灵敏性经常无法跟上。另一方面，一旦进行高效的迁移，物理效劳器的资源负载经常不足以支撑，一旦无法支撑，整个迁移经过将变得特别棘手。2.2效劳器整合为使能源消耗被减到最低，经常采取效劳器整合之法，效劳器在被整合之后，资源的利用率可因而提升。不同的效劳器使用率不尽一样，因此高频能够弥补低频，而低频可为高频减压。在效劳器被整合之后，它的性能可能不会因而得到优化，然而，在云计算的理念中，也不该该是消退的。资源虚拟机的变化是永远恒久的，其变化间不断被分享的各种效劳器资源，假如一旦被忽然使用，尤其是在黄金时间段的大量使用，会使一种信息出现拥堵状态。因此，这个晦气的因素应当被考虑进去，以便于在该种情况发生时，系统能够处理应付。2.3能耗管理云计算的诸多问题中，能源效率也是一极其迫切的任务。运营的支出中，能耗成本能占到一半以上。因此，当前能耗的支出将是制约基础设备提供商发展的最大瓶颈以及障碍。在如今看来，光是减少能耗，天然是不够的，也要考虑到废能量或者多于能量排除后，对于环境的晦气影响。这些问题或许我们能够提供下面思路：第一，处理好硬件架构;第二，在运行时，关闭一些不主要的硬件组;第三，对于CPU的速度应该控制在一个合理的范围之内。另外，在最新的研究中，也将基础设备作为一个主要的可优化项目考虑进去。总之，在坚持性能的时候，怎样坚持其能耗在一定范围之内，这是需要做好的，也是科研人员们正在努力攻关的。2.4流量管理和分析流量的管理无论在何种计算的环境下都是特别值得关注的问题。分析数据流量能够让用户得到较为优化的体验，当前多数web应用程序都采取了此点。在进行一些重大的决策之前，决策者必需要知道数据流量。然而在普及到云的领域中时，却遭受了较大的麻烦。原因是ISP密度不算高，然而，云的相应部件却高的出奇，使得本来的技术不能被云所承受。还有，传统的方法中，大型的流量矩阵，都只要几百台主机，那些方法虽然能在几百台主机之间较为灵敏地运用，然而当碰到了几千台效劳器的小型云数据中心其速度会缩减几十倍，而几千台的量只是小型，大型的经常几万以至十数万。另外还存在如今的流量形式与以往不同，形式难以兼容等问题。以上各种，都是其难以被云所承受的原因。2.5软件框架以往难以实现的大型的，密集型的数据平台，只是存在于理念之中，而云计算却让海量数据的发掘成为了可能。在mapreduce框架被构造之后，这些应用程序能够被运行。而且这些应用程序的类型，也决定了mapreduce的性能及资源消耗。在grep任务中，其运行是以大量的CPU资源占领量为基础，否则无法实现。而Hadoop任务sort则是密集型的。另外其vm构造也极有可能是异构的。其可用宽带经常不是来自于自己，对于其他宽带中的类似vm，可以以发挥一样作用。因此，对于进行优化性能及节约成本的操作时，需要对其参数值及调度算法进行甄别。为充足优化其履行时间，能够采取环节瓶颈资源的方式。然而，性能建模这个环节始终是关键所在。Mapreduce的框架在节能方面，具有较强的感悟功能。一项即将告终的Hadoop节点要进入睡眠之时，这就是该方法的主要思想来源。2.6存储技术和数据管理在网际文件系统的运行之间，有一些框架借助于此在运行。这就是mapreduce，它能够处理数据密集的大型任务。和传统的文件体系不同的是，其存储构造、应用编程的接口，都有其自己的形式，尤其是标准POSIX接口没有被实现，因此兼容性问题被引用，而且起到了干扰作用。为了解决该类问题，以新的API原语支持可伸缩以及并发数据的访问为基础，以及集群文件体系纷纷被运用。3结语云计算的产生，是效劳于现代的商业形式，知足于现代大数据时代的处理需求的结果。当然，前提是，需要有着足够强大的技术支持。在对云计算的建设及管理进行讨论后，本文对云计算在海量数据发掘经过中的问题进行了分析和讨论。也指出了将来发展中瓶颈，希望对相关研究有所裨益。以下为参考文