什么是大数据

1、舆情年报网北京智慧星光信息技术有限公司什么是大数据1 / 2# / 2什么才是大数据大数据相关的技术和工具非常多，给企业提供了很多的选择。在未来，还会继续出现新的技术和工具，如 Hadoop分发、下一代数据仓库等，这也是大数据领域的创新热点。但是 什么才是大数据可能很多人会认为数据量大就是大数据，其实不然所谓大数据是结合数据的条数+单个数据文件的大小综合衡量得出，而这其中则包括如何快速精准定位到单条数据和快速传输数据等多项相关技术。那么我们企业到底该选用什么技术？才能保证我们的系统或者软件摆脱大数据的瓶颈 呢？可能大家都知道TDWI（数据仓库研究所）对现有的大部分技术和工具进行了调查，以现 在

2、及未来三年内企业接受度和增长率两个维度进行划分，这些技术和工具可分成四类。从中分析得出企业最需要关注的是第1类中的技术和工具，它们最有可能成为最佳的实施工具，有很多人认为这代表了大数据技术的发展方向。我们认为这是一个误区对于我们真实使用及使用过程中，只有基于云的数据分析及分布式平台进行数据处理才 能趋于完善。很多企业越来越希望能将自己的各类应用程序及基础设施转移到云平台上。就像其他 IT系统那样，大数据的分析工具和数据库也将走向云计算。云计算不单单是硬件的叠加， 它必须结合分布式内核调用和内存计算，同时如果你想更快速的定位那就需要将算法迁入其中。云计算能为大数据带来哪些变化呢首先云计算为大数据

3、提供了可以弹性扩展、相对便宜的存储空间和计算资源（请记住这不单单说的是硬件的叠加，我们的要考虑的是软件层面的控制和管理，线程池/内存锁/域空间/层级都是必可少的考虑因素），使得中小企业也可以像亚马逊一样通过云计算来完成大数据分析。其次，云计算IT资源庞大、分布较为广泛，是异构系统较多的企业及时准确处理数据 的有力方式，甚至是唯一的方式。（此时的传输效率就会成为我们应该去考虑的问题，量子数据传输系统为我么提供了非常好的解决方案）当然，大数据要走向云计算， 还有赖于数据通信带宽的提高和云资源池的建设，需要确保原始数据能迁移到云环境以及资源池可以随需弹性扩展。数据分析集逐步扩大，企业级数据仓库将成为

4、主流如现有的NOSQL ,内存性数据库等，更加便宜和迅速，成为企业业务经营的好助手，甚至可以改变许多行业的经营方式。舆情早报网大数据的商业模式与架构我们不得不承认云计算及其分布式结构是重要途径大数据处理技术正在改变目前计算 机的运行模式，正在改变着这个世界：它能处理几乎各种类型的海量数据，无论是微博、文章、电子邮件、文档、音频、视频，还是其它形态的数据；它工作的速度非常快速：实际上几乎实时；它具有普及性：因为它所用的都是最普通低成本的硬件，而云计算它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算力、存储空间和信息服务。舆情年报网北京智慧星光信息技术有限公司云计算及其技术给了人

5、们廉价获取巨量计算和存储的能力， 云计算分布式架构能够很好地支 持大数据存储和处理需求。这样的低成本硬件 +低成本软件+低成本运维，更加经济和实用, 使得大数据处理和利用成为可能。但这只是从投入来说我们可以有更多的弹性。大数据的存储和管理-云数据库的必然很多人认为NoSQL就是云数据库，因为其处理数据的模式完全是分布于各种低成本服 务器和存储磁盘，因此它可以帮助网页和各种交互性应用快速处理过程中的海量数据。它采用分布式技术结合了一系列技术，可以对海量数据进行实时分析，满足了大数据环境下一部分业务需求。但我说这是一个错误，至少不是完整的，不能或无法彻底解决大数据存储管理需求。不可否认云计算对关系

6、型数据库的发展将产生巨大的影响，而绝大多数大型业务系统（如银行、证券交易等）、电子商务系统所使用的数据库还是基于关系型的数据库，随着云计算的大量 应用，势必对这些系统的构建产生影响，进而影响整个业务系统及电子商务技术的发展和系统的运行模式。而基于关系型数据库服务的云数据库产品将是云数据库的主要发展方向，云数据库 （CiiDB），提供了海量数据的并行处理能力和良好的可伸缩性等特性，提供同时支持在在 线分析处理（CRD ）和在线事务处理（CRD）能力，提供了超强性能的数据库云服务，并成 为集群环境和云计算环境的理想平台。它是一个高度可扩展、 安全和可容错的软件系统， 客户能通过整合降低IT成本，管

7、理位于多个数据，提高所有应用程序的性能和实时性做出更 好的业务决策服务。我们认为CII分布式结构粒度数据结构数据仓库才是大数据处理的未来。它包含量子数据传输系统（有效解决数据传输的瓶颈） /高效压缩系统（压缩比例 128:1）/云智能粒度层 级分布式系统。当人们从大数据分析中尝到甜头以后， 数据分析集就会逐步扩大。目前大部分的企业所 分析的数据量一般以 TB为单位。按照目前数据的发展速度，很快将会进入PB时代。特别是目前在100-500TB和500+TB范围的分析数据集的数量会呈 3倍或4倍增长。随着数据分析集的扩大，以前部门层级的数据集市将不能满足大数据分析的需求，它们将成为企业级数据库（EDW）的一个子集。有一部分用户已经在使用企业级数据仓库，未来这一占比将会更高。传统分析数据库可以正常持续，但是会有一些变化， 一方面，数据集市和操作性数据存