大数据到底是什么.doc

大数据到底是什么？我们为什么需要大数据技术？从本质上来说，大数据就是曾经被称为数据仓库的逻辑延伸。顾名思义，大数据就是一个大型的数据仓库，一般有一个能支持业务决策的业务重点。但是，它和传统数据库不同的是，大数据不用构建。大数据使用特殊的数据结构来组织和访问巨大数量的数据，可能达到多个艾字节的范围。一般情况下，这需要跨多个服务器和离散数据存储进行并行计算，而小企业往往难以维持这种大数据的存储库。但是，大数据正逐渐成为云服务提供商能提供的一种服务，从而把大数据应用推向更多的公司。但是，还有一个“大”问题，就是我们为什么需要大数据？答案就是相关性的价值。如果你能看到乍一看似乎没什么关系的数据设置之间的关系，你会获取很多重要信息。比如你想知道你的公司是不是容易被黑客利用。那么你需要跨多个应用程序和数据中心检查无数条交易。这时如果没有大数据技术和相关的分析技术，这几乎是不可能完成的。最终，随着数据量的增长、业务的可用性和重要性的增加，大数据的定义可能会用来描述大多数数据库应用。IT专业人士应该掌握大数据相关概念和术语，以免遇到困难。大数据技术涵盖哪些内容毫无疑问，世界上所有关注开发技术的人都意识到“大数据”对企业商务所蕴含的潜在价值，其目的都在于解决在企业发展过程中各种业务数据增长所带来的痛苦。现实是，许多问题阻碍了大数据技术的发展和实际应用。因为一种成功的技术，需要一些衡量的标准。现在我们可以通过几个基本要素来衡量一下大数据技术，这就是流处理、并行性、摘要索引和可视化。大数据技术涵盖哪些内容?一、流处理伴随着业务发展的步调，以及业务流程的复杂化，我们的注意力越来越集中在“数据流”而非“数据集”上面。决策者感兴趣的是紧扣其组织机构的命脉，并获取实时的结果。他们需要的是能够处理随时发生的数据流的架构，当前的数据库技术并不适合数据流处理。例如，计算一组数据的平均值，可以使用一个传统的脚本实现。但对于移动数据平均值的计算，不论是到达、增长还是一个又一个的单元，有更高效的算法。如果你想构建数据仓库，并执行任意的数据分析、统计，开源的产品R或者类似于SAS的商业产品就可以实现。但是你想创建的是一个数据流统计集，对此逐步添加或移除数据块，进行移动平均计算，而且数据库不存在或者尚不成熟。数据流周边的生态系统有欠发达。换言之，如果你正在与一家供应商洽谈一个大数据项目，那么你必须知道数据流处理对你的项目而言是否重要，并且供应商是否有能力提供。二、并行化大数据的定义有许多种，以下这种相对有用。“小数据”的情形类似于桌面环境，磁盘存储能力在1GB到10GB之间，“中数据”的数据量在100GB到1TB之间，“大数据”分布式的存储在多台机器上，包含1TB到多个PB的数据。如果你在分布式数据环境中工作，并且想在很短的时间内处理数据，这就需要分布式处理。并行处理在分布式数据中脱颖而出，Hadoop是一个分布式/并行处理领域广为人知的例子。Hadoop包含一个大型分布式的文件系统，支持分布式/并行查询。三、摘要索引摘要索引是一个对数据创建预计算摘要，以加速查询运行的过程。摘要索引的问题是，你必须为要执行的查询做好计划，因此它有所限制。数据增长飞速，对摘要索引的要求远不会停止，不论是长期考虑还是短期，供应商必须对摘要索引的制定有一个确定的策略。四、数据可视化可视化工具有两大类。探索性可视化描述工具可以帮助决策者和分析师挖掘不同数据之间的联系，这是一种可视化的洞察力。类似的工具有Tableau、TIBCO和QlikView，这是一类。叙事可视化工具被设计成以独特的方式探索数据。例如，如果你想以可视化的方式在一个时间序列