大数据分析解决方案

大数据分析解决方案大数据分析的三个技巧/cio/20130108日09：03CIO〔数据量大、种类多、处理速度快〕打算的，数据分析的角色和作用理所固然是由大数据的性质打算的。当数据分析作用于大数据时，大数据必需身兼数职。意思就是数据分析在一个组织中扮演着多种角色和担负着多重责任。数据分析的职DJPatil和JeffHammerbacher制定的，他们试图称呼数据组的同事〔becauseimproperjobtitlelikebusinessanalystresearchscientistBuildingDataScienceTeams〕随着大数据在驱动企业成功中越来越有打算性作用，数据分析也变得越来越受欢送。这些大数据是很可信的。他们的脚步落后了——他们的眼光在大数据的利用上〔数据量大、种类多、处理速度快〕打算的，数据分析的角色和作用理所固然是由大数据的性质打算的。当数据分析作用于大数据时，大数据必需身兼数职。意思就是数据分析在一个组织中扮演着多种角色和担负着多重责任。多种学问的把握为了解决数据量大的问题，大数据平台〔例如：ApacheHadoop、LexisNexisHPPC〕要求数据是被1、了解大数据平台的框架，例如：DFSMapReduce，他们的编程框架供给强大的应用程序设计。这就意味着数据分析员还要有软件构筑和设计的力量。2的编程语言，例如：Java,Python,ECL,等等。3、具有娴熟的数据库学问，特别SQL语言的数据库，像：HBase,CouchDB,等等。由于大数据平台常常需要数据库来存储和转换数据。4、具有数学/统计学、机器学习、数据挖掘领域的专业学问。一个企业的成功不是由数据量打算的，而是由能否成功的从大数据中觉察和抽取有用的学问模式和关系打算的，然后用这些有价值的信息〔例如：R,Excel,SPSSSAS〕是最好的，可以《TopAnalyticsbigdatasoftwaretools5、娴熟应用自然语言处理的软件或工具。大数据的内容大都来自于文本文件、闻、社交媒体和有效的演示数据存在的模式和关系，能应用好数据可视化工具无疑是对数据分20化敏感、对觉察古怪，并且找出应对问题的方法。他/她也要热忱的准时相看。对于企业来说有效的沟通是准时采取行动应对大数据觉察的关键。数据证按时完成任务。第三，数据分析员应当具有说服力、激情、和演讲力量。才能引导人们基于数据的觉察做出正确的打算，让人们信任觉察的价值。数据了数据分析员该具备的技巧和他们在企业中扮演的角色。盘点大数据分析的十二大杀手锏分类：BIMapReduce2011-11-1913:12218人阅读评论(0)保藏举报当数据以成百上千TB前所未有的挑战。大数据分析迎来大时代全球各行各业的组织机构已经意识到，最准确的商务决策来自于事实，而不是凭空臆想。这也就意味着，他们需要及网络的各类评论，成为了海量信息的多种形式。极具挑战性的是，传统的数据库TBNoSQL等平台。大数据分析迎来大时代本文中，我们将向大家介绍迄今为止，包括EMCGreenplum、HadoopMapReduce等供给大数据分析VerticaIBM独立的基于DB2Netezza的相关产品。固然，也有微软的ParallelData、SAPSybaseSybaseIQ数据仓库分析工具等。下面，1.EMCAppliance处理多种数据类型2010EMCGreenplum，EMC自身存储硬Greenplum大规模并行处理〔MPP〕数据库，推出EMCGreenplumDataComputingAppliance(DCASASMapR等DCAGreenplumEMCAppliance5月，EMCHadoopDCA将支持GreenplumSQL/Hadoop部署也能在同样的设备上得到支持。借助Hadoop，EMC数据、非构造数据等真正大数据分析的困难。模块化的DCA也能够在同样的设备上支持长期保存的高容量的存储模块，从而满足监测需求。2.Hadoop和MapReduceHadoop要面对存储和处理构造化、半构造化或非构造化、真正意义上的大数据〔通常TB甚至PB级别数据〕应用。网络点击和社交媒体分析应用，正在〕是处理大数据集抱负解决方案。MapReduce能将大数据问题分解成多个子问题，将它们安排到成百上千个处理节点之上，然后将结果集合到一个小数据集当中，从而更简洁分析得出最终的结果。MapReduce构造图Hadoop可以运行在低本钱的硬件产品之上，通过扩展可以成为商业存储和数据分析的替代方案。它已经成Twitter和Netflix大数据分析的主要解决方案。也有更多传统的巨头公司比方摩根大通银行，也正在考虑承受这一解决方案。3.惠普Vertica电子商务分析今年二月被惠普收购的Vertica，是能供给高效数据存储和快速查询的列存储数据库实时分析平台。相比传统的关系数据库，更低的维护和运营本钱，〔MPPx86HPVerticaMPP的扩展性〔AOLTwitterGroupon〕VerticaHadoop产品平台之一。目前，Vertica支持惠普的云效劳自动化解决方案。4.IBM供给运维和分析数据仓库去年，IBMDB2SmartAnalyticSystem〔图中左侧NetezzaSmartDB2CognosBI软件模块，IBMPowerSyste〔RISCX86架构上运行。SmartAnalyticSystem及NetezzaNetezzaTB甚PB级别数据的公司，供给高可扩展分析应用的解决方案。IBM的NetezzaTwinFinNetezza支持多种语言和方式进展数据库分析，其中包括JavaCC+PythonMapReduceSAS，IBMSPSS使用的矩阵操作方法和R5.Infobright削减DBA工作量和查询时间Infobright列存储数据库，旨在为数十TB骨文和微软SQLServerInfoBrightMySQL的效劳进展设计。列存储数据库能够自动创立索引，而且无需进展数据分区和DBA调整。相比传统数据库，它可以削减90%的人工工作量，而且由于其承受高数据压缩，在数据库许可和存储等方面的开支也可以削减一半。KnowledgeGrid查询引擎InfoBright最的4.0版本产品，增了一个DomainExpertURL相关的数据。KowledgeGrid查询引擎则可以帮助过滤那些静态数据而只关注那些变化的数据。也就是说，它可以帮助节约数据查询的时间，因为那些无关的数据无需进展解压缩和筛选。6.Kognitio供给三倍速度和虚拟多维数据集Kognitio和每个模块48个运算核心供给大容量存储效劳。电信或金融效劳公司，可以使用这种配置来扫描大量的分支构造的各种信息记录。Rivers供给了容量和速48个运算核心。Rapids，961.5TB。该产品方案主要针对金融公司在算法交易或者其他高性能要求方面的需Kognitio基于内存运算的数据仓库和数据分析今年，Kognitio增了OLAP风格的Pablo分析引擎。它供给了敏捷的、为企业用户进展MicrosoftExcel。7.SQLServerPDWSQLServerR2ParallelDataWarehouse〔PDW，并行数据仓库，一改以往SQLServer部署时间需要花费两年半时间的历史，它可以帮助客户扩TB级别数据的分析解决方案。支持这一产品的包括有合作伙伴惠普的硬件平台。公布之初，虽然微软官网供给有让利折扣，但PDW售价仍超过在肯定程度上说，数据仓库分析和内存分析计算市场落下了后腿。目前，微软ReportingAnalysisServices，SQLServer数据库。微软在1012ApacheHadoopSQLAzureHadoop效劳，Azure2011年底亮相，而相应的本地配套软关大数据设备厂商合作。8.EngineeredSystems的故事甲骨文表20081000engineeredsystem11g数据库，可以支持基于X86可以实现超快速查询处理。它既可应用在任意事务环境中，也可以应用在数据仓库〔但不能同时进展。Exadata合柱状压缩能够实现列存储数据库的某些高10:14:9OracleSuperCluster〔图中右侧，扩展了engineeredsystemsSunSparcT-4SuperCluster/半机架配置，而且用户可以在半机架容量根底上进展1200CPU线程，4TB97TB198TB磁盘8.66TBSuperCluster事务处理和数据仓库性能相比传统效劳器架构能分别带来10和50倍速度提升。UnixSuperClusterx86硬件的数据仓库部署迁移大潮中力挽狂澜。甲骨文的Exadata和Exalogic都基于x86LinuxOracleOpenWorld中，甲骨文宣布pacheHadoop软件和相关的大数据设备。甲骨文也打算推BerkeleyDBNoSQL。9.ParAccel开发厂商——供给快速、选择性查询和列存储数据库，并基于大规模并行处理优势特点的产品。该公式表示，其平台支持一系列针对各种简单、先进应用的工作负载报告和分析。ParAccel大数据解决方案内置的分析算法可以为分析师供给高级数学运算、数据统计、和数据挖掘等各种功能，同时，它还供给一API，可以扩展数据库的各种数据处理力量和第三方分析应用。TablefunctionsC、C++等编写的定制算法的数据结ParAccelFuzzyLogix——一家供给各种描述统计学、统计试验模拟和