大数据分析解决方案

{管理信息化大数据分析}大数据分析解决方案6、应用至少一种数据可视化工具。为了更有效的演示数据存在的模式和关系，能应用好数据可视化工具无疑是对数据分析员的一个加分。这里有20款数据可视化工具的链接。创新——好奇感、对新发现好奇，并且找出应对新问题的方法。他/她也要热情的及时相互沟通，从新问题中探索新产品的思路和解决方案，成为产品创新的驾驭者。商业技能应对大数据新发现的关键。数据分析员应该是能联系所有，很好的沟通者。第二、数据分析员要具有良好的规划和组织能力。这样他/她才能巧妙地处理多个任务、树立正确的优先顺序、保证按时完成任务。新。所有这些大数据的性质决定了数据分析员该具备的技巧和他们在企业中扮演的角色。盘点大数据分析的十二大杀手锏分类：BIMapReduce2011-11-1913:12218人阅读评论(0)收藏举报当数据以成百上千TB大数据分析迎来大时代网络的各类评论，成为了海量信息的多种形式。极具挑战性的是，传统的数据库部署不能处理数TB数据，也不能很好的支持高级别的数据分析。在过去十几年中，大规模并行处理（MPP）平台和列存储数据库开启了新一轮数据分界限变得更加模糊。更为重要的是，开始逐步出现了处理半结构化和非结构化信息的NoSQL等平台。大数据分析迎来大时代EMC的GreenplumHadoop和MapReduce等提供大数据分析的产品。此外，惠普前段时间收购实时分析平台Vertica、IBM独立的基于DB2智能分析系统和Netezza的相关产品。当然，也有微软的ParallelDataWarehouse、SAP旗下公司Sybase的SybaseIQ这十二大产品：1.模块化EMCAppliance处理多种数据类型2010年EMC收购了Greenplum，随后，利用EMC自身存储硬件和支持复制与备份功能的Greenplum大规模并行处理（MPP）数据库，推出了EMCGreenplumDataComputingAppliance(DCA)。通过与SAS和MapR等合作伙伴，DCA扩大了对Greenplum的数据库支持。支持大数据分析的EMCAppliance今年5月，EMC推出了自己的HadoopDCA将支持GreenplumSQL/关系型数据库，Hadoop部署也能在同样的设备上得到支持。借助HadoopEMCDCA也能够在同样的设备上支持长期保留的高容量的存储模块，从而满足监测需求。2.Hadoop和MapReduce提炼大数据Hadoop或非结构化、真正意义上的大数据（通常成百上千的TB甚至PBHadoop提供的MapReduce（和其他一些环境）是处理大数据集理想解决方案。MapReduce能将大数据问题分解成多个子问题，将它们分配到成百上千个处理节点之上，然后将结果汇集到一个小数据集当中，从而更容易分析得出最后的结果。MapReduce结构图Hadoop案。它已经成为很多互联网巨头，比如AOL、eHarmony（美国在线约会网站）、易趣、

Facebook、Twitter和Netflix大数据分析的主要解决方案。也有更多传统的巨头公司比如

摩根大通银行，也正在考虑采用这一解决方案。3.惠普Vertica电子商务分析今年二月被惠普收购的Vertica，是能提供高效数据存储和快速查询的列存储数据库实时分和维护。该数据库还支持大规模并行处理（MPP）。在收购之后，惠普随即推出了基于x86硬件的HPVertica。通过MPP的扩展性可以让Vertica为高端数字营销、电子商务客户（比如AOL、Twitter、Groupon）分析处理的数据达到PB级。惠普Vertica实时分析平台其实，早在惠普收购之前，Vertica就推出有包括内存、闪存快速分析等一系列创新产品。

它是首个新增Hadoop链接支持客户管理关系型数据的产品之一，也是首个基于云部署风险的产品平台之一。目前，Vertica支持惠普的云服务自动化解决方案。4.IBM提供运维和分析数据仓库去年，IBM推出了基于DB2的SmartAnalyticSystem（图中左侧），那么它为何还要收购另外的Netezza话记录。SmartAnalyticSystem提供了整合信息的DB2数据库，预配置CognosBI软件模块，可以在IBMPowerSystem（RISC或者X86架构）上运行。SmartAnalyticSystem及NetezzaNetezza致力于为数字化营销公司、电信、和其他挖掘成百上千TB甚至PB级别数据的公司，IBM的NetezzaTwinFin处理，可以在一天时间内部署完毕。Netezza支持多种语言和方式进行数据库分析，其中包括Java、C、C++、Python和MapReduce。与此同时，它还支持如SAS，IBMSPSS使用的矩阵操作方法和R编程语言。IBMNetezza最近增加了一个高容量长期存档设备以满足更多要求。5.Infobright减少DBA工作量和查询时间Infobright列存储数据库，旨在为数十TB级别数据提供各类分析服务。而这一块也正是甲骨文和微软SQLServer的核心市场之一。InfoBrightMySQL基础之上的数据务进行设计。列存储数据库能够自动创建索引，而且无需进行数据分区和DBA可以减少90%的人工工作量，而且由于其采用高数据压缩，在数据库许可和存储等方面的开支也可以减少一半。KnowledgeGrid查询引擎InfoBright最新的4.0版本产品，新增了一个DomainExpert的功能。企业用户可以借此忽

URL和IPKowledgeGrid查询引擎则可以帮助过滤那些无关的数据无需进行解压缩和筛选。6.Kognitio提供三倍速度和虚拟多维数据集KognitioIBM硬件产品上预配置有WX2数据库的LakesRivers和Rapids解决方案。Lakes能够以低成本、10TB数据存储和每个模块48个运算核心提供大容量存储服务。电信Rivers则提供

了容量和速度之间的平衡，预配置为2.5TB存储容量，它的每个模块拥有48个运算核心。而追求查询性能的Rapids，其预配置提供有96个运算核心，每个模块仅仅为1.5TB。该产品方案主要针对金融公司在算法交易或者其他高性能要求方面的需求。Kognitio基于内存运算的数据仓库和数据分析今年，Kognitio新增了一个虚拟化OLAP风格的Pablo分析引擎。它提供了灵活的、为企业用户进行分析的解决方案。用户可升级选用WX2构建一个虚拟多维数据集。因此，WX2数据库中任何一个维度的数据都可在内存中用于快速分析。这种分析的前端接口是我们常见的MicrosoftExcel。7.微软SQLServer新增PDW功能今年年初微软发布的SQLServerR2ParallelDataWarehouse（PDW，并行数据仓库），一改以往SQLServer部署时间需要花费两年半时间的历史，它可以帮助客户扩展部署数百TB级别软官网提供有让利折扣，但PDW售价仍超过13000美元/TB（用户和硬件访问量）。SQLServerPDW和很多产品一样，PDW“姗

姗来迟，而且在一定程度上说，数据仓库分析和内存分析计算市场落下了后腿。目前，微

软平台的数据和数据管理，将被广泛应用在信息集成领域

——ReportingandAnalysisServices，而这一切都基于SQLServer数据库。微软在今年10月12日通过推出ApacheHadoop和相关的SQLAzureHadoopAzure服务将在2011在也不清楚微软是否会与其他硬件合作伙伴或者相关大数据设备厂商合作。8.甲骨文讲述EngineeredSystems的故事Exadata2008年

1000engineeredsystem使得甲骨文11g支持基于X86的数据处理和磁盘存储层，其闪存缓存也使得可以实现超快速查询处理。它既可应用在任意事务环境中，也可以应用在数据仓库（但不能同时进行）。Exadata的混合柱状压缩能够实现列存储数据库的某些高效率特点，提供高达10:1的压缩比，而大部分行存储数据库的平均压缩比为4:1。甲骨文在9月通过宣布OracleSuperClusterengineeredsystems产品家族。它采用了最新的SunSparcT-4芯片。SuperCluster支持全机架/半机架配置，而且用户可以在半机架容量基础上进行扩容。满额配置提供有1200个CPU线程，4TB内存，97TB至198TB磁盘存储，8.66TB闪存。甲骨文大数据分析系统设施甲骨文声称，SuperCluster事务处理和数据仓库性能相比传统服务器架构能分别带来10倍和50UnixSuperClusterx86硬件的数据仓库部署迁移大潮中力挽狂澜。甲骨文的Exadata和Exalogic都基于x86架构而且运行Linux系统。在十月召开的OracleOpenWorldpacheHadoop软件和相关的大数据设备。甲骨文也计划推出一个独立的基于开源BerkeleyDB产品的NoSQL。9.ParAccel大打列存储、MPP和数据库分析组合拳ParAccel是ParAccelAnalyticDatabase（PADB）的开发厂商——提供快速、选择性查询和对各种复杂、先进应用的工作负载报告和分析。ParAccel大数据解决方案它还提供一个开放的API，可以扩展数据库的各种数据处理能力和第三方分析应用。Tablefunctions被用来传送和接收第三方和采用C、C++等编写的定制算法的数据结果。ParAccel与FuzzyLogix——一家提供各种描述统计学、统计实验模拟和模式识别功能库功Tablefunctions还支持MapReduce和广泛应用在金融服务的700多种分析技术。10.Sybase推进IQ列存储数据库SAP旗下的Sybase是列存储数据库管理系统的首批厂商，而且目前仍然是拥有2000多个客户的畅销厂商。今年夏天推出了SybaseIQ15.3版本，该版本产品能够处理更多数据和更多PlexQ的大规模并行处理功能。基于MPP大规模并行处理的PlexQ算机，加速了高度复杂的查询。有报道说，它能提供比现有的IQ部署快12倍的交付能力。

SybaseIQ15.3PlexQ网格中跨CPU的查询服务。为了确保实现最快速度的查询，PlexQ包含了一个逻辑服务器——让管理员对PlexQ网格的物理服务器组成虚拟群集，以便优化分析工作负载、用户需求和应用程序。SybaseIQ和其他大多数的支持MPP功能的产品之间区别主要在于，它采用了全共享的方式。全共享的缺点是CPUSANSybaseCPU都会访问所有的数据。所以，我们可以对某个特定的查询尽可能多（或者少）地分配计算资源。11.Teradata从EDWs跨入大规模分析领域一旦成为企业级数据仓库（EDW）的宣传者，近年来Teradata就已经放松了扩展Teradata很多企业工作量管理的功能模块，包括虚拟OLAP（三维立体式）分析模型。Teradata化数据领域几乎没有很大成果。这也就是为什么该公司要收购AsterData——一家提供SQL-MapReduce框架的公司。MapReduce处理拥有广泛的市场需求，因为存在着大量的互联网点击数据、传感数据和社交媒体内容。Teradata平台产品家族Teradata日前宣布了一项AsterDataMapReduce产品的计划，它建立在以往产品同样的硬件平台之上，而且在Teradata和AsterData之间新增了两种集成方法。通过收购，Teradata打破了在数据仓储业被认为最广泛、最具扩展性的界限。12.1010data提供基于云计算大数据分析正如标题所说，1010data供基于云的沙箱测试和开发环境，但1010data的管理数据库服务，主要针对将整个工作负载迁移到云的全过程。该服务支持一种提供“丰富而又高级的内置分析功能，其中包括有预测分析。其一大卖点是服务包括了数据建模和设计、信息集成和数据转换。1010data提供基于云计算大数据分析其客户包括有对冲基金、全球各大银行、证券交易商，零售商和包装消费品公司。何谓大数据？大数据，也就是国外常说的BigData。IBM把大数据概括成了三个V，即大量化（Volume）、多样化（Variety）和快速化（Velocity）。这些特点也反映了大数据所潜藏的价值（Value），我们也可以认为，四个V高度概括了大数据的基本特征。行抓取、管理和处理的数据集合。大数据时代分析技术如何进化2012-06-1907:30比特网袁斌关键字：FICO大数据费埃哲当你在应用信用卡进行交易时，你可能没有意识到，这笔交易是否成功，是由费埃哲(FICO)公司的产品在后台进行智能判断和监测的。目前，费埃哲公司的Falcon解决方案在帮助客户监控全球2/3用——(FICO)公司首席执行官WillLansing先生。费埃哲（FICO）公司首席执行官WillLansing先生问：大数据对软件和硬件都有非常强的挑战，所以现在业界有一种趋势，要做软硬件结合，Exalytics系统。那么，您是如何看待这一趋势？费埃哲公司会如何更好地与硬件进行优化整合？这是一个非常好的问题。就费埃哲公司而言，基础架构并不是我们的专长，所以我们要和我们的客户去合作。目前，我们有一些合作方式是基于SaaS的，也有一些是基于其它各些实验室合作，例如Cloudera，借此来拓展我们的能力，消除我们(对硬件基础设施在理解上)的局限性。积累。那么，这种积累如何推广到其他行业？费埃哲公司在垂直行业已经有很长时间的积累了，这也是我们能够将业务拓展到非金融

的行为也非常近似。所以，我们在金融行业的客户管理经验，也可以应用到零售行业。

累。因此，费埃哲在国内的保险理赔反欺诈的案例就非常成功——客户回访时，他们表示，

现在能够通过数据分析，实时抓住大批量的理赔欺诈。答：大数据的定义当中，包括3个V(高容量、高速度、多类型)。虽然费埃哲的信用卡反欺

些数据来做出快速决策。尽管我们现在只能做到这三个V地来解决这个问题的。随着基础架构不断的完善和演进，费埃哲的解决方案也会发生变化。问：在数据爆发的时代，我们进行数据分析的方式需要改变吗？我们关于大数据的绝大多数讨论都集中在数据的规模，并没有相应关注在数据分析方式的改变。“数据流”的分析对于FICO并不陌生，其中最好的应用莫过于我们的反欺诈解决方案——FICOFalconFraudManagerFalcon的特征，以便计算相关的欺诈特点的变量，而不依赖由此生成的既有数据。ATMFICO技术将弥补传统方式的不足。自学习技术甚至将可能在某些领域取代传统的模式。“多层自我校正分析技术的体系结构与神经网络模式类似，但与之不同的是新模式可以在数据流中自我“多层自我校对系统与目前通用的技术相比，我们预见未来的分析技术将大幅提高。吗？今天的大数据分析情况确实如你所说的这样。但我相信，在不远的将来，我们会需要直重新建模——在数据集不断增加的情况下，可能需要考虑应用Hadoop技术进行存储，否则我们就没有容量足够大的存储空间;另一种方式则是采用基于机器学习的方法，来进行大数据的处理和分析。将来才可以实现。问：那么，您认为机器学习和传统模型这两种数据分析方式，哪种更有发展前途？大数据的最终目标就是利用各种数据来做出最好的决策。大数据最美的地方，就是我们效率的数据。习的这种方式，有可能会取代假设的这种模型。问：在金融领域的机器学习应该具有什么特性？以小额贷款的机器学习为例，这需要非常快速观察和衡量，能够迅速发现坏帐，这样才并且最终能够降低风险。技术基础：大数据分析技术的发展ZDNet存储系统来源：赛迪网2012年05月16日评论(0)关键词：大数据MapReduceGoogle本文摘要司在激烈竞争环境中的位置。首先，以Google为首的技术型互联网公司提出了MapReduce

的技术框架，利用廉价的PC服务器集群，大规模并发处理批量事务。司在激烈竞争环境中的位置。首先，以Google为首的技术型互联网公司提出了MapReduce

的技术框架，利用廉价的PC服务器集群，大规模并发处理批量事务。方案与之前昂贵的企业小型机集群+商业数据库方案相比，不仅没有丢失性能，而且还赢在

可扩展性。通常的方法是预估今后一段时期内的业务量和数据量，加入多余的计算单元

（CPU）和存储，以备不时只需。设计问题，所以其可扩展性必然有限。而MapReduce+GFS我们用得更多的是GoogleMapReduceHadoop言、高效的数据处理在线事务的能力，长时间地占据了市场的主导地位。被逐渐暴露。随之而来，NoSQL数据存储模型开始风行。NoSQL，也有人理解为NotOnlySQL，数据表模式、可以分布式和水平扩展。NoSQL并不是单纯的反对关系型数据库，而是针对其缺点的一种补充和扩展。典型的NoSQL数据存储模型有文档存储、键-值存储、图存储、对象数据库、列存储等。而比较流行的，不得不提到Google提出的Bigtable。Bigtable进行分布式存储，总数据量可达PB级（10的15次方字节，106GBHBase是其开源实现。GoogleMapReduce框架，成长出了一批优秀的开源项目。这些项目在技术和实现上相互支持和依托，逐渐形成了一个特有的生态系统。这里借用Cloudera所描绘的架构图来展现Hadoop生态系统。这个系统为我们实现优质廉价的大数据分析提供了坚实的技术基础。使用Storm实现实时大数据分析！实时Storm大数据摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。

ShruthiKumar和SiddharthPatankar在Storm

进行实时大数据分析。CSDN在此编译、整理。简单和明了，Storm让大数据分析变得轻松加愉快。当今世界，公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕

有效的开源实时计算工具就是Storm——Twitter开发，通常被比作“实时的Hadoop”。然

而Storm远比Hadoop来的简单，因为用它处理大数据不会带来新老技术的交替。

ShruthiKumar、SiddharthPatankar共同效力于Infosys，分别从事技术分析和研发工作。

本文详述了Storm的使用方法，例子中的项目名称为“超速报警系统

（SpeedingAlertSystem）”。我们想实现的功能是：实时分析过往车辆的数据，一旦车辆

数据超过预设的临界值——便触发一个trigger并把相关的数据存入数据库。

Storm对比Hadoop的批处理，Storm是个实时的、分布式以及具备高容错的计算系统。同Hadoop

一样StormStorm在保证高可靠性的前提下还可以让处理进

行的更加实时；也就是说，所有的信息都会被处理。Storm同样还具备容错和分布计算这些Storm可以扩展到不同的机器上进行大批量的数据处理。他同样还有以下的这些特性：topologyStorm使用HadoopZookeeper进行集群协调，这样可以充分的保证大型集群的良好运行。每条信息的处理都可以得到保证。Storm集群管理简易。Stormtopology递交，Storm会一直运行它直到topology被废除或者被关闭。而在执行中出现错误时，也会由Storm重新分配任务。尽管通常使用Java，Storm中的topology可以用任何语言设计。当然为了更好的理解文章，你首先需要安装和设置Storm。需要通过以下几个简单的步骤：从Storm官方下载Storm安装文件将bin/directory解压到你的PATH上，并保证bin/storm脚本是可执行的。Storm组件Storm集群主要由一个主节点和一群工作节点（workernode）组成，通过Zookeeper进行协调。主节点：主节点通常运行一个后台程序——Nimbus故障。这个很类似于Hadoop中的JobTracker。工作节点：工作节点同样会运行一个后台程序——Supervisor进程。每个工作节点都是topology中一个子集的实现。而Nimbus和Supervisor之间的协调则通过Zookeeper系统或者集群。ZookeeperZookeeper是完成Supervisor和Nimbus之间协调的服务。而应用程序实现实时的逻辑则被封装进Storm中的“topology”topology则是一组由SpoutsBolts（数据操作）通过StreamGroupings进行连接的图。下面对出现的术语进行更深刻的解析。Spout：简而言之，Spout从来源处读取数据并放入topologySpoutStormSpout会对tupleSpout不会考虑接收成功与否只发射一次。而Spout中最主要的方法就是nextTuple（），该方法会发射一个新的tuple到topology，如果没有新tuple发射则会简单的返回。Bolt：Topology中所有的处理都由Bolt完成。Bolt可以完成任何事，比如：连接的过滤、聚合、访问文件/数据库、等等。Bolt从Spout中接收数据并进行处理，如果遇到复杂流的处理也可能将tuple发送给另一个Bolt进行处理。而Bolt中最重要的方法是execute（），以新的tupleSpout还是Bolttuple以通过declareStream（）来声明。StreamGroupings：StreamGrouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个StreamGrouping类型：1.随机分组（Shufflegroupingtuple到Bolt的任务，保证每个任务获得相等数量的tuple。2.字段分组（Fieldsgrouping）：根据指定字段分割数据流，并分组。例如，根据“user-id”字段，相同“user-id”的元组总是分发到同一个任务，不同“user-id”的元组可能分发到不同的任务。3.全部分组（Allgrouping）：tuple被复制到bolt的所有任务。这种类型需要谨慎使用。4.全局分组（Globalgrouping）：全部流都分配到bolt的同一个任务。明确地说，是分配给ID最小的那个task。5.无分组（Nonegrouping）：你不需要关心流是如何分组。目前，无分组等效于随机分组。但最终，Storm将把无分组的Bolts放到Bolts或Spouts可能）。6.直接分组（Directgroupingtuple由哪个元组处理者任务接收。当然还可以实现CustomStreamGroupimg接口来定制自己需要的分组。项目实施当下情况我们需要给Spout和Bolt设计一种能够处理大量数据（日志文件）的topology，

Storm的topology件并且监视输入数据。在Storm组件方面，Spout负责读入输入数据。它不仅从现有的文件

Spout会读入新的版本并且覆盖之前的tuple（可以被Bolt读入的格式），将tuple发射给Bolt进行临界分析，这样就可以发现所有可能超临界的记录。下一节将对用例进行详细介绍。临界分析instantthershold）和时间序列临界（timeseriesthreshold）。瞬间临界值监测：一个字段的值在那个瞬间超过了预设的临界值，如果条件符合的

话则触发一个trigger。举个例子当车辆超越80公里每小时，则触发trigger。时间序列临界监测：字段的值在一个给定的时间段内超过了预设的临界值，如果条件符合则触发一个触发器。比如：在5分钟类，时速超过80KM两次及以上的车辆。ListingOne行驶的速度以及数据获取的位置。AB12360NorthcityBC12370SouthcityCD23440SouthcityDE12340EastcityEF12390SouthcityGH12350Westcity这里将创建一个对应的XMLXML将用于日志文件的解析。XML的设计模式和对应的说明请见下表。XML文件和日志文件都存放在Spout可以随时监测的目录下，用以关注文件的实时更新。而这个用例中的topology请见下图。Figure1：Storm中建立的topology，用以实现数据实时处理如图所示：接收输入日志并进行逐行的读入，接着将数据发射给ThresoldCalculatorBoltDBWriterBolt由DBWriterBolt存入给数据库。下面将对这个过程的实现进行详细的解析。Spout的实现Spout以日志文件和XML描述文件作为接收对象。XML文件包含了与日志一致的设计模式。不妨设想一下一个示例日志文件，包含了车辆的车牌号、行驶速度、以及数据的捕获位置。（看下图）Figure2：数据从日志文件到Spout的流程图ListingTwo显示了tuple对应的XML及字段的类型。XML文件以及数据都被保存到Spout指定的路径。ListingTwo：用以描述日志文件的XML文件。1.<TUPLEINFO>2.<FIELDLIST>3.<FIELD>4.<COLUMNNAME>vehicle_number</COLUMNNAME>5.<COLUMNTYPE>string</COLUMNTYPE>6.</FIELD>7.<FIELD>8.<COLUMNNAME>speed</COLUMNNAME>9.<COLUMNTYPE>int</COLUMNTYPE>10.</FIELD>11.<FIELD>12.<COLUMNNAME>location</COLUMNNAME>13.<COLUMNTYPE>string</COLUMNTYPE>14.</FIELD>15.</FIELDLIST>16.<DELIMITER>,</DELIMITER>17.</TUPLEINFO>通过构造函数及它的参数Directory、PathSpout和TupleInfo对象创建Spout对象。TupleInfo储存了日志文件的字段、定界符、字段的类型这些很必要的信息。这个对象通过XSTream序列化XML时建立。Spout的实现步骤：对文件的改变进行分开的监听，并监视目录下有无新日志文件添加。在数据得到了字段的说明后，将其转换成tuple。声明Spout和Bolt之间的分组，并决定tuple发送给Bolt的途径。Spout的具体编码在ListingThree中显示。ListingThree：Spout中open、nextTuple和delcareOutputFields方法的逻辑。1.publicvoidopen(Mapconf,TopologyContextcontext,SpoutOutputCollectorcollector)2.{3._collector=collector;4.try5.{6.=newBufferedReader(new(new)));7.}8.catch(e)9.{10.(1);11.}12.}13.publicvoidnextTuple()14.{15.protectedvoidListenfile)16.{17.(2000);18.RandomAccess=null;19.Stringline=null;20.try21.{22.while((line=())!=null)23.{24.if(line!=null)25.{26.String[]fields=null;27.if(().equals("|"))fields=("\\"+());28.else29.fields=(());30.if(().size()==)_(newValues(fields));31.}32.}33.}34.catch(IOExceptionex){}35.}36.}37.publicvoiddeclareOutputFields(OutputFieldsDeclarerdeclarer)38.{39.String[]fieldsArr=newString[().size()];40.for(inti=0;i<().size();i++)41.{42.fieldsArr[i]=().get(i).getColumnName();43.}44.(newFields(fieldsArr));45.}declareOutputFiledstupleBolt就可以用类似的方法将tuple译码。Spout持续对日志文件的数据的变更进行监听，一旦有添加Spout就会进行读入并且发送给Bolt进行处理。Bolt的实现Spout的输出结果将给予Bolt进行更深一步的处理。经过对用例的思考，我们的topology中需要如Figure3中的两个Bolt。Figure3：Spout到Bolt的数据流程。ThresholdCalculatorBoltSpout将tuple发出，由ThresholdCalculatorBolt接收并进行临界值处理。在这里，它将接收好几项输入进行检查；分别是：临界值检查临界值栏数检查（拆分成字段的数目）临界值数据类型（拆分后字段的类型）临界值出现的频数临界值时间段检查ListingFour中的类，定义用来保存这些值。ListingFour:ThresholdInfo类1.publicclassThresholdInfoimplementsSerializable2.{3.privateStringaction;4.privateStringrule;5.privateObjectthresholdValue;6.privateintthresholdColNumber;7.privateIntegertimeWindow;8.privateintfrequencyOfOccurence;9.}基于字段中提供的值，临界值检查将被ListingFive中的execute（）方法执行。代码大部分的功能是解析和接收值的检测。ListingFive：临界值检测代码段1.publicvoidexecute(Tupletuple,BasicOutputCollectorcollector)2.{3.if(tuple!=null)4.{5.List<Object>inputTupleList=(List<Object>)();6.intthresholdColNum=();7.ObjectthresholdValue=();8.StringthresholdDataType=().get(thresholdColNum-1).getColumnType();9.IntegertimeWindow=();10.intfrequency=();11.if(("string"))12.{13.StringvalueToCheck=(thresholdColNum-1).toString();14.StringfrequencyChkOp=();15.if(timeWindow!=null)16.{17.longcurTime=();18.longdiffInMinutes=(curTime-startTime)/(1000);19.if(diffInMinutes>=timeWindow)20.{21.if(("=="))22.{23.if((()))24.{25.();26.if(()>frequency)27.splitAndEmit(inputTupleList,collector);28.}29.}30.elseif(("!="))31.{32.if(!(()))33.{34.();35.if(()>frequency)36.splitAndEmit(inputTupleList,collector);37.}38.}39.else.println("Operatornotsupported");40.}41.}42.else43.{44.if(("=="))45.{46.if((()))47.{48.();49.if(()>frequency)50.splitAndEmit(inputTupleList,collector);51.}52.}53.elseif(("!="))54.{55.if(!(()))56.{57.();58.if(()>frequency)59.splitAndEmit(inputTupleList,collector);60.}61.}62.}63.}64.elseif(("int")||("double")||("float")||("long")||("short"))65.{66.StringfrequencyChkOp=();67.if(timeWindow!=null)68.{69.longvalueToCheck=((thresholdColNum-1).toString());70.longcurTime=();71.longdiffInMinutes=(curTime-startTime)/(1000);72..println("Differenceinminutes="+diffInMinutes);73.if(diffInMinutes>=timeWindow)74.{75.if(("<"))76.{77.if(valueToCheck<(()))78.{79.();80.if(()>frequency)81.splitAndEmit(inputTupleList,collector);82.}83.}84.elseif((">"))85.{86.if(valueToCheck>(()))87.{88.();89.if(()>frequency)90.splitAndEmit(inputTupleList,collector);91.}92.}93.elseif(("=="))94.{95.if(valueToCheck==(()))96.{97.();98.if(()>frequency)99.splitAndEmit(inputTupleList,collector);100.}101.}102.elseif(("!="))103.{104....105.}106.}107.}108.else109.splitAndEmit(null,collector);110.}111.else112.{113..println("Emittingnullinbolt");114.splitAndEmit(null,collector);115.}116.}经由Bolt发送的的tuple将会传递到下一个对应的Bolt，在我们的用例中是DBWriterBolt。DBWriterBolt经过处理的tuple必须被持久化以便于触发tigger或者更深层次的使用。DBWiterBolt做了这个持久化的工作并把tuplepreparetopology调用的第一个方法。方法的编码如ListingSix所示。ListingSix：建表编码。1.publicvoidprepare(MapStormConf,TopologyContextcontext)2.{3.try4.{5.(dbClass);6.}7.catch(ClassNotFoundExceptione)8.{9..println("Drivernotfound");10.e.printStackTrace();11.}12.try13.{14.connection(15."jdbc:mysql://"+databaseIP+":"+databasePort+"/"+databaseName,userName,pwd);16.("DROPTABLEIFEXISTS"+tableName).execute();17.StringBuildercreateQuery=newStringBuilder(18."CREATETABLEIFNOTEXISTS"+tableName+"(");19.for(Fieldfields:())20.{21.if(().equalsIgnoreCase("String"))22.(()+"VARCHAR(500),");23.else24.(()+""+()+",");25.}26.("thresholdTimeStamptimestamp)");27.(()).execute();28.//InsertQuery29.StringBuilderinsertQuery=newStringBuilder("INSERTINTO"+tableName+"(");30.StringtempCreateQuery=newString();31.for(Fieldfields:())32.{33.(()+",");34.}35.("thresholdTimeStamp").append(")values(");36.for(Fieldfields:())37.{38.("?,");39.}40.("?)");41.prepStatement=(());42.}43.catch(SQLExceptione)44.{45.e.printStackTrace();46.}47.}数据分批次的插入数据库。插入的逻辑由ListtingSeven中的execute（）方法提供。大部分的编码都是用来实现可能存在不同类型输入的解析。ListingSeven：数据插入的代码部分。1.publicvoidexecute(Tupletuple,BasicOutputCollectorcollector)2.{3.batchExecuted=false;4.if(tuple!=null)5.{6.List<Object>inputTupleList=(List<Object>)();7.intdbIndex=0;8.for(inti=0;i<().size();i++)9.{10.Fieldfield=().get(i);11.try{12.dbIndex=i+1;13.if(().equalsIgnoreCase("String"))14.(dbIndex,(i).toString());15.elseif(().equalsIgnoreCase("int"))16.(dbIndex,17.((i).toString()));18.elseif(().equalsIgnoreCase("long"))19.(dbIndex,20.((i).toString()));21.elseif(().equalsIgnoreCase("float"))22.(dbIndex,23.((i).toString()));24.elseif(().equalsIgnoreCase("double"))25.(dbIndex,26.((i).toString()));27.elseif(().equalsIgnoreCase("short"))28.(dbIndex,29.((i).toString()));30.elseif(().equalsIgnoreCase("boolean"))31.(dbIndex,32.((i).toString()));33.elseif(().equalsIgnoreCase("byte"))34.(dbIndex,35.((i).toString()));36.elseif(().equalsIgnoreCase("Date"))37.{38.DatedateToAdd=null;39.if(!((i)instanceofDate))40.{41.DateFormatdf=newSimpleDateFormat("yyyy-MM-ddhh:mm:ss");42.try43.{44.dateToAdd=((i).toString());45.}46.catch(ParseExceptione)47.{48..println("Datatypenotvalid");49.}50.}51.else52.{53.dateToAdd=(Date)(i);54..DatesqlDate=new.Date(());55.(dbIndex,sqlDate);56.}57.}58.catch(SQLExceptione)59.{60.e.printStackTrace();61.}62.}63.Datenow=newDate();64.try65.{66.(dbIndex+1,new.Timestamp(()));67.();68.();69.if(()==batchSize)70.executeBatch();71.}72.catch(SQLExceptione1)73.{74.e1.printStackTrace();75.}76.}77.else78.{79.longcurTime=();80.longdiffInSeconds=(curTime-startTime)/(60*1000);81.if(()<batchSize&&diffInSeconds>batchTimeWindowInSeconds)82.{83.try{84.executeBatch();85.startTime=();86.}87.catch(SQLExceptione){88.e.printStackTrace();89.}90.}91.}92.}93.publicvoidexecuteBatch()throwsSQLException94.{95.batchExecuted=true;96.();97.counter=newAtomicInteger(0);98.}一旦Spout和Bolttopology生成器将会建立topology并准备执行。下面就来看一下执行步骤。在本地集群上运行和测试topology通过TopologyBuilder建立topology。使用StormSubmittertopologytopologytopology的对象作为参数。提交topology。ListingEight：建立和执行topology。1.publicclassStormMain2.{3.publicstaticvoidmain(String[]args)throwsAlreadyAliveException,4.InvalidTopologyException,5.InterruptedException6.{7.Parallelparallel=newParallel();8.ThresholdBoltthresholdBolt=newThresholdBolt();9.DBWriterBoltdbWriterBolt=newDBWriterBolt();10.TopologyBuilderbuilder=newTopologyBuilder();11.("spout",parallel,1);12.("thresholdBolt",thresholdBolt,1).shuffleGrouping("spout");13.("dbWriterBolt",dbWriterBolt,1).shuffleGrouping("thresholdBolt");14.if(!=null&&.length>0)15.{16.(1);17.(18.[0],conf,());19.}20.else21.{22.Configconf=newConfig();23.(true);24.(3);25.LocalClustercluster=newLocalCluster();26.(27."Threshold_Test",conf,());28.}29.}30.}topology被建立后将被提交到本地集群。一旦topology被提交，除非被取缔或者集群关闭，它将一直保持运行不需要做任何的修改。这也是Storm的另一大特色之一。这个简单的例子体现了当你掌握了topologyspout和boltStorm进行实时处理。如果你既想处理大数据又不想遍历Hadoop的话，不难发现使用Storm将是个很好的选择。五步建立有效的大数据分析程序存储在线12年09月03日10:21【转载】作者：机房360责任编辑：黄辉不能过分的夸大。这里谈大数据分析的五个步骤。关键词：数据分析大数据分的夸大。以下的五点建议，可供企业参考借鉴，以帮助企业确保顺利实现部署：首先，决定要收集哪些数据。战略性数据。例如，什么样的组合信息可以帮助确定关键客户?或者需要什么样的数据帮助发现隐藏在股市中的交易模式?在规划阶段专注于一个项目的业务目标，可以帮助企业进行他情况下，它意味着只使用大数据的一个子集。第二，建立有效的业务规则，然后通过他们创建的复杂工作。包括以业务为中心的数据拥有者是必不可少的，以确保所有必要的业务规则是事先确定的。相关的领域进行有价值的发现。这导致进入下一个阶段的实施情况，讨论如下。第三，以合作方式将业务规则转化为相关分析。IT或分析专业人士需要创建解首位，重建是必须的。许多项目需要不断的重复，因为项目团队和业务部门之间缺乏沟通。

持续的沟通和合作，会到来更流畅的分析开发过程。第四，有一套维护计划。应需求的变化，将随着时间的推移，保持其价值。第五，时刻牢记用户的需求。随着人们越来越感兴趣采用自助服务的商务智能(BI)据分析计划是一个关键因素感到震惊。当然，有一个强大的IT基础架构，可以处理大型数

十分必要的，这样做意味着要考虑不同用户的需求。不同类型的人-从高级管理人员到操作

人来说易于理解，使得他们不再倾向于运行自己的大数据分析查询。确保企业从他们的大数据分析的投资中获得期望的结果。大数据的特点及应对策略CIO时代12年08月30日13:59【转载】作者：佚名责任编辑：王光不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。关键词：大数据大数据的主要特点及应对策略要理解大数据这一概念，首先要从“大”入手，“大”是指数据规模，大数据一般指在10TB(1TB=1024GB)用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。TBPB监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC式。不仅指数据本身的规模，也包括采集数据的前沿。大数据应对的大方略当下我国大数据研发建设应在以下四个方面着力。建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。定基础。设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数据共享。和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍大数据分析项目需要考虑的注意事项来源：机房360作者：2012-9-219:50:22行业：云计算“大数据”已成为时下人们最为津津乐道的流行语。同时流行的术语还包括：商业智能（BI们解决在大数据环境下的业务问题。那么，到底什么是大的数据呢？最近，IT出版物eWeek提出了如下的看法，部分是基于Gartner公司的术语进行定义的：“大数据涉及到结构化和非结构化数据的数量、种类和速度，通过网络在处理器和存储设备之间传输，并为企业的相关业务提供相关数据业务咨询。”这一描述切中了数据管理和分析的部分，但却忽略了围绕着大数据的业务挑战这一基本面：复杂性。例如，大数据的安装往往涉及信息——络活动日志和其他数据源，这些都不能简单的融入到传统的数据仓库系统。数据分析软件厂商都不得不以加强了他们的产品，以帮助企业应对大数据的主要原因。大数据分析项目的大议程许多企业一直都有庞大的数据集。但现在，越来越多的企业存储的数据已经是TB级的，而不再是PB级的了。此外，他们正在寻找每日多次分析关键数据，甚至是实时的分析，改变传统的每周或每月进行BI历史数据审查的过程。他们要处理更多和更复杂的查询，这涉及BI自助服务功能，使他们更容易了解分析结果。所有这一切都可以发挥到一个大数据分析策略中，技术供应商解决这些需要以不同的方式。Hadoop和MapReduce等开源技术支持等。理。业首先应该考虑以下的事项和问题：•所需数据的及时性，因为不是所有的数据库都支持实时数据的可用性。•客户行为、风险因素和其他业务指标有一个广泛的认识。•年的数据，这将如何处理？•在你的行业，哪些技术供应商具备了大数据分析经验，他们是否具有相关的跟踪记录？•在企业内，谁负责各种数据，以及这些负责人将如何参与主动的大数据分析？识别技术方面带来一定的支持。大数据(BigData)分析解决方案通常意义上讲，大数据(BigData)包括海量交易数据（结构化数据）和海量交互数据集（非结构化数据）在内的所有数据集，其规模（PB级别）或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。传统的企业用户的海量数据分析处理系统目前绝大多数都采用高性能主机+高端存储的Shared-Everything兴行业普遍采用的分布式Shared-Nothing大数据处理架构已经证明了大数据分析处理行业可以有着完全不同的演进方向。通常意义上讲，大