基于云计算的大数据应用

1、基于云计算的大数据应用技术创新，变革未来基于云计算的大数据应用李松林2012年10月主要内容问题技术经验电子商务的业务领域信息 流物流电子 商务资金 流商业 流面临的问题种类多系统多数据量大增长速度快亚历山大越快越好用户繁杂业务需求数据 业务报表Ad-Hoc查询挖掘OLAP长征之路依赖成熟的技术快速服务业务报应表用数据表达快速响应多维分析大用户访问大规模 计算大数据存储存储和计算融合分析挖掘做法Hadoop数据同步RDBMS报表/OLAPHBase数据流实时流式计算即 席 查 询、 数 据 挖 掘元 数 据 管 理、 以 及 其 他 服 务技术应用：Hadoop以及相关（1）基于Clouder

2、a CDH3版本增加了补丁和修正从最早的几十台，扩展到今天的数百台与Hive一起使用基于Hive 0.8函数开发/性能优化技术应用：Hadoop以及相关（2）用途日志处理预算、汇总Ad-hoc查询挖掘 技术应用：Hadoop以及相关（3）Hive应用只列出必须使用的列分区裁剪Join & MapJoin数据倾斜常见的优化参数mapred.map.tasksmapred.reduce.taskshive.merge.mapfilespress.outputhive.groupby.skewindatahive.optimize.skewjoin技术应用：Hadoop以及相关（3）补丁修复SPOF

3、 加强了运营和监控Ganglia + Nagios进程监控数据质量验证入口流程规范人员培训技术应用：HBase（1）应用版本基于0.90已经升级到0.92计划升级到0.94用途京东数据开放平台技术应用：HBase（2）特性高度可扩展大数据存储高速读写Schema按需而变数据高度安全多重分析计算手段1:10的压缩率技术应用：HBase（3）技术应用CoprocessorObserverEndPoint聚合函数多重索引Solr技术应用：挖掘（1）关联聚类分类预测技术应用：挖掘（2）R一个自由的、有效的、用于统计计算和绘图的语言和环境线性和非线性模型、统计检验、时间序列、分类、聚类等方法技术应用：挖

4、掘（3）/2011/08/poll-languages-for-data-mining-analytics.html技术应用：挖掘（4）RhadoopRmrRhdfsRhbase技术应用：流式计算（1）MapReduce的批量计算模式不能满足实时的业务需求越来越多的业务提供实时的数据支持，支持实时的运营支撑，更大的发挥数据的价值技术应用：流式计算（2）特点：流中的数据在线到达，需要实时处理无法控制流中数据的顺序，同时流中数据的大小也是不定的流中数据处理之后需要归档流计算分为有状态和无状态两种本质 DAG算法（节点）数据流（边）技术应用：流式计算（3）Storm信息流处理Stream processing连续计算Continuous computation分布式远程程序调用Distributed RPC技术应用：流式计算（4）应用事件收集器