Storm 实战：构建大数据实时计算

Storm实战：构建大数据实时计算2014年电子工业出版社出版的图书01推荐目录前言内容提要作者简介目录03050204基本信息《Storm实战：构建大数据实时计算》是2014年电子工业出版社出版的图书，作者是阿里巴巴集团数据平台事业部商家数。推荐推荐Storm以其简单、灵活、健壮而著称。随着大数据实时处理需求的强劲增长，Storm的出现填补了大数据处理生态系统的缺失，并被越来越多的公司所采用。《Storm实战：构建大数据实时计算》来自阿里巴巴集团数据平台事业部商家数据业务部一线经验的分享。团队专注于“数据让生意更简单”的大数据应用使命，一直致力于解决商家的大数据应用需求。并开发出量子恒道店铺经、江湖策、御膳房等重量级大数据开发、计算和分析工具。团队很早便开始使用Storm来处理实时大数据，结合实际的应用场景，积累了丰富的实践经验。《Storm实战：构建大数据实时计算》正是这些经验和心得的结晶，它一一解答了是Storm是什么，怎么做，如何做更好等关键的实际问题，对于从事大数据处理与分析的读者而言，是一本相当有价值的学习参考手册。阿里巴巴集团技术丛书是抱持着为工程师服务的理念诞生的。阿里的快速发展，使我们有机会见证技术变革的强大力量。在这过程中，我们经历了技术的变迁、兴衰、成败，既有收获也有教训。如今，阿里已成为一家令人瞩目的互联网公司，站在这样的时点上，回顾过去，放眼四周，我们深刻地觉得有必要将沉淀下来的一线经验与智慧，结集出版，理由有三。1．回报。我们获得的种种经验与教训，只有在阿里这样快速成长、体量巨大的公司中才有机会亲历。这样的技术环境并不是每个工程师都有机缘遇到的。内容提要内容提要随着大数据实时处理需求的强劲增长，Storm的出现填补了大数据处理生态系统的缺失，并被越来越多的公司所采用。阿里巴巴集团数据平台事业部商家数据业务部正是最早使用Storm的技术团队之一。《Storm实战：构建大数据实时计算》是一本系统并且具有实践指导意义的Storm工具书和参考书，对Storm整个技术体系进行了全面的讲解，不仅包括对基本概念、特性的介绍，也涵盖了一些原理说明。实战性很强，各章节都提供了一些小案例，同时对于本地，以及集群环境的部署有详细介绍，易于理解，操作性强。《Storm实战：构建大数据实时计算》一共分为10章：第1章全面介绍了Storm的特性、能解决什么问题，以及和其他流计算系统的对比；第2章通过实际运行一个简单的例子，以及介绍本地环境和集群环境的搭建，让读者对Storm有了直观的认识；第3章深入讲解了Storm的基本概念，同时实现一个Topology运行；第4章和第5章阐述了Storm的并发度、可靠处理的特性；第6章~第8章详细而系统地讲解了几个高级特性：事务、DRPC和Trident；第9章以实例的方式讲解了Storm在实际业务场景中的应用；第10章总结了几个在大数据场景应用过程中遇到的经典问题，以及详细的排查过程。目录目录第1章Storm基础11.1Storm能做什么...............................................21.2Storm特性......................................................31.3其他流计算系统..............................................81.4应用模式.......................................................13第2章Storm初体验172.1本地环境搭建...............................................182.2Storm集群....................................................25第3章构建Topology413.1Storm基本概念.............................................423.2构建Topology...............................................作者简介作者简介商家数据业务部,隶属于阿里巴巴集团数据平台事业部，致力于“数据让生意更简单”的大数据应用使命。几年来，一直专注于解决商家的大数据应用需求，通过量子恒道店铺经已支撑起超过400万商家的日常经营决策，并为100万商家提供淘宝官方流量管理工具——江湖策，让深度探索、优化流量成为可能。2013年开创性地推出云数据平台——御膳房，作为完善的大数据开放、计算和分析云平台，打通了“阿里大数据”与“开放平台和服务市场体系”，为淘宝生态中的ISV和卖家提供海量丰富的阿里大数据、强大稳定的云计算处理能力和安全的数据应用开发容器，支持淘宝生态圈发展基于大数据分析的创新应用，深度助力卖家降低经营成本、提升效率，已为数百万的商家提供经营链路中的大数据应用解决方案。支撑这些的，是对大数据的分布式计算、仓库建设、数据挖掘、高并发网站构建、数据可视化等各个领域前沿技术的深入探索和应用。前言前言实时流计算互联网从诞生的一刻起，对世界的最大改变就是让信息能够实时交互，从而大大提高各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确地说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得20世纪90年代，很多银行别说实时转账，连实时查询都做不到，但是数据库和高速网络改变了这个情况。互联网的进一步发展，从Portal信息浏览型到Search信息搜索型再到SNS关系交互传递型，以及电子商务、互联网旅游生活产品等，将人们生活中的流通环节在线化。对效率的要求让大家对实时性的要求进一步提升，而信息的交互和沟通正在从点对点向信息链甚至信息网的方向发展，这样必然带来数据在各个维度的交叉关联，数据爆炸已不可避免。因此流式处理加NoSQL产品应运而生，分别解决实时处理框架和数据大规模存储计算的问题。早在2000年初，诸如UC伯克利、斯坦福等大学就开始了对流式数据处理的研究，但是由于更多地**于金融行业的业务场景或者互联网流量监控的业务