阿里大数据架构

1、系统架构概述Yes, We KAO更强，更高，更持久课程目标和内容了解什么是架构 了解Alibaba网站架构的历史掌握Alibaba网站架构的现状掌握网站架构设计的理念什么是架构?架构规定了软件的高层划分及各部分间的 交互-架构不是软件，但架构决策体现于软件平台和 框架之中-廳制般袂定了业务应发展空陶成本I技术扌架构永远在随養业化！苔台，业务唱戏架琳架构扌 擁展而E的实施能力和r应用唱戏 瘵泰拥抱变 更多功能提高 收益苔台,ZB2B架构演化过程SOAOPEN API云计算WebXVelocity Spri ngWebMacro Ejb pojo66沁6 Jr/TI OCMrLJ蜀fl- zoo

2、z25nnIiH1999-史前时代 Perl, CGI. Mysql Apache服务器在美国，56KModem,远程开发、测 试、部署史前石器时代原因 Java服务器使用线程性能比cgi技术使用进程 好 Java相比Perl,可维护性好，开发效率高Java开始在国内流行2002底-石器时代-www系统开始使用Java模板技术采用WebMacro中间层采用Servlet技术，使用POJO封装业 务逻辑和数据访问-使用BizObj对象封装基本业务逻辑和数据访问 方法-其它业务对象继承BizObj方法，实现自己的业 务逻辑和数据访问方法使用JDBC访问数据库 Servlet容器使用resin, W

3、eb服务器使用2001底石器时代（续）石器时代中世纪原因表现层仅仅使用模板技术，缺乏MVC框架, 导致大量的servlet配置业务逻辑层和数据访问层耦合，可维护性 和可扩展性差受到EJB风潮的影响2002底-中世纪表现层采用WebX-模板技术Velocity-在Turbine基础上开发了自己的服务框架和一系 列公共服务-通过一个delegate对象访问业务逻辑层业务逻辑层使用EJB (SLSB, CMP, DAO等)-通过一个fagade对象供表现层delegate访问-Facade对象访问多个SLSB实现的controller对象 实现业务逻辑-使用CMP实现单条记录的增加和删除_JL_表现

4、层2002底中世纪（续）基J -Webx以及Service框架的Web层框架商业逻辑层使用SLSB实现的业务逻辑对Controlers数据访问层CMP进行单条记录的增加删除，DAO对象杳找数据存储搜索引擎Oracle数据库LDAPF中世纪工业革命原因 Turbine的发展缓慢 EJB配置复杂，可维护性差重量级框架，业务侵入高高度容器依赖，可测试性差CMP，性能差，导致DAO和CMP并存2005工业革命表现层使用WebX和Service框架-Velocity模板技术-自有服务框架及多种公共服务：Form Service, Template Service, Mail Service, Run d

5、ata Service, Upload Service等一通过command模式和biz层交互-无状态Web应用，基于cookie实现session,获取 线性扩展性业务逻辑层使用Alibaba Service框架，并且弓I Aspring框架-Spring容器和Alibaba Service框架无缝集成2005-工业革命（续）_JL_表现层分布式Session商业逻辑层数据访问层基J -Webx以及Service框架的Web层框架分布式Cache数据存储搜索引擎Oracle数据库 LDAP演化还在继续数据库成为瓶颈 分布式数据库应用耦合严重- SOA Pampas 平台网站的现在中文站会员数

6、超过2000万中文站Offer已经超过2.5亿中文站每天的用户PV已经超过2.6亿中文站每天新发Offer超过100万中文站每天重发Offer超过2500万国际站略少，但是增长迅猛中文站/国际站应用部署图内刈耿*钩川户J?站镜像富隱图（国际站）z州站 Z,M厂关键应川BOHS Mv.Alibaba Akii&Minisitc MemhcNkiin)厂辅助应用Q时时时I广合 褂链莊爼能晶7典应用0控业务加务层咒(2)() (* () 3 他 IIL4 夂i_美国主站一一关键应用海外卖家MyAlibabn AicnXMinicitc 1cmber(lcigin玻据纵Database厂数据洲数按同步

7、ApacheDatabaseSearch Engine用户请求处理Load Balance , | A . |M .kCacheApacheJbossStorageApacheStatic Resource(F5, Alteon)心血Jboss_互联网的挑战流量随着用户量而增加业务的变更频繁用户行为的收集产品角色的细分及调整 7X24的高可用性?百年技术大学Alibaba com I处理用户请求、 Requestk弋ProcessResponserkARequestProcessFResponsekARequestProcessVResponse流量激增应对的挑战并发（垂直）-用户数量的增加-

8、使用资源的增加响应（水平）-处理性能的维持cAlibaba com百年技术大学Y1nlemberAtransacti on compa ny pers onal专业化细分之前r1offerL1 list detail noI support业务变更专业化细分之后r1offerLJ Clothi ng Retail Loan Trust Pass SpecialMarkettran sactio n alipay paypal数据挖掘行为数据的采集追踪埋点异步收集采集数据的分析数据仓库分析引擎运营团队决策风险行为的控制CTU系统安全团队cAlibaba com百年技术大学网站产品的生命周期用户需

9、号产品需求整理架构团 队设计运营团队运作开发团质量团队质检队实施角色专业化细分团队再细分用户需求分折商业策划市场策划折产品滿求分产品滿求分 析架构团队架构团队开发团臥开发团臥i / 测试流程控制产品运营客户服务高可用性避免宕机集群化业业业务2 I务2 |务3服务化备份切换维护时间有限新产品发布在线发布叠加式发布用户透明过渡架构设计理念架构是平衡的艺术人厶 LJn-rI I /C人厶 LJn-rI I /C更多用户更多数据更多功能单系统标？质量指标一可用性安全性性能稳定性可维护性人厶 LJn-rI I /C架构的考虑要点合并联动的业务 高藕合的数据持续发展1稳定性插件式扩展能力1高可用性弱藕化易

10、于剥离I负载均衡局部可优化调整I线性扩展可测试1可被监控人厶 LJn-rI I /C架构考虑的方向应用系统 优化业务划分细分川务划醪枠檢-分解：按不同的业务领域、用户群来分解业务 复杂性【务销轍誉业鋼杏分配至燼缽司、蹙爲声1!0系统/服务可独申部轡弹维扒 分布式交跟单管理会员审批用户前台阿里旺旺用户后台类目运营旺铺、广告业务划分（总体架构）系统架构系统架构-分解：-分配：按不同的技术层次来分解技术复杂性 将技术需求分配到各个中间件、容器、数据访问层壬架通过炼定的技术模此来透Velocity代问题.iBatis工具容错SOA (Pampus)CMP管理监控BuildBuildFI志BuildBuildSpring MVCEJBJMSBuild系统细分局部调优（数据存取）-分解：按数据的位置、读写、计算特性等分解数据存取复杂件 -分配：将数据分配到各个数据库、索引库、存储系统、Cache-不同的存储技术适合于不同的数据存取需求搜索引擎数据库Cache存储系统全文索