淘宝系统架构介绍-朱德晋-淘宝

淘宝的前世今生---淘宝系统架构介绍怀璧huaibi.zdj@淘宝的前期技术发展历程淘宝的当前技术体系淘宝是什么？淘宝需要什么？总体策略现有技术体系介绍架构实践淘宝发展历程V2.2V1.1V1.0V2.0V2.1V3.02009年：上半年交易额809亿注册用户1.63亿卖出2.5亿件服饰卖出2600万部手机卖出6000万张充值卡2009年每天：增加1.6T的数据高峰期流量超过60G/S处理超过10T的日志处理60亿次的用户信息访问缓存处理百亿次的请求V1.02003.5–2004.1非典时期马云住宅LAMPMySQL读写分离Slave1Slave2MySQLMaster复制复制ReadReadRead/WriteApachemod_php4pearDBFunctionApachemod_php4pearDBFunction3Apachemod_php4pearDBFunction2Apachemod_php4pearDBFunction1V1.12004.1–2004.5MySQL迁移至Oracle引入SQLRelay中间件OracleApachemod_php4pearDBFunction4SQLRelayApachemod_php4pearDBFunction3SQLRelayApachemod_php4pearDBFunction2SQLRelayApachemod_php4pearDBFunction1SQLRelayV2.02004.2-2005.03php迁移至javaMVC框架WebX项目管理工具AntX引入搜索引擎ISearchOracleRead/WritedumpSearchNode1Node2Noden……Weblogic淘宝MVCEJBFunction4OR-MappingWeblogic淘宝MVCEJBFunction3OR-MappingWeblogic淘宝MVCEJBFunction2OR-MappingWeblogic淘宝MVCEJBFunction1OR-MappingV2.12004.10–2007.01weblogic迁移至jboss支持分库的数据访问框架抛弃EJB引入Spring基于BDB的缓存建立CDNcacheRead/WriteRead/WritedumpSearchNode1Node2Noden……OracleOracleOracleOracleJBoss淘宝MVCSpring……OR-MappingJBoss淘宝MVCSpringFunction3OR-MappingJBoss淘宝MVCSpringFunction2OR-MappingJBoss淘宝MVCSpringFunction1OR-MappingV2.22006.10–2007.12分布式存储TFS分布式缓存Tair搜索引擎升级OracleOracleOracleOracleRead/WriteSearchNode1Node2Noden……Node1Node2NodenJBoss淘宝MVCSpring……IbatisJBoss淘宝MVCSpringFunction3IbatisJBoss淘宝MVCSpringFunction2IbatisJBoss淘宝MVCSpringFunction1OR-Mappingcache分布式存储Node1Node2Noden处理策略高稳定性备份隔离高容量，高性能“人”多力量大分割异步成本提高效率自动化整体策略：三角原则（CAP）可用性扩展性一致性效果=周长周长和三个边长为线性关系成本=面积面积和三个边长成指数关系当边长小于某阀值效果=最小边长度成本关键点：最终一致例如：分布式事务放弃传统ACID选择BASE例如：协同处理放弃集中的紧耦合处理选择通过异步消息的松耦合处理例如：数据存储放弃成本高的商用集中存储选择可靠的分布式存储V3.02007.12--应用透明伸缩Session框架高性能服务框架HSF消息系统Notify业务中心建立数据透明伸缩分布式数据层TDDL稳定性容灾成本自动化数据迁移到MySQL服务/消息LinuxApacheJBoss淘宝MVC框架SpringLinuxJBoss淘宝服务容器淘宝数据层OracleMySQL分布式存储V3.0应用透明伸缩展现层-会话处理很重要粘性sessionsession复制集中式session不用session展现层业务逻辑层持久层V3.0应用透明伸缩业务层服务1服务2Node1Node2Noden……功能分组1Node1Node2Noden……功能分组2Node1Node2Noden……Node1Node2Noden……功能分组2Node1Node2Noden……功能分组3功能分组1APPAPPAPPAPPAPPAPPV3.0应用透明伸缩业务处理统一和隔离负载均衡一片私有的“云”展现层业务逻辑层持久层V3.0数据透明伸缩容量和性能的扩展垂直分割按功能水平分割按规则路由透明化复制空间换时间核心业务数据……业务1……业务2……V3.0数据透明伸缩业务2业务1业务3………………业务5……业务4业务处理淘宝数据层路由处理数据复制……V3.0数据分割策略复杂结构的水平分割处理方案数据切分策略读写分离策略好友动态订单帖子数据优化策略：时空原则+28原则老生常谈空间换时间时间换空间效果和成本的平衡V3.0消息系统集群Topic方式发送事务APPAPP后续处理1APPAPP后续处理2APPAPP……APPAPP业务系统APPAPP消息系统消息操作V3.0可用性同城分流异地容灾n+1原则主机房一主机房二异地主机房数据同步主业务边缘业务可切换附1、淘宝服务中心总览业务系统核心业务服务持久层(DB/TFS/NAS)基础业务服务UICForestTCICSC……TMIMDetailSS………HSFHSFNotifyTOP总结适当放弃一致性备份和隔离解决稳定性问题