大用户量下的系统架构.ppt

无限扩展 大用户量下的系统架构 2 问题 一个高并发的系统一个稳定的系统一个高扩展性的架构一个简洁的方案 我们需要的是 解析 系统架构中的底层元素稳定性和扩展性后台数据处理前台用户请求实时数据和非实时数据 要做到这一点必须要考虑 4 简洁 简洁是最重要的设计依据 将复杂的系统拆分成简洁的模块减少系统维护的代价限制使用复杂的功能 5 简洁的Sql 必须对Sql的使用做限制 绝对不允许出现跨表的查询DB的设计更大程度上取决于缓存的设计防止穿透缓存直接到达DB的访问将业务逻辑放到代码中实现 不要忘了DB的主要作用毕竟是存储 6 简洁的缓存 必须限制使用缓存的方法 本地缓存 集群缓存维护缓存的数据拒绝维护多个缓存之间的同步 7 简洁的服务 什么才是服务 没有业务逻辑的基础服务包含业务逻辑的复杂服务独立折分和部署数据读写部分只交给服务处理尽量减少服务之间的相互依赖Controll负责服务之间的调度 8 简洁的扩展 因为简洁 所以容易 Mysql的读写分离和分库分布式的Memcache多个Service的布署多个Controller的布署 9 强大 工欲善其事 必先利其器 尽可能多的做设计尽可能少的写实现尽可能多的测试尽可能多的分析 10 强大的DAL DAL应该做到的事情 控制Sql的使用一个黑盒子详细的日志记录 11 强大的Scallop Scallop又该做什么 零代码 非侵入和SCA的完美融合如何控制Service的加入和移除保留多种负载均衡模式的扩展性 12 强大的SCA 你做什么都可以告诉SCA 轻代码非侵入性RMI WebService JMS简单的服务和复杂的服务 13 强大的代码生成工具 什么才是工程师必须做的 你来做数据库 Service 复杂业务逻辑我来做底层代码 Service 配置文件的实现不把时间花费在重复执行的环节上 14 核心 系统设计中考虑的核心 拆解模块模块之间如何交互计算的部分存储的部分交互的部分变化的部分 15 将系统拆解成Service 为什么选择Service 复用高内聚调试部署 16 RMI是系统调用的核心 最常使用的调用方式 高效很低的学习曲线 17 JMS是系统解耦的核心 什么时候使用JMS 解决长尾逻辑更轻松的方式稳定的消息系统 18 ETL是计算部分的核心 如何使用ETL ETL用来做数据转换ETL不应该直接读写自己的DBETL一般情况下只允许部署一台ETL的日志监控和统计邮件ETL的部署 19 缓存架构是系统性能的核心 缓存 还是缓存 缓存是用来解决并发问题的缓存不是内存数据库缓存是分级别的 20 存储系统的扩展性 虽然我们拥有缓存 但是 Mysql依然做好了大数据量的准备读写分离是需要的虽然单表的性能支持千万级别的记录 还是需要使用分库的功能分库对Sql的使用要求更严格 21 Comet是用户交互的核心 已经相当成熟的技术框架 Erlang对大规模用户量的支持Comet技术对用户交互的体难 22 Drools和Groovy是动态计算的核心 总有些非实时的计算 那些变动比较大的业务逻辑工程师和业务人员的协作 23 核心回顾 系统设计中考虑的核心 拆解模块 Service 模块之间如何交互 RMI JMS 计算的部分 ETL 存储的部分 Mysql 读写分离 分库 交互的部分 Comet 变化的部分 Drools Groovy 24 系统架构图 Service Service Service Service Service Service