腾讯大讲堂17-性能优化不是仅局限于后台(Qzone)

性能优化不是仅局限于后台,-Qzone性能优化报告QQ空间产品中心Qwang,Qzone优化概述,存储优化日志重构访问优化接入层逻辑层表现层,日志重构前问题分析,数据量增长过快总数据量9T日增长量约20G扩容需进行大量数据搬迁Cache命中率低（50%），DB压力大,旧系统结构,模块日志回复日志标题日志计数优点CACHE内存化，提升性能多进程号段分布处理业务异步化缺点CACHE量有限，命中率低，对DB的性能依赖比较重模块相互独立，容易造成数据不一致,Qzone数据层优化（日志重构）,与产品经理的Trade-off区分近期日志与往期日志区分活跃数据、非活跃数据和历史归档数据二级缓存（内存+文件）针对单个号码进行路由,新系统结构,系统分三个模块：日志信息、日志标题、访问计数CGI层对日志标题、访问计数模块有读/写权限；对日志标题模块只有读权限，其数据来源于日志信息模块,日志信息模块结构,日志重构后的特点,将数据区分为活跃数据、不活跃数据和历史归档数据，减少Cache数据量，提升Cache命中率Cache根据数据访问活跃度进行扩容DB根据存储容量进行扩容,Qzone日志重构前后数据对比,Qzone访问速度慢,Http请求量大，下载数据量大用户CPU消耗高用户经常投诉打不开Qzone,Qzone访问优化前测速,Qzone访问提速优化,量化性能数据关键路径时间点统计,Yahoo14性能优化规则,MakefewerHTTPrequestsUseaCDNAddanExpiresheaderGzipcomponentsPutCSSatthetopMoveJStothebottomAvoidCSSexpressionsMakeJSandCSSexternalReduceDNSlookupsMinifyJSAvoidredirectsRemoveduplicatescriptsTurnoffETagsMakeAJAXcacheableandsmall,Qzone访问优化,域名访问优化静态页面与动态数据分离减少http请求降低浏览器CPU消耗Ajax优化WebServer优化,域名相关,减少*域名的使用，降低动态DNS查询请求走访校园网及北方城市，发现双ISP的localDNS的问题前置机通过域名纠正被错误定位的用户,静态页面相关,拆分静态页面、图片、样式及flash，分散至等静态文件域名I的CDN外包静态文件服务器优化支持长连接支持gzip压缩使用expires,减少http请求,合并小图片请求合并css和js文件合并动态数据请求动态数据支持304有效利用浏览器cache和js变量缓存动态数据,小图片的请求合并（css+背景图）,合并css和js文件,合并css文件进入Qzone只需要下载2个css文件Css文件合并工具合并js文件删除无用字符（空格、换行等）Js文件合并工具,合并动态数据请求,合并多个模块的动态数据为一个静态文件,动态数据支持304,对大数据量的请求在存储层上增加时间戳,利用js变量和浏览器Cache,利用js变量Js将获取的动态数据放入数组变量每次发起动态数据请求前检查数组内是否保存了相应数据利用浏览器cache取消了Cache-Control:No-cache使用url+随机数避免浏览器cache,浏览器下载请求量和数据量对比,降低浏览器CPU消耗,将XML修改为JSON降低浏览器ParseXML的CPU消耗支持跨域请求，减少proxy.html请求减少iframe的使用尽可能使用div合理使用cookie浏览器20个同域cookie的限制减少因cookie过多造成的分包Item文件检查工具,Ajax优化,进行数据分级，按优先级顺序请求数据打开Qzone所需的数据优先加载异步化请求，尽量避免浏览器同域下两个并发请求的限制图片延迟加载页面渲染相关的数据延迟加载,尽可能多的Para-Downloading,WebServer优化,拆分CGI异步逻辑将可以异步化的逻辑交给异步appserver处理配置文件内存化Cgi90%的消耗在读取配置文件使用gprof等工具使用轻量级WebServer放弃apache、优化httpsvr减少共享内存加锁解锁的开销,轻量级WebServer（qzhttpd）,性能部分：所有机器的CPU的idle都维持在90%-93%左右周末高峰期：最大请求量：900左右，平时都维持在：200-400之间原有服务和现有服务的差别：周一至周四：httpsvr进程cpu最大占用率：10%qzhttpd进程cpu最大占用率：6%，差别不大周末：httpsvr进程cpu最大占用率：20%qzhttpd进程cpu最大占用率：10%，差别较大,Qzone访问测速（2007.10）,Qzone访问测速（2007.11）,Qzone访问测速（2007.12）,运营和监控系统,测速平台的搭建自动化测试自动化编译模块间调用服务器打包规范发布流程的规