百科系统及其实现技术.ppt

百科系统及其实现技术,王清明,提纲,百科简介功能模块系统架构软件结构LAMP技术代码重构与扩展数据库性能优化,百科简介,百度百科：中文网络百科全书由广大互联网用户贡献力量编辑而成于2006首次推出测试版目前拥有超过300万个词条每天超过3000个新词条被创建同类：维基百科、互动百科、搜搜百科,词条,词条名名片目录正文扩展模块球赛地图相册参考资料扩展阅读开放分类相关词条,百科简介,扩展模块,百科简介,用户中心,百科简介,跟搜索引擎结合（特型展现）,功能模块,系统架构,系统架构,反向代理应对慢连接和长连接防攻击请求分流检索系统,软件结构,分层模型目录结构MVC风格,软件结构,前端控制器框架类自动加载机制正则表达式路由过程式ActionChain模板引擎可编译成多种目标语言如PHP基础库DB库提供SQL语句构建器（自动intval和执行escape）支持负载均衡和故障检测（记录db连接失败时间）日志类,软件结构,执行流程,LAMP技术/PHP,解释器执行原理Zend引擎Opcode缓存APCeAccelerator,LAMP技术/PHP,变量容器zval数据类型引用计数引用标志,LAMP技术/PHP,zval共享和分离（写时拷贝）变量空间的回收（循环引用）,LAMP技术/PHP,HashTable链表散列双向链表,LAMP技术/PHP,LAMP技术/MySQL,查询过程查询缓存SQL解析查询优化执行计划存储引擎,LAMP技术/MySQL,B-Tree索引MyISAMInnoDB聚簇索引,LAMP技术/MySQL,LAMP技术/MySQL,B-Tree索引的应用范围（最左前缀原则）匹配全部列值匹配最左列值匹配最左列值前缀匹配最左列值范围精确匹配最左列值且匹配次列值的范围覆盖索引确立索引的方法理解数据访问方式和频度分析索引字段区分度selectcount(distinctfield)/count(*)fromtable选择索引长度，创建后用showtablestatus查看索引的大小,LAMP技术/MySQL,使用explain查看执行计划表a:t_campaign表b:t_campaign_quota(onFcampaign_id)表c:t_campaign_soft(onFcampaign_id)表d:t_user(onFid),LAMP技术/MySQL,InnoDB引擎事务支持隔离级别未提交读（脏读）已提交读（不可重复读）可重复读（幻读？）可序列化多版本并发控制（MVCC）锁只阻塞写，从不阻塞读行级锁定（通过索引检索，否则加表锁）隐式锁记录锁间歇锁显式锁（开启事务时生效）共享锁：selectlockinsharemode排它锁：selectforupdate,代码重构与扩展,百科重构改进开发模式面向过程到面向对象支持快速迭代开发优化业务逻辑拆分非核心功能扩展模块平台化,代码重构与扩展,BaikeCommand类的扩展设计Command执行时要被捕获以扩展功能（观察者模式）Command的Listener需访问Command数据（窄接口）利用Invoker代理对Command对象的访问（代理模式）,数据库性能优化,版本表的背景状态字段和文本字段放在一起导致单表体积超过100G部分查询因无索引可用需读出正行数据导致较大I/O负担单表体积过大使得任何对字段和索引的调整都非