途牛旅游网--搜索框架演进之旅

1、 途牛搜索框架演进之旅刘宝仲途牛旅游网/运营中心2012-09-15 目录途牛搜索要做什么0102途牛搜索技术选型途牛搜索框架迭代03目录途牛搜索数据挖掘04新框架性能/扩展/协同开发05途牛搜索技术展望06网址：2 途牛搜索要做什么3 途牛搜索要做什么n 为什么要搜索？如果我们不能尽快让用户找到有用的结果，用户会很失望。 4 途牛搜索要做什么n 为什么要搜索？Google效应5 途牛搜索要做什么n 途牛搜索准则6 途牛搜索要做什么n 途牛搜索实现功能途牛搜索整合公司线路、景点门票、邮轮、酒店等产品以及游记、论坛、问答等互动产品资源，为用户提供快速、有用、

2、方便、简洁的搜索体验。 7 途牛搜索技术选型8 途牛搜索技术选型n 途牛搜索产品流程用户搜索结果呈现 输入搜索关键词 开始结束关键词预处理搜索结果调优 关键词分词 生 成搜索结果引系统 开始索引结束产品数据9生成索引 途牛搜索技术选型n 途牛搜索场景数据量百万级别，未来千万级别pp索引允许分钟级延时索引线性增长pp索引更新不能阻塞查询高性能高并发p10 途牛搜索技术选型n 途牛搜索技术选型LuceneSolr应用场景JAVA集成扩展性 XML/HTTP JSON API高亮分组缓存复制 Web管理界面分布式 SolrSphinxSolr11 途牛搜索框架迭代12 途牛搜索框架迭代n 框架迭代的

3、三个阶段线路产品、景区门票、酒店、线路、酒店、温泉以及景点、游记、问答等互动产品搜索， Beta版本 整合公司各系统资源，为各业务单位提供统一搜索平台邮轮搜索正式上线第三阶段:ROR搜索平台第二阶段:第一阶段:途牛搜索Beta版2010/042011/102012/0713 途牛搜索框架迭代n 第一阶段:途牛搜索Beta版 项目启动于2010年4月，6月上线运行 业务单元 技术关键词14Solr1.4中文分词 Mmseg4j平台语言 PHP 途牛搜索框架迭代n 第二阶段: 项目启动于2011年10月，12月上线运行 业务单元 技术关键词15Solr1

4、.4中文分词 庖丁解牛平台语言 JAVASolr1.4中文分词 Mmseg4j平台语言 PHP 途牛搜索框架迭代n 第二阶段:功能集合16 途牛搜索框架迭代n 第二阶段: 架构图解管理层管理中心索引控制系统报表管理系统SOLRSOLR接口层Search DBAPIAPINginx服务消费层门票频道搜索APP线路和门票搜索TNML标签搜索邮轮频道搜索前台17层 途牛搜索框架迭代第三阶段:ROR搜索平台 项目启动于2012年07月，9月初上线运行Room of Requirement 业务单元 技术关键词18Solr3.6中文分词 IK Analyzer

5、 2012平台语言 JAVASolr1.4中文分词 庖丁解牛 平台语言 JAVA 途牛搜索框架迭代n 第三阶段:ROR搜索平台实方案 Solr搜索框架 Solr3.6 Solr集群 搜索平台接口 二次封装Solr 符合公司接口规范 能融入文档、日志等第三方系统 各业务系统操纵索引 Data Schema 索引更新策略 查询规则 19 途牛搜索数据挖掘20 途牛搜索数据挖掘用户搜索行为搜索入口 点击热门搜索 直接点击搜索 下拉提示搜索 输入关键词搜索21 途牛搜索数据挖掘用户搜索行为搜索结果页 筛选 排序 翻页 点击搜索结果 点击推荐产品22 途牛搜索数据挖掘日志报表系统功能概览1、日志统计ip

6、数、搜索词数、搜索覆盖率、推荐点击率、 跳率等2、热点词排名各出发城市24小时、7天、30天搜索排行 3、用户点击习惯环形图4、用户搜索时段曲线图23 途牛搜索数据挖掘用户点击习惯报告提供各出发城市在不同采样周期内，用户点击习惯占比24 途牛搜索数据挖掘用户搜索时段提供每日用户搜索时点独立ip数，以曲线图格式展现25 途牛搜索数据挖掘数据挖掘的目标扩大统计范畴提供近实时数据分析报告用分析结果来进一步优化搜索功能相关分析结果提供给业务部门供内部产品优化分析报告定制与发送26 新框架性能/扩展/协同开发27 新框架性能/扩展/协同开发新框架性能压力表现要求：高并发、高负载下的最长响应时间100ms

7、250200150Average Response Time(ms)线性(Average Response Time(ms) )1005000200400600虚拟用户8001000120028响应时间(ms) 新框架性能/扩展/协同开发新框架扩展部署方面Nginx服务层 接口层APIAPIAPIAPIAPINginx服务层SOLR(M)SOLR(M)SOLR集群SOLR(S)SOLR(S)SOLR(S)SOLR(S)SOLR(S)SOLR(S)SOLR(S)SOLR(R)SOLR(S)SOLR(S)SOLR(R)SOLR(S)29 新框架性能/扩展/协同开发新框架扩展业务方面 底层提供公共方法 业务单位按照规范开发 独立搜索业务可插拔管理 框架统一合并测试及发布30 新框架性能/扩展/协同开发新框架协同开发u 底层开发组 负责公共规范制定u 业务部门搜索成员 负责业务单元搜索实现 负责公共