Sphinx在电子商务网站中的应用

1、第一部分-分析与思路：实际项目的特点是：1 .数据量大2 .商品分类多3 .每个商品可以处于多个分类下4 .平均每个商品拥有 2 个以上的属性要求可以做到：1 .按照商品名称搜索2 .按照商品属性筛选3 .按照分类筛选4 .按照价格分组筛选5 .按照价格、时间排序MySQ 基本数据结构：product表idnamepriceproduct_indexindex_idproduct_idproductshowcategory_idproductid说明：product 是基本产品表，id 为产品编号，nam8!待搜索字段product_index 为产品属性表，index_id 是属性编号，pr

2、oduct_id 为 product表的 id。如果编号为 100 的产品，有 5 个不同属性，在 product_index 表中就会记录product_id 为 100,index_id 不相同的五条记录。product_show 的结构与 product_index 类似，记录的是产品于分类的联系，如果同一个产品同属 5 个不同的分类，在表中就会存在五条记录。数据结构不复杂，但是实际应用中，使用 Mysql 的查询实现的搜索和检索，效率是比较低的。最消耗性能的地方是产品列表的索引导航，这是类似淘宝网产品列表的”按 XXX 浏览”：按图案选择：条跳4)格子1为40#图案;5343)手绘(5

3、02)碎花眈)圆点尖幻其它图案;71年技品牌诙择：ONLY(7321：.淑女屋11紫5AbercrombieFtchr-7tGchirly牌时力090)韩国$二三。$Burberry,巴宝利叮知SQL 的实现不多说在 Sphinx 有个非常棒的特性： MVA 侈值属性） ， MVAfe 似 Mysql 的 set 类型的字段，但是存放值不受预设的限制，使用 MVAS 立 Sphinx 的属性，用来存放每个产品的index_id 和 category_id,很方便就能实现筛选功能。第二部分-索引结构配置：Sphinx 配置文件贴出主要部分，其他的手册上说的很清楚了（手册非常重要：http:/ww

4、w.wapm.Cn/uploads/pdf/sphinxdoczhcn0.9.pdf）。sourceproductsrctype二mysqlsql_host5ql_usersql_passsql_dbsql_port==root=123=shop-3306sql_qu已rsqlqueryshop_produci：=SETMAMESutf8=SELECTidjnarwjprice*lWASpriceFROMsql_attr_uintsql_attrmultiidFROMproductindexEql_attr_nnilticategory_idFROMproduct_show-

5、price-uintindex_idfrotaquery；SELECTprodutji*index=uintcategory_idranquery;SELECTproduct_idt上面是 source 部分， 项目的编码是 UTF-8,所以首先得执行： “SETNAMEStf8”。 product里面的 price 是以保留两位小数的形式存放的，在 sql_query 里面，将它乘以 100 换成整数，避免浮点精度带来的不必要的小数位。关键的两条“sql_attr_multi，配置了属性和分类的 MVA“fromquery”后面紧接着 SQL京示房自查询，product_id 放第一个字段，

6、后面跟着值字段，这样 Sphinx 内部才会进行处理。建立索引后，结构可以看成下图所示：product第三部分-查询：Sphinx 自带的 PHP 勺 API 进行查询。示例 1:编号为 1,2,3,4,5 的 5 个分类下的产品列表：1. $Sphinx-SetFilter(category_id,array(1,2,3,4,5);2. $Sphinx-Query(，夫);示例 2:属性编号为 1,2,3,4,5 的下的产品列表(属性的交集)1. $Sphinx-SetFilter(index_id,array(1);2. $Sphinx-SetFilter(index_id,array(2

7、);3. $Sphinx-SetFilter(index_id,array(3);4. $Sphinx-SetFilter(index_id,array(4);5. $Sphinx-SetFilter(index_id,array(5);6. $Sphinx-Query(，*);示例 3:属性编号为 1,2,3,4,5 的下的产品列表（属性的交集）的价格分组，并且升序排列1.$Sphinx-SetFilter(index_id,array(1);2.$Sphinx-SetFilter(index_id,array(2);3.$Sphinx-SetFilter(index_id,array(3)

8、;4.$Sphinx-SetFilter(index_id,array(4);5.$Sphinx-SetFilter(index_id，array(5);categoryid(123,45,Jindexid1100.200300,-16. $Sphinx-SetGroupBy(price,SPH_GROUPBY_ATTR,groupasc);7. $Sphinx-Query(，*);示例 4:属性编号为 1,2,3,4,5 的下的产品列表(属性的交集)，分类编号是 7,8,9category_id,array(7,8,9);index_id,array(1);index_id,array(2)

9、;index_id,array(3);index_id,array(4);index_id,array(5);price,SPH_GROUPBY_ATTR,groupSphinx 的查询使用还是很方便的，需要注意的是,Filter 传递的待筛选参数必须是数组；关于 MVA 勺使用，如果数组有多个成员category_id,array(7,8,9);表示索引中的 index_id 包含 7,8,9 三个值才会被筛选出MVA4 可以用来进行 Group 操作：$Sphinx-SetGroupBy(index_value_id,SPH_GROUPBY_ATTR);可以很方便的得出当前条件下的，各种属

10、性(样式，品牌,)的数量.第四部分-即时更新方案：使用了 Sphinx 代替了 Mysql 进行查询后，最大的问题还在于数据的更新问题：我们在后台进行了产品的编辑，删除，添加操作，都需要尽快的反应到用户端.架构图：..$Sphinx-SetFilter($Sphinx-SetFilter($Sphinx-SetFilter($Sphinx-SetFilter($Sphinx-SetFilter($Sphinx-SetFilter($Sphinx-SetGroupBy(asc);$Sphinx-Query(,1.$Sphinx-SetFilter(表示索引中的 cat

11、egory_id满足数组中的任意一个值就会筛选出来.1. $Sphinx-SetFilter(2. $Sphinx-SetFilter(3. $Sphinx-SetFilter(index_id,array(7);index_id,array(8);index_id,array(9);说明：(1) .在 Mysql 中建立一个增量表,凡是产品更新操作(添加，修改，删除)，都会将相关ID 更新到到增量表；表结构很简单，只记录 ID.(2) .修改 Sphinx 的配置文件1. sql_query=SELECTid,name,price*100ASprice,0ASin_updateFROMsho

12、p_product2. sql_attr_uint=in_update增加了一个字段 in_update,用来标记主索引的这条记录，是否在增量表中.(3) .产品的更新操作时，除了更新增量表，同时也利用 SphinxAPI 的UpdateAttributes 方法，将主索引中的相关记录的 in_update 属性设置成”11. $this-Sphinx-UpdateAttributes($index,array(in_update),array($id=1);代码中的$id 指的是冏品编号.更新完了属性后，发出增量索引更新通知，可以是写队列，写文件等方式.(4) .在查询时，增加过滤器.1.

13、$Sphinx-SetFilter(in_update,array(0);这样，就不会使用到主索引中的处于增量索引中的 doc,以免搜索到错误的编辑前的数据.(5) .守护进程接到增量索引更新通知，重建增量索引.(6) .每天某时段更新主索引，清空增量表，清空增量索引，思路就是这样， 下面的增量索引更新脚本是我用在测试环境的， 生产环境的比较复杂,供参考.1. #!/bin/bash2. CHECK_FILE_PATH=xxx/sphinx-check.txt3. SPHINX_COMMANDOpt/sphinx/bin/indexer-config/opt/sphinx/etc/produc

14、t.confproduct_update_index-rotate”4. whiletrue5. do6. NOW_TIME=date+%Y%m%d%H:%M:%S7. if-f$CHECK_FILE_PATH;then8. WORD_NUM=cat$CHECK_FILE_PATH|wc-w9. if$WORD_NUM-gt0;then10. echo”bulid$NOW_TIME11. $SPHINX_COMMAND12. $CHECK_FILE_PATH13. else14. echoskip$NOW_TIME15. fi16. else17. echo”nofile$NOW_TIME18. fi19. sleep3020. done后台操作时，简单的用写文件的方式通知索引更新脚本，索引更新完成后，将文件重置.第五部分-优化总结：这几篇 blog,没想过写成手把手的教程，只是想把思路写出来，和大家交流，所以流水账了，代码都是些关键片段，不负责它正常运行！基础方面的请到 Sphi