知乎推荐系统的实践及重构之路

1、知乎推荐系统的实践及重构之路自衷推荐系统重构之路遇到的问题及应对未来挑战心口自衷2.2 亿注册用户数3000 万问题1.3 亿回答知乎是综合岊知识内容平台存在20余种推荐场景简单推荐系统的流程现实推荐系统的流程知乎早期部分推荐系统总体架构知乎早期部分推荐系统总体架构存在哪些问题呢？对多R召回支持不友好召回索引全部基于Redis通用特征和监控建设困难缺乏统一的特征落地方案不支持多队列融合重构之路重构之路重构前的思考重构前的思考语言的选择如何支持队列混合和多路召回召回索引除Redis-，其他索引数据库的引入重构之路语言选择Python丿avaScalaGolang性能最慢快快快编译速度慢慢快开发效

2、率高般般高维护成本中中中低第三方库丰富丰富丰富极少语言特点简单比较为什么选择GalangGalang天然支持高并发并占用资淜少，适用多路召回、G征抽-的并发知乎内部基础组件的Galang版生态比较完善。重构之路语言选择语言的选择不是只有唯一答案如何支持多队列队列注册管-器重构之路架构设计第一步配置文件第二步第三步如何支持多召回召回-册管理器重构之路架构设计第一步配置文件第二步第三步重构之路 -回索引常见的-回源？用户多topic的混合-回实体词-回地域-回CF-回Embedding-回重构之路 召回索引 NoSQL产品简单比-RedisHBaseElasticSearch特d-ey-value

3、存储列式存储数据库V索R擎优dl单、yS能支持a量数据tB支持复杂p合查s（V索）缺d不支持复杂查s、 uc消oy复杂查sS能低下y硬件uc消ovg场景定r模hKV查 s（e门E回，H 域E回kk）数据量极大，查s 条件l单h场景KiE回检索（topic（tag）h E回k）重构之U 召回索引Embedding召回 ANNFaceboo-Nfaiss进行封装F供了多种embedding召回方法检索速度快c+实现，A且F供了pyt+onN封装调用大部分P法GEGPU实现重构之N 召回索引召回索引ES 支A相对复C的召回，E如多种t-pic的F合召回Redis 支A简单的KV召回，E如热门召回，少

4、量CF召回ANN支AEmbedding召回，包括NN产出的embedding，CF的embeddingK重构之路 总体架构重构遇到的问题举例重构之路遇到的问题遇到的问题-线任务和模型的管理问题特征日志问题服务监控问题重构之路遇到的问题离线任务和模型的管理问题存在大量离线任务对离线部分的不重视代码管理部署-台化完善监控特征日志问题重构之路遇-的问题Raw DataDataSetModelPrediction理想特征日志问题重构之路遇-的问题Raw DataDataSetModelPrediction现实重构之D遇到的问题在C特征RFC离C特征特征Pb日志格式化监控流量抽样ParserLabelka&kaDa-ase- & &map在CF分破局离CF分重构之路遇到的问题服务监控问题appappapp服务监控问题重构之路遇到的问题Queue的内部流程服务监控问题重构之路遇到的问题服务监控问题重构之路遇到的问题未来挑战数据 规模决速扩张策略通用和业务隔离的协调资源调度和性能