专4-3-1号店搜索实时更新架构实践

店H5搜索PC搜索搜索服务Query规划(理解、意图识别、扩展)数据融合(去重、重排序、精确控位)个性化转化率排序关联商品展示逻辑展示模板导购筛选坑位合并主题清单多屏适配商品数据更新H5搜索PC搜索搜索服务Query规划(理解、意图识别、扩展)数据融合(去重、重排序、精确控位)个性化转化率排序关联商品展示逻辑展示模板导购筛选坑位合并主题清单多屏适配商品数据更新全量更新数据导入框架实时更新搜索引擎(倒排)索引生成数据服务商品摘要(K-V)APPAPP搜索SSmartBox搜索历史相似查询属性提示热词推荐类目提示离离线数据处理语言模型搜索日志分析排序模型排序学习台数据更新台产品管理搜索服务产品管理理实时索促销管理oop全量索引abus处理验证程监控收析DataService数据处理搜索服务abus处理验证程监控收析DataService数据处理搜索服务oop产产品管理理促销管理台全量索引HbaseStore实时更新HbaseStoreFilterResolverDispatcherDBScannerMsgReceiverDataBusFilterResolverDispatcherDBScannerMsgReceiverWorkQueueDataServiceProcessorPipelineMessageQueue搜索服务搜索引擎搜索服务更新Zoie更新ZoieIndexSearcherMultiReaderRAMIndexARAMIndexBLuceneFileIndexIndexWriterSoftCommitHardCommit搜索服务实时更新索引构建索引分发实时更新一致性：全量+实时搜索服务实时更新索引构建索引分发实时更新实实时更新流全全量更新持久存储全量数据抽取时间全量索引构建时间分发前Sync开始时间切换前Sync开始时间数据更新全量数据抽取、处理定时分发前等待ColumnA数据模型ColumnA (1)将产品数据分割为有意义的列，抽象化。 (2)数据按照列的粒度来操作、重用。 几十维。ductColumnBColumnCColumnColumnDProvince1:D1Province2:D2Province3:D3DataB DataCDataB DataCOutputDataInputDataB (1)定义输入和输出，将逻辑划分到Processor内InputDataAProProcessorInputDataC (2)根据逻辑复杂度，给Processor分配资源edEventDriverArchitectureStage1ProcessorProcessor1ProcessorProcessor2ProcessorProcessor3Threads=10Stage2ProcessorProcessor4Threads=50MerchantProcessorMerchantProcessor (3)根据数据的生成和使用关系，计算Processor间的依赖cessor (4)根据依赖生成DAG，构建ProcessorPipelinePriceStockPriceStockProcessorCoverProvincePromotioPromotionProcessor (5)全量更新，使用MR封装ProcessorPipelineProcessorBProcessorDInputDataProcessorBProcessorDInputDataBProcessorC一个输入数据发生了改变 (1)根据定义，找到使用这个数据的Processor (2)根据DAG，构建ProcessorPipelineInputDataAProcessorProcessorAInputDataC (3)更新Pipeline中所有的输出数据数据更新全量原始数据产品数据产品数据促销数据价格库存05-2617:3005-2618:0005-2617:30全量更新(Hadoop)05-2700:00产品更新产品更新促销更新价格库存更新增量更新05-2710:30促销更促销更新数据存储产品数据产品数据05-2617:30促销数据05-2710:3005-2617:30价格库存05-2618:00索引数据05-2700:00产品数据产品数据促销数据价格库存05-2617:3005-2617:3005-2618:00索引数据05-2710:45产品数据产品数据促销数据价格库存05-2618:0005-2617:3005-2710:30ExternalSRCdata CollectorDataStoreSchedulerAnalyzerMonitorSystemReport实时更新监控ExternalSRCdata CollectorDataStoreSchedulerAnalyzerMonitorSystemReport(1)与系统的集成(2)与人的集成DDataProviderAgentSearch-Monitor Receiver ReceiverCheckCheck&AlertNotifierAggregatorDataNotifierAggregatorDataAAPIEMAILSystem人邮件短信Monitor可跟踪性设计息接收息解析产品更新更新分发更新消费essageTopic_ReceiveTime_Sequence_ReceiverIPtChange<DCMId>_ResolveTime_SequenceateJob<PCId>_ProcessTime_SequenceUpdateRequestxNameReceiveTimeReceiverIP<PCId>_ProcessTime_SequenceShardId_IndexName_ReceiveTime_ReceiverIP监控Dashboard更新延迟更新延迟更新失败aitqueueizeIntMax等待调度产品更新多源更新调度aitqueueizeIntMax等待调度产品更新问题：各个消息源更新频率和数量不均，服务器的资源利用率不高。方案：使用加权公平队列(WFQ)，按照有数据的消息源平均分配处理资源。效果：40秒完成更新2万条促销消息，优化前需要20分钟。Lessthan250productId.Ifmorthan250,splitit.msgbyfairqueuepolicywhenworkqueuehasDataChangeSchedulerWorkThreadpoolWaittingqueueDataChangeSchedulerWorkThreadpoolpmInfocoreSizecoreSize20*nzenworkQueue:3*coreSizepromotionizeIntMaxStatus.RESOLVED消息解析进行中的工作 (1)代码一致性-架构：业务逻辑=20:80-业务逻辑代码100%复用-降低代码开发和维护的成本-缩短测试时间，使用实时更新做功能测试 (2)降低全量构建的频率-数据一致性检查，计算全量构建的收益正向索引全量更新(offline)…DataSourceProcessor…rialbute正向索引全量更新(offline)…DataSourceProcessor…rialbuteverareae(online)ShardingIndex-ServerShardingFieldMapFieldMappingItemFeatureRepository排序因子(销量、曝光等)性分词(标题、品牌、型号等)品牌/类目/排序因子(销量、曝光等)性 价格、库存BusinessProcessorPipelineCombineCombine/SeriesPromotionPriceStockRankSegment…ColumnColumnizerJoinHBase离线数据ression实时更新倒排索引(online)…DataSourceProcessor实时更新倒排索引(online)…DataSourceProcessorShardingIndex-ServerShardingFieldMappFieldMappingItemFeatureRepository排序因子(销量、曝光等)性分词(标题、品牌、型号等)品牌/类目/排序因子(销量、曝光等)性 价格、库存BusinessProcessorPipe