电商搜索和新闻推荐用户画像近实时更新-finalPPT课件

电商搜索和新闻推荐用户画像-近实时更新王成光2016-7-10,电商搜索和新闻推荐用户画像实时更新,电商搜索基本组成相关实现技术新闻推荐用户画像用户画像组成用户画像实时更新流程实时计算:Storm/SparkStreaming/Light_drtc,2016-7-10,.,2,电商搜索,基本组成搜索框自动补全提示导航筛选器关键词检索相关实现技术ES和Solr近年发展情况ESvsSolr全方位比较ES2.X新特性,2016-7-10,.,3,电商搜索组成-搜索框自动补全提示,2016-7-10,.,4,亚马逊,淘宝,京东,优购,电商搜索组成-导航筛选器,2016-7-10,.,5,天猫搜索筛选器,电商搜索组成-导航筛选器,2016-7-10,.,6,优购搜索筛选器,电商搜索组成-关键词搜索,2016-7-10,.,7,1.同音异形搜索,2.部分匹配搜索,3.缺失品牌建议搜索,4.同义词搜索,品牌别名,品类别名,电商搜索技术-当前全文检索项目,2016-7-10,.,8,电商搜索技术-ES集群,2016-7-10,.,9,电商搜索技术-SolrCloud集群,2016-7-10,.,10,电商搜索技术-ES和Solr综合比较,2016-7-10,.,11,电商搜索技术-ES和Solr近年发展,2016-7-10,.,12,电商搜索技术-ES和Solr近年发展,2016-7-10,.,13,电商搜索技术ES2.x新特性,2016-7-10,.,14,ES集群节点新增部落节点API级显示支持文档字段级更新ES2.X已经废弃FacetES2.XAggregation功能增强，支持嵌套。ES2.X开始索引类型index_analyzer更改为analyzerES2.2新增查询分析器：得到查询的详细分析信息，它可以让你了解和调试查询性能。查询的每一部分都独立的记录了统计时间ES2.2增强地理位置字段:几乎重写，增加50%的入库效率，提高20-50%的查询效率ES2.x中文分词集成也有所调整,新闻推荐用户画像实时更新,用户画像基本组成内容体系分类更新周期分类用户画像实时更新流程流式分布式实时计算StromSparkStreamingLight_drtc(原创：,2016-7-10,.,15,用户画像基本组成内容分类,百度数据开放平台大数据用户画像标签体系,2016-7-10,.,16,用户画像基本组成更新周期分类,依据属性变化频繁程度：静态标签相对短时间内变化不大的信息，主要指地域、年龄、性别、文化、职业、收入、生活习惯、消费习惯等人口属性和商业属性等动态标签用户不断变化的行为信息，主要指产品类别、活跃频率、产品喜好、产品驱动、使用习惯、产品消费等产品行为，在互联网上，用户行为，可以看作用户动态信息的唯一数据来源等依据更新时间长短：长期兴趣标签：更新频率一般为数小时或天短期兴趣标签：更新频率一般为分钟级或秒级,2016-7-10,.,17,用户画像计算相关算法,内容相似Jaccard|ST|/|ST|余弦定理修正余弦皮尔逊相关系数,2016-7-10,.,18,用户画像计算相关算法,关联规则支持度（Support），表示项集X,Y在总项集里出现的概率。公式为：Support(XY)=P(X,Y)/P(I)=P(XY)/P(I)=num(XUY)/num(I)置信度（Confidence），置信度表示在先决条件X发生的情况下，由关联规则“XY”推出Y的概率。即在含有X的项集中，含有Y的可能性。公式为：Confidence(XY)=P(Y|X)=P(X,Y)/P(X)=P(XUY)/P(X)提升度（Lift），提升度表示含有X的条件下，同时含有Y的概率，与不含X的条件下却含Y的概率之比。公式为：Lift(XY)=P(Y|X)/P(Y)强关联规则：满足最小支持度和最小置信度的规则。如果Lift(XY)1，则规则“XY”是有效的强关联规则。如果Lift(XY)=1，则规则“XY”是无效的强关联规则。特别地，如果Lift(XY)=1，则表示X与Y相互独立。,2016-7-10,.,19,用户画像计算相关算法,协同过滤：基于user协同过滤和基于item协同过滤,2016-7-10,.,20,用户画像计算相关算法,主题模型逻辑回归兴趣时间衰减牛顿冷却定理：物体的冷却速度，与其当前温度与室温之间的温差成正比。本期得分=上一期得分xexp(-(冷却系数)x间隔的小时数),2016-7-10,.,21,新闻推荐用户画像实时更新流程,2016-7-10,.,22,实时计算框架Storm,2016-7-10,.,23,实时计算框架Storm,2016-7-10,.,24,实时计算框架SparkStreaming,2016-7-10,.,25,实时计算框架SparkStreaming,2016-7-10,.,26,实时计算框架light_drtc,2016-7-10,.