大数据平台及在推荐广告的应用20

1、大数据平台及大数据平台及在推荐广告方面的应用在推荐广告方面的应用何为大数据何为大数据大数据平台架构大数据平台架构数据存储数据存储实时实时离线离线FTPHDFSMRSqoopFumeNG数据采集数据采集数据处理存储层数据处理存储层建模建模KafkaZookeeperStorm/Spark streamingHbase MysqlRedis数据可视化数据可视化GangliaSparkNagiosOzzie监控监控管理管理调度调度特征工程特征工程机器学习算法机器学习算法库库Mahout/MLlib应用应用搜索搜索BI推荐推荐广告广告分类分类/回归回归聚类聚类主题主题预测预测Log Server商品库

2、商品库用户库用户库用户行为用户行为非结构化结构化降维降维优化优化PUSHHIVESpark sql离线离线实时实时从从Hadoop1.0Hadoop1.0到到YarnYarn单点单点资源管理和调度分离资源管理和调度分离资源划分：资源划分：slotslot到到containercontainer从从HadoopHadoop到到SparkSparkInputIter.1Iter.2HadoopSpark大数据生态圈大数据生态圈one stack to rule them allone stack to rule them allStormStorm流计算流计算 Impalad Impalad(Ad

3、-hoc query/(Ad-hoc query/迭代迭代) )Hive/MRHive/MR( (批处理批处理) )Hadoopcrawler搜索引擎搜索引擎HBaseMQ1、writeLog2、write商品商品pic(insert/update/delete)3、indexLog4、finish(可靠可靠)数据平台数据平台数据源数据源Sdk(插件插件/App/b5m)爬虫爬虫Log serverMR/SparkYARN调调度度离线计算离线计算实时计算实时计算用户行为用户行为数据数据数据数据平台应用平台应用FlumeNGStormspark steaming推荐推荐广告广告mysql商品、订

4、单商品、订单应用平台应用平台监控监控平台应用平台应用- -爬虫数据处理平台爬虫数据处理平台爬虫数据处理平台爬虫数据处理平台StormSpark Streaming推荐系统典故推荐系统典故啤酒与尿布啤酒与尿布老板、首页、性保健品老板、首页、性保健品推荐举例推荐举例商品详情商品详情推荐举例推荐举例购物车结算购物车结算推荐举例推荐举例首页首页/ /支付完成页支付完成页推荐的价值推荐的价值流量用户粘性CTRGMV减少购物路径用户体验多样性新颖性流量投放给目标用户精准转化率CVRROI平台商家用户推荐推荐( (广告、搜索广告、搜索) )的架构的架构候选集候选集待推荐商品待推荐商品索引索引过 离线离线检索

5、(相关性)过实体实体特征实时实时 model训练过离线离线实时实时排序、过滤过推荐列表推荐列表算法简介算法简介候选集店铺信誉更新时间人气价格评价退货率scoreTCL手机0.20.540.20.7联想手机0.3.相关性相关性 协同过滤协同过滤 关联推荐关联推荐 分类兴趣分类兴趣 聚类聚类排序排序 预估点击率预估点击率 pCTR pCTR 逻辑回归逻辑回归 GBDT GBDT 推荐系统的架构推荐系统的架构特征特征-内容内容用户用户-特征特征离线离线Jacarrd/cosine/CF/content Base/FPGrowth/LDA/LR/DT 算法库算法库场景场景在线在线触

6、点触点PC无线无线意图意图(聚焦、发散聚焦、发散)+画像画像融合融合过滤过滤排序排序用户行为（反馈）用户行为（反馈）推荐推荐效果验证效果验证A/B TestingF1RMSEAUC数据存储中心数据存储中心 Hadoop Hive HbaseMysqlredis任务任务调度调度中心中心索引构建索引构建内容质量评分内容质量评分 model训练训练ruleUser(f1,f2,f3,)内容候选内容候选用户行为用户行为应用库应用库(类别、标签类别、标签)语义分析语义分析关联计算关联计算配置配置管理管理监控监控候选候选排序排序相似度相似度协同协同相关性相关性用户画像体系用户画像体系基本维度基本维度性别、年龄、地域、终端、性别、年龄、地域、终端、网络、网络、渠道渠道、兴趣、标兴趣、标签维度签维度商业维度商业维度品类、品牌、品类、品牌、新新老用户、频次、老用户、频次、购买频次、购买频次、ARPU、购买时、购买时间间语义挖掘语义挖掘行为行为标注标注引擎引擎网络爬虫引擎网络爬虫引擎知识库知识库自我自我学习学习结构化电商数据开放智能推荐广告经分预测用户画像非结构化 短期短期 浏览浏览、购买、购买、搜索、搜索、长期数据合作数据合作广告广告联盟广告联盟搜索推广搜索推广广告主业务广告主业务平台平台营销推广