基于云计算技术的互联网广告精准定向.ppt

基于云计算技术的互联网广告精准定向悠易互通赵征,我们是谁,悠易互通（YOYI）是中国领先的受众网络数字营销公司。致力于以互联网广告定向技术及优化系统，深入分析中国网民的兴趣与属性；以新锐的创新思维，通过数字媒体整合传播渠道，为客户的品牌数字营销提供全方位的解决方案，帮助客户实施更高效的数字媒体策略。目前悠易互通已开设北京、上海、广州公司，拥有500名员工，可提供全面的受众网络洞察及数字营销咨询服务，已为微软、英特尔、奥迪等全球400多家品牌客户提供全方位的广告营销服务。,目录,核心技术及系统架构说明,数据累积量展示及扩展应用,用户行为定向，真正的精准定向,用户行为定向，真正的精准定向,常用的广告定向手段,地域定向,时间定向,客户端环境定向,网址定向,其它基础定向,更加精准的定向手段？,精准定向广告趋势,精细化营销,大量广告将通过广告网络完成投放，广告网络将成为下一个掘金点前期依靠内容渠道的整合，后期依赖基于行为分析定向技术的海量数据挖掘。,用户行为定向的特点,BehavioralTargeting用户行为定向根据每一个互联网受众的行为，分析其兴趣属性和心理预期，有针对性地进行广告投放。将广告定向锁定到每一个受众个体，真正的精准定向。,多方共赢，用户行为定向的优势,对于广告主：把广告投放给真正感兴趣的人，直接针对目标受众，提升广告效果。对于代理商：只让感兴趣的人看到广告，减少无效曝光，节省媒体资源。对于媒体：访客只会看到感兴趣的广告，降低用户排斥感，提升媒体粘滞度。对于受众：能够得到真正需要的信息，提升信息相关性、浏览乐趣。,YOYI的多维度BT定向概念讲解,金融,时尚,Yes，iPad！,旅游去:),实时浏览兴趣关键词匹配,用户持久化兴趣,兴趣关键词匹配,兴趣行业/产品分类匹配,1,2,核心技术及系统架构说明,实现BT定向，技术难点有哪些,用户行为数据的收集,海量数据的存储计算,用户兴趣的分析建模,行为定向的应用和完善,YOYI广泛和丰富的媒体流量资源,基于“云”技术的YOYI数据中心,自主分类词库、完善的语义及行为分析技术,丰富的BT商业化经验，完善的广告优化技术,(1)用户行为数据的收集,YOYI受众数据收集原理,复合搜索系统,复合搜索引擎提供URL到页面重点关键词的转换。意为传统垂直搜索和针对媒体上不断新增的新页面的实时补充抓取程序相结合。为BT定向的用户行为分析服务，同时提供用户即时浏览兴趣关键词定向的页面分词功能。,复合搜索系统原理示意图,页面正文区域智能提取,复合搜索抓取,YOYI基础词库,正文分词,(2)YOYI数据中心,分布式存储-DFS,面对海量数据计算，首先要解决海量数据存储的基础问题，我们选用了“云”结构的DFS系统：HDFS。HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（highthroughput）来访问应用程序的数据，适合超大数据集（largedataset）的应用。,HadoopHDFS,容灾性能高,吞吐量高,开发/维护高效,数据容量大,分布式计算Map/Reduce,面对大数据量的计算，很多计算任务是单机无法完成的。形成了“云”计算最原始的推动力。YOYI自己的数据中心里，分布式计算采用了最经典的Map/Reduce模型，同时也在随时关注和实践行业内最新的发展动态及研究方向。,Map/Reduce模型,可靠性高,高度并行,开发/维护高效,成熟度高,Map/Reduce典型模式图WordCount示例,YOYI的Map/Reduce计算，分为对广告业务数据的分析、广告优化分析、BT用户行为计算挖掘几个部分的应用。,自主研发Map/Reduce模型,HadoopMap/Reduce框架,早期，我们自主设计了M/R的计算模型,目前采用的M/R框架更加完善的成熟M/R实现在各大企业广泛应用,分布式数据库,分布式数据库，是在海量数据应用层面上的一个重要课题。结合YOYI的用户行为分析等业务需求，面临几个选型问题。,SQL,NoSQL,VS,分布式NoSQL数据库的选型,Cassandra,MongoDB,Hypertable,Hbase,真正Distributed,与Hadoop无缝整合,基于ColumnFamily，灵活性强,开源，开发维护活跃,NoSQL的不足，我们还研究？,数据仓库DataWarehouse,图数据库GraphicDatabase,Neo4j较为称成熟可分布式,Trinity微软图数据库,HIVEHadoop体系的DW实现,YOYI数据中心整体架构图,基于上述各项技术的整合，YOYI构建了完善的分布式存储及分布式计算平台，提供对所有收集到的用户行为数据的持久化存储及高性能分析计算支持。,YOYI数据中心拓扑说明,从横向层面上，YOYI数据中心包含多个相互关联但功能独立的子集群系统：,广告业务服务集群,业务数据分析计算集群,BT行为分析集群,搜索引擎系统,BT行为定向服务集群,架构中的其他耦合层,在BT定向查询层，构建了Redis+SSD的数据缓存层，并且，还构建了服务于Hbase用户数据的分布式MySQL数据索引层：,Redis,SSD,极高的寻址特性小文件支持佳,内存Key/Value极高查询性能VM支持数据持久化,MySQL,自主构建的分布式逻辑高可靠性高可维护性,(3)受众行为分析建模,受众精准兴趣分析的4个维度,用户兴趣关键词,用户兴趣行业,用户兴趣产品类别,当前浏览页面关键词,受众兴趣分类体系,我们结合广告主的营销需求，经过分析调整，整理出了包含22个兴趣行业、230个产品类别的受众兴趣分类体系。,兴趣分类的体系，用以经过分析计算，给用户标识出兴趣Tag。让广告主能够更容易地从人群兴趣的维度选择广告定向的条件。,消费数码,汽车,手机,改装,笔记本电脑,SUV,二手车,两个受众兴趣分类体系的核心技术,基于语料学习的分类词库按照行业及产品分类体系的结构，我们对关键词库进行了基于语料训练方式的整理，基于大量分类语料的语料训练及自学习，得出了与各个分类指标化关联的，高可用性的分类词库。用户兴趣分类算法通过不断的数据建模及修正，我们得出了依据用户行为及内容分类，得出用户行业/产品兴趣的高可用性算法。,用户分类算法图示,用户分类的确定采用改进的朴素贝叶斯(NaveBayes，NB)分类算法，YOYI基于NB这种利用概率分布统计进行分类的算法，进行了大量面向应用的改进和完善。用户对于每一个兴趣分类的属性相似度，都参照一个三维的特征向量系进行评估。用户兴趣词与此分类覆盖度越高，用户兴趣属性与此分类相似度越高；覆盖的兴趣词中，词的词频越高，用户兴趣属性与此分类相似度越高；覆盖的兴趣词中，词与此分类的关联度评分越高，用户兴趣属性与此分类相似度越高；,人口统计学分析研究,同时，我们拥有自主的问卷调查系统，并基于普查性的用户属性聚类分析，结合自主的经过改进的SVM支持向量机用户分类算法，进行了一定范围内的用户人口统计学分析的研究，取得了很好的效果。,(4)受众行为定向的应用,受众行为定向对广告效果的提升,目前，我们已经为超过400家广告主提供了广告精准定向服务。广告订单CTR平均可以提升50-150%，最高达到280%,数据累积量展示及应用,活跃Cookie数据库用户标本积累情况,截止到2011年6月末，YOYI可以用于BT定向的活跃Cookie样本数量，达到了2.655亿人。,用户访问记录及行为数据收集情况,同时，截止到2011年5