广告算法中实时...[连锋]1410769944

1、广告算法中的实时计算三层计算 Offline：算法上可相对灵活，工程方面的需求也简单 Online：需要满足SLA对可用性和响应时间的要求 NearLine：近实时，可以进行比Online更复杂的计算，提供比Offline更好的实时性agenda Offline到nearline Online到nearline 几点经验Offline-nearline UI（User Intention） Acookie中间层（用户行为）-User Intention-批量更新平台-线上服务延迟2天 RCC（ Recency Server ）实时行为中间层（用户实时行为）-实时计算平台-线上服务延迟1-2秒R

2、CC RCC：用户实时行为数据。Offline-nearline 数据更实时（2天-2s） RCC在很多PID会比UI高10%CTR 并不是说nearline一定要比offline更好 不是所有的场景都适合nearline 如果直接把一个offline的算法套用到nearline，未必合适Online-nearline RCC1nearline: user-item;online:item-nodes;nodes-nodes; RCC2nearline: user-item;item-nodes;online:user-nodes; Online-nearline RCC2相对RCC1，前台压

3、力减少了70-80% RCC2更复杂的计算逻辑，效果也比RCC1好一些 Nearline无法完全取代online 如果nearline和online的算法效果一样，nearline实现的工程代价会更小Offline，nearline，online结合（user model）离线用户数据实时用户数据离线user model实时user model算法插件Offline，nearline，online结合（user model） Offline计算更复杂，更精准 Nearline补充了offline覆盖不到的实时数据，时效性更好 Online根据PV请求发生时刻的具体情况，结合offline和ne

4、arline的数据，做最终的决定几点经验 选择offline、nearline、还是online，不是非此即彼的决策 一般而言，需要结合使用三种计算 不要照搬offline的经验到nearline，不要一开始就试图建立二者的对应关系 Online和nearline的选择和结合往往是最困难的内部分享agenda 应用回顾 工程架构 展望应用回顾-总结 只是基础数据的实时化应用回顾-问题 1 实时数据和离线数据不统一，如UI和RCC，UI（User Intention）是采用用户行为数据计算的用户兴趣类目，RCC是用户的实时行为数据。 2 算法的计算都在前台，广告PV请求到达之后的计算，存在很大局

5、限性（rt，qps等）。应用回顾-难点 1 工程化开发代价较大：实时任务的开发较复杂，调试更难，如果对于稳定性和效率有较高要求则工作量会非常大，一般算法工程师很难有精力投入这么多。 2 测试比较难测。 3 上线代价也很大：大数据下，资源使用很多。工程架构-目标 实时开发更快：算法工程师只关注算法本身，不需要考虑实时数据处理逻辑。 测试更容易：测试只需要测试算法逻辑。 上线代价更小：机器资源更少，更好的支持实验需求。工程架构-实时中间层 广告的实时化基本就是2路数据：行为流和广告流 RCC类的应用都是基于用户的行为流（点击，购买，收藏等） 广告的疲劳控制等是基于用户的广告流数据（PV，Click

6、等） 行为数据和广告数据基本也是离线处理最重要的原始数据工程架构-实时中间层（二） 产出2条实时流：实时行为中间层和实时广告中间层 所有前期工作（多流join，过滤等）统一在实时中间层做 后续的处理通常只需要面对一条流，会简化很多工程架构-实时处理框架 基于实时中间层 把算法逻辑和实时数据处理分离 实时数据处理框架提供一些配置给用户来控制 算法逻辑由算法同学实现，可以单独测试 思想类似于hadoop的mr框架，或者galaxy的mrm，但是重点结合广告的算法。工程架构-实时处理框架（二） public void setup(MergeContext context) public void c

7、leanup(MergeContext context) public abstract VALUEOUT merge(KEY key, List inputs, VALUEOUT oldValue, MergeContext context)工程架构-实时处理框架（三）工程架构-实时处理框架（四）工程架构-应用 User model 用户数据中心 搜索个性化工程架构-总结 做到了算法数据的实时化展望展望-算法1 搜索广告的online-learning平台：dynamo（和amazon的无关）2 DMP的实时标签3 实时数据的清洗展望-工程1 更快的实时反馈：用户的上一个行为马上反映到下一个页面。2 更大规模的存储系统：支持海量的数据实时计算，每个广告在每个pid下的CTR，每个DMP标签的CTR等。3 更复杂算法模型的支持经验 1 目前来看，实时算法复杂的部分一般在实时场景的处理，往往是工程化困难更大 2 可能的话，计