美团外卖广告智能算力实践

美团外卖广告智能算力实践美团外卖广告业务介绍美团外卖广告业务介绍列表广告展示广告营销广告创新广告附近商家发现好菜满减优惠会员红包减配送费美团专送Q一伍一拾满28减18津贴余额：¥20品质减配送费金刚炸货殿.炸串炸鸡(望京…起送¥20配送¥1¥53减239减7165减1295减18130减25中国蘭州牛肉拉面★4.3月售1000+30分钟1.2km起送¥20免配送费人均¥22“真的味道好极了”35减259减367减48.5折起首单减17品类筛选门店数量投资金额▼..吉野家(金泰店)二碗有情怀的牛肉饭点击购买..三只龙虾门店数量216家加盟费用0-5万元免加盟费大连锁◎4350人关注喜翻拌门店数量57家加盟费用0-5万元麻辣拌帮扶持帮选址◎113599人关注门店数量139家加盟费用0-5万元猴子的教兵水里茶奶茶超选址田老师红烧肉(亦庄天通泰店)★4.3月售4000+41分钟3.2km起送¥20配送¥2¥5人均¥21“黄焖鸡太好吃啦，汤汁也足”已领6元券30减650减257元无门槛红包饺子馄炖智能排序销量优先评分优先速度优先月售6328+起送¥20配送¥3¥5★5.0分望京美食人气第一名29分钟2.5km梁小猴梁小猴★4.4月售1000+33分钟1.9km起送¥20免配送费人均¥2220综合排序“烤鱼肉很嫩，味道不错”满减优惠已领19元券20减2059减2771减34发现好菜会员红包速度减配送费全部筛选美团45分钟美团专送智能点餐★4.8月售729630分钟2.3km起送¥0免配送费¥5安心商家△炭烤鲜嫩牛肉….炭烤签签小肉串….贵州大厦梁小猴港式炒饭(聚八方美食城…北京贵州大厦★暂无评分月售2★4.6月售1000+30分钟“1km起送¥30配送¥5起送¥18免配送费人均¥21点评高分店铺“鸡排很好吃，很赞”首单减6全球软件开发大会全球软件开发大会广告业务场景介绍典型的召回漏斗优选精排机制召回优选精排机制召回召回触发在线预估召回触发在线预估商家端广告物料传输全球软件开发大会全球软件开发大会算力情况介绍资源使用情况算力和场景的关系广告业务性质总机器1w+增加算力增加算力排序年增长率50%VV业务性质：从海量候选集选择非信息获取(如：交易类)业务性质：执行确定性结果动作算力增加候选队列越长广告收入越大智能算力的核心思想系统容量系统容量次高价值流量次低价值流量午高峰晚高峰次高价值流量次高价值流量次低价值流量方案1方案2方案3方案4智能算力目标预估流量的价值收入不变，机器资源降低不同的召回动作机器资源不变，收入提升使用不同的算力提升算力利用效率技术解读-整体思想思想：提高在广告检索过程中的算力分配效率，实现单位算力下收益最大化复杂通道粗排集集系统状态技术解读-挑战分析通用性&扩展性智能算力的目标：是在系统算力容量约束下，实现业务收益最大化，具体如何去做?从固定算力分配到智能算力分配，不仅需要保证智能算力框架本身的稳定性，更需要保证系统全链路的平稳运行兼顾基础能力的复用和个性化能力的扩展，支持多个业务场景的友好接入·参考已有方案，问题拆解3个子问题：流量算力预估·并针对外卖广告场景进行探索和改进·降级熔断、监控报警等常规保障手段·核心组件以SDK形式提供可复用可扩展能力·基于通用的价值评估指标、算力评估指标和弹性算力框架，支撑不同业务场景和多弹性动作的组合决策方案设计-算力框架障投放引擎流量中控召回弹性动作弹性队列策组件支持层AB实验数据收集监控报警人工干预粗排精排弹性模型弹性通道已实现机制弹性链路进行中决策层最优档位决策系统稳定性保障预估层流量价值预估流量算力预估特征层上下文用户动作档位系统状态上报(FailRate/Tp999/CpuUtil)采集组件变更通知zk调控组件(PID控制器)全球软件开发大会全球软件开发大会方案设计-最优档位决策方案设计-问题建模业务目标：通过差异化不同价值流量的算力分配，在整体算力不增加的条件下，最大化整体收益------优化目标：最大化价值Xi,jcosti,j≤C)-------束条件：算力不增------约束条件：档位范围·cost,,:流量i在档位j下的算力(流量资源消耗)·C:最大算力消耗(时间片内资源消耗)优档位换比拉格朗日求解j(i)=argmax(valuei,j-λcosti,j)拉格朗日求解局部决策(请求粒度)表述：局部决策(请求粒度)表述：子问题拆解：子问题拆解：在线档位决策请求iargmax(Valueij-λCostij),max(Valueij-λCostij)≥0,max(Valueij-λCostij)<0j*=j。时将请求分配给简单模型Valuei(k₁*平台收入+kz*商家收入)Cost;(CPU时间)档位决策结果大小模型分配队列长度截断价值预估算力预估离线阶段离线λ求解方案设计-决策框架-流量价值预估整体框架√(平台收入+商家收入)√统计模型->XGB√√档位价值预估：粗排打分计算价值衰减档位价值预估用户侧特征上下文特征广告3广告2广告1被截断的广告队列，截断后的广告队列，广告打分和为Sb=∑1sisj-1Si假设广告队列价值为原始流量价值为Vo,则截断后价值为V=Sa+SVo方案设计-决策框架-流量算力预估问题1:算力评估指标是什么?问题2:如何建模?通用性不好精确度低拟合过程分析通用性强精确度高外卖方案分段线性拟合契合业务：体现拆包造成的算力突变情况蓝色点为真实统计值红色线为拟合结果队列越长，数据越稀疏>解决稀疏问题：从短队列泛化到长队列501001队列爬度300350400CPU时间适用于弹性模型/弹性链路中1.业务特色：算力与队列长度非简单线性关系，队列存在拆包情况2.外卖场景中，不同slot流量可能走不同ctr模型(如slot=12为闪购流量)方案设计-决策框架-流量算力预估队列越长，数据越稀疏从短队列泛化到长队列全球软件开发大会全球软件开发大会二分查找*最优λ最大算力消耗C输入收敛阈值e选择候选λ选择候选λ的最优档位统计当前算力消耗输出最优λ动作&档位选择i*二jo,max(Valuei-ACost)<0valuer,:预估流量价值costi;j:预估流量算力λ求解：离线求解，在线使用根据档位执行算力分配动作：即最大档位对应的收益大于等于0时，选择使得收益最大的档位即最大档位对应的收益小于0时，将请求分配给简单模型方案设计-系统稳定性保障常规保障措施流量准入：提供分广告位、城市、时段等不同流量准入规则，控制弹性算力作用的流量范围流量入口准入控制?兜底流量准入-YES一弹性算力分配熔断降级：实时监控弹性算力的异常，达到配置的异常阈值后，弹性算力会自动熔断降级，走兜底算力分配流量入口→弹性算力分配熔断降级异常上报熔断降级熔断降级超时控制：为保障主流程整体链路耗时不增长，弹性算力决策是一个异步的过程，超时后走兜底的算力分配流量入口主流程算力分配弹性分配兜底弹性分配YES异步流程弹性算力决策超时控制方案设计-系统稳定性保障●调控策略：弹性队列长度√系统状态上报：投放引擎服务通过监控系统，实时反馈系统当前状态√采集组件：基于Flink流处理框架，实时解析聚合系统状态数据，并进行去噪和平滑处理√调控组件：基于PID算法，根据选择的多个调控目标，实时调控系统算力，将调控结果反馈到引擎服务的决策组件，形成调控闭环。(Tp999/FailRate/CpuUti广告投放广告投放Flink流处理机器列表机器列表引擎服务1决策组件决策组件反馈PID调控器ZK多目标