手机红包后台应用架构

1、红包狂欢背后的秘密手机红包后台应用架构红包产品简介红包系统架构设计演进红包核心功能设计介绍派奖策略设计通用地图任务方案设计配置系统设计实时采集方案设计红包架构设计策略总结红包产品发展历程刷一刷红包参与用户数3.08亿 派发22.34亿个红包LBS+ AR& 刷一刷红包参与用户数3.42亿派发2.5亿现金红包和价值30亿卡券红包企业& 明星红包参与用户数1.54亿 派发价值30亿红包201720162015红包产品简介红包系统架构设计演进红包核心功能设计介绍派奖策略设计通用地图任务方案设计配置系统设计实时采集方案设计红包架构设计策略总结红包后台架构及设计原则n 预处理充分应用静态资源闲时下载现金

2、发放预处理，提前分拆 订单静态地图数据预处理构建n 前端保护后端尽量缩减往后端透传的流量， 每一层优先做预判和检测逻 辑接入层保护红包系统，限定客户端请求红包系统保护CFT、礼包系 统，实时控制发放速度n 架构简单可靠、异步化主逻辑灵活伸缩现金红包礼品红包变更 通 知抢/领/查投票抢红包SSO投票互动后台下载资源拉取配置下发通知红包 系统消息系统安全审计现金支付系统礼包发货系统腾讯内部业务黄钻 绿钻京东 携程重试模块异步保证可靠请求游戏挖财第三方业务TDW入库公众 号报表终端配置系统CDN资料关系链架构演进|企业&明星红包架构演进|2015-企业&明星红包n 无经验,时间紧立项到上线不足2个月

3、20种虚拟礼包接入n 多部门协作跨4个BG,涉及9个部门n 突发异常应对后端业务容量参差不齐部分业务缺乏海量运营经验n 奖品有效发放如何保证不多发少发如何保证高中奖率如何保证整场活动持续派发n 安全防刷Uin频率限制每种奖品个数限制安全打击和流水审计投票 互动 后台礼包发放现金 发放订单(本地)SSO接入服务无状态寻址日志 监控资料 关系链消息 系统CDN安全 审计抽奖逻辑流水系统配额管理安全策略KV存储组件礼包 发放公众号架构演进|2016-刷一刷红包静态资源闲时下载现金发放预处理，提前分拆订单静态地图数据预处理构建前端保护后端接入层保护红包系统，红包系统保护CFT、礼包系统制发放速度架构简

4、单可靠、主逻辑灵活伸缩架构演进|2016-刷一刷红包n 海量高并发预估抽奖峰值800w/sn 快速扩容支持约20G订单数据n 突发异常应对后端业务性能及容量参差不 齐部分业务缺乏海量运营经验n 好友间刷次数实时排行读扩散or写扩散存储如何设计堆排礼包发放现金 发放KV存储组件订单SSO接入服务一致性寻址+预处理+频率控制公众号礼包 发放全量缓存合并+拷贝排行榜 服务排行榜 代理日志 监控资料 关系链消息 系统CDN安全 审计频限管理抽奖缓存抽奖逻辑安全策略流水系统配额管理架构演进|2017-LBS+AR天降红包架构演进|2017-LBS+AR天降红包n 地图任务数据管理千万级POI数据Set化

5、管理，投放灵活预构建缓存,双Buffer设计, 免网络流量高速读取地区红包拆分规则n 实时余量统计地区任务奖品多维度统 计无状态，余量展示问题n 历史记录割接数据库分表，批量割接 ， 快速入库,主服务无阻塞礼包发放现金 发放流水系统KV存储 组件配额管理安全策略订单频限管理CDBProxy配置 中心抽奖逻辑POI管理配置 客户端SSO接入服务一致性寻址+预处理+频率控制共享内存预告 服务采集余量 服务CDB全量缓存合并+拷贝排行榜 服务排行榜 代理CDN地图 定位安全 审计投放 系统日志 监控资料 关系链消息 系统公众号礼包 发放缓存红包产品简介红包系统架构设计演进红包核心功能设计介绍派奖策略

6、设计通用地图任务方案设计配置系统设计实时采集方案设计红包架构设计策略总结红包系统业务模型n 派发策略瞬间峰值大，后端顶不住 错峰有可能导致后来用户抢不到 快速响应业务故障的能力结合预演数据提取业务模型，评估请求量，准备资源评估合理的错峰时间，保持高中奖率n 抽奖算法奖品发放速率控制奖品发放比例实时可调尽量保证奖品都派发出去开始奖池为空？按桐率随机挑选一个奖品该奖品是否 还有发放配额？派发该奖品去掉该奖品结束否是否是是限时结束？否是中奖次数限制？否挑选奖品放入奖池灵活可靠的奖品派发策略n Grocery分布式计数器灵活拆分和配置，支持不同 数目和限制的物品，快速响 应产品物品变更需求n 灵活的配

7、额策略奖品发送速度精确到秒10s快速全量更新奖品全局 配置，保护后端服务n 毫秒级限速控制本地缓存配置，根据机器数 预先分配上限物品id+时间戳为key在本地 拆分配额，确保往后端请求均匀秒级配比：5%10%.配额： 30计数：7节点：1.1秒级配比：5%10%.配额： 30计数：2节点：1.2秒级配比：3%7%.配额： 100计数： 26节点：2.113.当前配额寸司(少)5%10.t 1t 2.共享缓存WR红包服务配额Agent服务A共享缓存WR红包服务配额Agent服务B同步同步计数计数红包产品简介红包系统架构设计演进红包核心功能设计介绍派奖策略设计通用地图任务方案设计通用地图任务方案设

8、计实时采集方案设计红包架构设计策略总结通用地图任务方案设计n 简化为平面的静态缓存设 计默 认 地 图 标 尺 用户坐标到格子的简单计算 格子-POI点-任务的存储主逻辑全量缓存，加速查找n 基于任务的通用投放策略POI随人口热力图/区域切分抽象任务和POI的对应关系不同任务的投放策略，奖品 数目自由配置红包产品简介红包系统架构设计演进红包核心功能设计介绍派奖策略设计通用地图任务方案设计配置系统设计实时采集方案设计红包架构设计策略总结配置系统设计n 配置缓存预先构建配置的读量远高于写量地图及任务投放数据全量有 序缓存，加速访问配置数据存在关联，采用双Buffer设计，配置可无锁更 新和使用统一

9、配置操作接口DoubleBufferVariabledataFixedindexFixedset_0set_1poi_0poi_1task_0task_1 item_0item_1CDB配置中心WR共享缓存缓存 构建 配置 同步共享缓存R配置同步AgentW业务 进程红包产品简介红包系统架构设计演进红包核心功能设计介绍派奖策略设计通用地图任务方案设计配置系统设计实时采集方案设计红包架构设计策略总结实时采集方案设计n 采用读写分离，共享缓存解耦n 读服务可平行扩展，不受存储层限制n 多维度统计，聚合采集，减少包扩散n 预构建本地缓存，提升检索性能n 海量查询不会影响抽奖系统发奖计数器采集构建共享

10、缓存余量&预告服务并发读聚合余量&预告服务余量&预告服务红包产品简介红包系统架构设计演进红包核心功能设计介绍派奖策略设计通用地图任务方案设计配置系统设计实时采集方案设计红包架构设计策略总结过载保护及柔性策略重点：要提前做好预案！部门模块柔性策略当前状态影响即通平台部SSO后台调整客户端抽奖/随机上报间隔支持降低刷红包请求ptlogin调整中奖比例，减少领用请求支持可能部分奖品派发不出去GrocerySSO调整中空红包比例支持可能部分奖品派发不出去应用综合部公众号关闭或调整中奖比例支持用户收不到中奖通知增值渠道部异步发货调整中奖比例支持延迟发货MP财付通财付通调整中奖比例支持可能部分现金红包派发

11、不出去支付平台部H5立即领用（装扮类）调整中奖比例支持可能部分个性礼包派发不出去第三方H5立即领用调整中奖比例或禁用第三方跳转支持可能部分卡券礼包派发不出去有效发放及安全策略IP访问权限限制机器环境操作日志红包生效后校验现金预处理以防 多发订单去重机制防止 重复请求订单服务多机部署事前检查奖品发放业务安全实时保障事后校验系统内日志流水 对账系统外日志流水 对账（财付通和 增值）白名单用户参与每次活动之前按 照之前安全逻辑 动态刷新定位器识别信令侧SSO通道保证用户号码，设备imei号频率和领取上限 限制号码户口/IP所在地/LBS所在地几者的 跳变的检测中奖记录审计和 封号处理大型活动通用架构

12、设计原则活动资源预加载前端请求间隔/次数可配置有合理的错峰逻辑和产品展 现形式活动结果预处理容量和柔性策略考虑充分， 保护后端静态数据提前构建高效缓存读写分离，读不要求强一致性热点数据预处理 业务流程异步化 通用任务配置机制配置系统快速处理异常问题写数据保证最终一致性完善的日志，对账功能活动存储活动逻辑接入系统前端架构用户频率，数目限制恶意用户打击策略安全完善的日志，对账功能用户恶意攻击应对用户检测和上报如何确保大型活动成功监控后台代码各部分交叉 Review协议响应时间测试模拟真实请求全链路压测质量工具各种突发事件的正交完备性预案 讨论，明确各个角色职责预案手册打印出来，人手一份运维和值班同学架构/预案培训周边系统梳理应急预案演练和复盘核心视图和关键属性整 理定制秒级监控告警告警标准和负责人梳理内存dump/秒起检测完备关键操作脚本/页面化活动前需要做的check工 具脚本化安排红包相关的各个参与 部门联合架构ReviewQQ后台系统