腾讯信鸽实时推送平台介绍

1、腾讯信鸽实时推送平台介绍目录 01背景与挑战 02解决方案 03案例 04运营系统建设信鸽推送的挑战终端长连接推送量1KW/s海量实时精准画像/机器学习人群分类信鸽推送系统解决方案终端SDKAndroid 自建共享通道iOSAccess：统一接入层TDBank：消息中间件通用存储层HDFSCKVHBaseCDB实时处理离线处理GAIA STACK统一资源调度平台（虚拟化）业务指标监控告警日报系统多维查询数据开放运营平台Hadoop运营工具云控系统CPUGPU内存网络ESPESAESCAndroid 厂商通道FPGATeslaSparkStormHermes单机性能优化-关键环节单机性能优化-操

2、作系统-配置部分配置类型配置项值系统打开文件资源限制/proc/sys/fs/file-max2500000进程打开文件句柄限制/proc/sys/fs/nr_open2500000Epoll监听fd个数限制/proc/sys/fs/epoll/max_user_watches2500000内核分配给TCP内存/proc/sys/net/ipv4/tcp_mem754752 1006336 1509504Listen fd backlog/proc/sys/net/core/somaxconn1024fast recycling of TWsocketsv/proc/sys/net/ipv4/

3、tcp_tw_recycle1Reuse TW socket/proc/sys/net/ipv4/tcp_tw_reuse1拥塞控制算法/proc/sys/net/ipv4/tcp_westwood0Eth scatter-gatherEth sgOffEth generic-segmentation-offloadEth gsoOff单机性能优化-性能评测Intel VTune Amplifier单机性能优化-性能评测单机性能优化-硬件性能挖掘Intel SSE4.2 CRC32与常规CRC32性能对比 执行 35W 次计算结果（SSE 快接近 6 倍）unsigned int _mm_cr

4、c32_u8() unsigned int _mm_crc32_u16() unsigned int _mm_crc32_u32() unsinged int64 _mm_crc32_u64()SSE4.2检测SSE4.2 CRC32支持实时精准推送系统离线数据采集用户属性特征 兴趣离线算法训练实时数据采集用户实时行为推送实时效果实时算法训练效果实时反馈实时推送推送助手ABTest应用自定义用户画像内部合作产品MTAXG数据MTA页面浏览自定义事件用户基础属性行为属性兴趣属性自定义标签用户状态400余种兴趣 类目女装 女饰品 女鞋 男装IT产品.60万独立标签 人均12个独立标签育儿状态 新婚

5、状态 毕业状态.人口属性年龄 性别地域 学历上网场景.苹果 索尼安踏 宝马.XG展示抵达注册点击清除卸载HDFSTDW数据加工特征提取初级：特征数据首次注册时间每日启动次数每日活跃状态最近登录时间样本集合 TDW1个月前当日设 备流失判定算法模型训练训练样本预测结果 当日活跃设 备特征模型人群挖掘算法模型C4.5，自学习得到判定规则预测是否会流失Linear Regression，根据特征预测未来一个月活跃天数Naive Bayes：特征类别条件概率分布预测是否会流失实时推送&多维分析实时数据离线数据Map Reduce页面浏览自定义事件点击注册用户画像应用版本设备画像HBase 增量倒排 索

6、引全量倒排 索引TDWTeslaTAG-010100TAG-010100DOC ID|DOC|010100SpoutboltboltRule CentralPull nodePull nodePull nodeAggrate nodeAggrate nodeDOC ID|DOC|010100Spark streamingStormHDFSHDFS实时推送目标人群检索通道检索地域检索信鸽Android通道小米通道华为通道任务调度APNs厂商通道SZSHTJHK信鸽Access集群iOSCKVVIP 1.NClustersNORMALClusterBolt L5Bolt L5Access dock

7、er node managerBoltBoltL5L5Access docker node managerGAIA STACKAccess docker node manager效果评估目标页面集合自定义参数事件自定义事件点击注册Storm用户画像 设备画像浏览数据源ExtractFilterTransformLoadUpdate tagComputeParserRedisProxy软硬虚拟化0501002001501/14/11/644/641/2564/256TCP_CRR(短连接)container-fixedip container-host container-sriov3000250020001500100050001/