Web请求异步处理和数据分析技术实践

1、Web请求异步处理和数据分析技术实践技术创新，变革未来目录1. Web请求异步化处理的实践 Web请求异步化的原因 异步化模式在开放平台的使用场景2. “海量”数据“即时”分析“海量”、“即时”的需求背景整体设计结构和思路优化实践Web请求异步化的原因为什么要异步化？根本原因：容器线程利 用率不高。 业务处理天然异步化需 求（业务处理消耗比较 久，外部事件激发） 减少连接带来的消耗， 充分利用服务端并行处 理能力 减少业务依赖不稳定对 容器线程资源的低效率 占用容器线 程业务 处理渲染 展示异步化模式在开放平台的使 用场景框架控制串行化逻辑隔 离实际应用：服务降级，Beta发布半异步化模式再次

2、分配 请求处理资源实际应用：服务隔离并行任务执行，部分累 加输出实际应用：batch api基于事件驱动，服务端 异步消息推送实际应用：streaming api异步化模式在开放平台的使 用场景管道化：串行逻辑非关键路径降级。框架级支持公用逻辑植入。（log，lazy parser，event driven，comet）流程逻辑复用与隔离。异步化模式在开放平台的使 用场景异步化模式在开放平台的使 用场景异步化模式在开放平台的使 用场景3,6,2 某一天三个时间段的淘客服务统计数据服务隔离的效果异步化模式在开放平台的使 用场景异步化模式在开放平台的使 用场景“海量”、“即时”的需求背景现状需求监

3、控告警，趋势分析（结果产出周期小于2分钟）平台维度分析服务维度分析应用维度分析15亿（400G）1台实体机器12台虚拟机器整体设计结构和思路整体设计结构和思路Master：管理任务（分析任务），合 并结果（Reduce），输出结果（全量 统计，增量片段统计）Slave：Require Job + Do Job + Return Result，随意加入，退出集群。Job：(Input + Analysis Rule + Output)的定义。整体设计结构和思路后台系统任务分配：无负载分配算法，采用细化任务工作者按需 自取粗暴简单任务重置策略。Slave与Master采用单向通信，便于容量扩充和缩

4、减。Job自描述性：数据来源，分析规则，结果输出。异构化任务处理 集群共享Slave。数据存储无业务性，分析规则包含业务含义（优势在于可扩展，劣 势在于全量扫描日志）透明化整个集群运行状况，保证简单粗暴的方式下能够快速定位出 节点问题或者任务问题。Master单点采用冷备方式解决。（异步化外移状态，减少服务端状 态数据）整体设计结构和思路MasterSlave数据量：2千万 -1亿-8亿-15亿。报表输出结果：10份配置-30份-60份-100份。 统计后的数据量：10k -10M - 9G。统计周期的要求：1天-5分钟-3分钟-1分半。优化实践纵向系统的工作的分担平面化分担合并任务中间结果输

5、出，外部合并优化实践流程中间数据优化减少中间结果无 用存储和处理压缩中间结果和内部 标识（可逆vs不可逆，算法vs对照表）节省带宽， 内存， cputaobao.user.get12132342fangweng服务成功率=服务成功次数/服务总数优化实践特殊化处理特殊的流程：Master简化序列化（已知序列化对象可简单化）减少内存申请，尽快释放处理后的数据减少中间过程的消耗优化实践Report apiName,apiTotalCount,apiResponse,apiFailCountapiName,apiResponseapiName,apiTotalCountapiName,apiFailC

6、ount特殊化处理特殊的流程： Report = N * group by KKV Pool1KV Pool3KV Pool21.深度遍历+二维数组2.广度遍历+一维数组优化实践合并调度及磁盘内存互换的优化：合并数据是内存消耗重灾区： 1.合并前有大量数据挂接在接收 缓存列表上合并过程会消耗大量的内存合并后主干占用大量内存输出时占用大量内存合并数据是内存消耗重灾区：是否可以快速处理回收？是否可以减少中间结果占用空 间是否可以释放主干，需要时载 入是否可以压缩和过滤优化实践合并调度及磁盘内存互换的优化：优化实践磁盘内存互换的优化：消耗：主干载入和输出 收益：周期内主干内存释放（GC减少提 高速度）优化细节：载入最优时机输出内容压缩， 速度加快导出异步化4.优化实践利用可横向扩展的系统来分担纵向扩展系统的工作。流程中中间数据的优化处理。特殊化处理可以特殊处理的流程。从整体流程上考虑不同策略的消耗，提高整体处理能力。资源的快用快放，提高同一类资源利用率。不同阶段不同资源的互换，提高不同资源的利用率。附录分析器：/p/top-analyzer/src/