基于日志数据运维方案

1、基于日志数据运维方案2009GangliaPssh2012Log Based Platform2014产品化，服务化E2E延时：5 S石器农业工业信息服务20102013RRD liked Monitor Tracer (Sampling)单集群：5TB/Day经历云计算研发过程变化：节奏变了Ap p 开发卖方市场买方市场云对技术影响运维转向运营 上线周期缩短数据改变结果收集百万用户行为实时提升游戏（投放、运营、 活动）2012201320142015成熟时间（从发布到饱和，累计下载）200 周 1 60 周1 20 周8 0 周4 0 周0 周研发销量时间轴增长成熟衰退生命周期投放市场模仿者

2、变化2：软件研发与架构设计方案不变：用户获取途径PD视角问题多久玩一次?什么时候退出?能把用户捞回?发生了什么?来源与声音微博，朋友圈评论网页访问次数Ops视角问题是否需要扩容带宽是否足够运营视角Facebook API用户访问游戏用户信息用户参与度送礼物收礼物OPS视角谁的资源占用优化资源配置量化程序性能与资源占用运营看什么2000人800人750人300人发起推广用户点击登陆账号完成绑定150人购买推荐朋友 130人20人重复购买推广达成率Ops看什么Dev分析用户路径OPS 分析硬件行为OPS 工作范畴与交集OpsDev程序 + 用户机器 + 程序 + 用户 + 活动用户+活动UserA

3、rchPDHardware数据驱动 决策过程记录日志分析（实时、天、月）事件 A事件 B事 件 DLog收集日志采取行动（运营策略）事 件C为什么是日志行动绘图客户端切片状态PlayerIDPosXPosYLifeMoneyWeapon10011145100$3200AK1002112090$25MP5举例：10:06 服务间 链路查询10:00 PlayerID:1001 Action: Buy Item: AK-4710:05 PlayerID:1001 Action: Move PosX: -45 PosY: +1010:06 PlayerID:1001 Action: Move Pos

4、X: 0 PosY: +10.举例：10:00-10:06动态Log1 Log2 Log3 Log4系统状态如何来运维、运营日志数据酒店业务运营住户：多种来源开发商：Dev管理：Ops销售：运营活动目标：提升管理效率，提高用户体验将Ops做成品牌服务（万科物业）第一步：数据采集基础资源：电力、水利、网络安全相关：摄像头，烟雾传感器用户体验：电梯运行情况，停车场出入情况，刷卡情况其他：用来从哪里来消费实时数据采集Order ListServer LogTrace InfoLogHubDebug LogUser ActionSys OperationIT 基础设施产生日志多终端异构网络用户行为散落

5、在外部不同地域多渠道数据中心有哪些方案wechat-server (存储微信服务器访问日志)wechat-app （存储温馨服务器应用日志）wechat-error （错误日志）alipay-serveralipay-appdeliver-app （送货员app状态）deliver-error （错误日志）web-click （H5页面点击）server-access（服务端Access-Log）server-app (应用)coupon （应用优惠券日志）pay （支付日志）order（订单日志）第二步：实时监控、报警电表、水表，网络带宽视频监控程序：人流量，入住率烟雾报警程序：是否有错误实

6、时查询分析实时监控分析的技术存储：Ganglia、OpenTSDB、InfluxDB计算加存储Storm + HbaseSparkStreaming+ ESFlink & Samza案例：阿里云神农平台系统：Metric：5-10秒采样Tracer：按条件采样Logging：根据级别应用：StreamCompute存储：NoSQL(Table Store)案例：送货员位置8764PositionLog2. 地理坐标转换1. 日志收集3. 数据可视化AggLog8764快递小哥哪个区域比较充足繁忙程度如何？第三步：离线存储数据分析较为复杂关联与计算用户分析与推荐4356789LogShipper

7、Data StorageOSS、TableStoreE-MapReduce MaxComputeSpark StreamingStorm/JstormConsumer LibrarySDK实时计算9876543LogHub实时收集LogStore案例：酒店推广设计用户注册URLtimesessionsourcerefparams生成二维码，各渠道传播服务端将URL参数写入日志数仓进行计算在若干渠道推广新用户评估各渠道注册效果评估各渠道注册数量http:/examplewebsite/login?source=10012&ref=kd4b2016-06-20 19:00:00 e41234ab342ef034,102345,5k4d,467890渠道用户数目获取费用传单-地铁站7002.0传单-小区9001.5网页注册11300.7推广渠道A2003阿里巴巴日志处理架构LogHub采集消费LogSearch索引查询LogShipper投递现实中的挑战流量波动活动、新服务开放、周末数据采集、管道故障基础服务是否稳定新增需求接入一组新数据：微信订房接入一个消费者：安全部门需要联网Docker场景中扩容案例新应用部署应用层日志处理+增加消费端Server1Server2Server3执行环境+服务器扩容Config 日志路径机