神策系统技术简介ppt课件

神策系统技术简介,2016-12-6,1,2,神策（数据分析管理平台）总体介绍,作业管理：统一平台化管理离线数据分析脚本，支持任务调度，频繁变更小需求运营自助完成，提高工作效率；入侵检测：作为帐号异地登录提醒和设备锁等被动安全手段外的有效补充，主动防御撞库、弱密扫描和暴力破解；实时监控：对任一个nginx集群服务的无侵入式监控，零接入成本，实时全服务、单接口及单机关键服务指标。,认证数据,入侵检测,实时监控,作业管理,数据分析管理平台（神策）,数据采集,数据分析任务调度,可视化管理,数据分析平台化、自动化和智慧化,通用日志,分散脚本,平台优势（部分功能对标腾讯蓝鲸）：通用化平台，几乎零成本应用于其它部门；flume无侵入式采集日志通过spark实时分析；支持服务质量三级下钻（集群、接口、单机）；作业管理支撑分布式任务调度，运行可视化；平台现状：作业管理已上线，管理100多个分析推送任务；实时业务监控已经在云机测试环境运行；帐号入侵检测完成功能测试，准备生产计算集群。,3,2个Web子系统（现场演示）,4,2个Spark实时分析子系统-云机环境,AccountAnalyzer,WebAnalyzer,5,作业管理（数据分析、消息推送的平台化、可视化）,6,实时入侵检测（异常登录IP、帐号识别和拦截，可视化管理）,7,实时入侵检测（异常登录IP、帐号识别和拦截，可视化管理）,8,实时业务监控（并发量、成功率、服务质量P99P999P9999）,9,丰富的系统监控功能,10,主要需求1,通过GUI管理、简化、自动化脚本的执行提高业务支撑效果，业务人员能简单执行,数据分析,实时分析,找出异常IP，实时推送监控系统-子系统-机器性能每日数据量：帐号ng日志+acc登录日志+mailLogin日志，平均超过3.8亿条/天,条件组合后，有几十种情况要计算有攻击的情况下，数据量增长会超过10倍,整个系统有数据分析管理+实时服务质量监控两个系统构成,11,主要需求2,通过GUI实现分散的脚本平台化管理、简化、自动化脚本的执行提高业务支撑效果，业务人员能简单执行实现远程拉取，分发管理分析脚本作业文件,脚本可视化分析,帐号安全需求,帐号面临机器撞库、弱密扫描的安全威胁攻击者的IP资源较多，可变换实时分析多个异常攻击特征组合，准确找出异常IP，异常帐号，进行实时拦截,通用业务实时监控,现有监控实时性不高，数据维度不支持，不支持多级下钻监控系统-子系统-机器性能每日数据量：帐号ng日志+acc登录日志+mailLogin日志，平均超过3.8亿条/天,12,主要功能,脚本管理集群环境下自动调度执行脚本执行过程监控脚本执行结果监控生成脚本执行脚本脚本执行情况、历史管理,数据分析（作业管理）,对标腾讯蓝鲸作业平台,业务实时监控用户登录行为分析业务配置管理异常登录IP异常帐号,实时数据分析,系统配置用户管理丰富的系统监控功能实时性可以5秒内稳定可靠、轻量级大数据服务,系统配置管理,13,14,整体技术架构,15,项目经验总结,分2个工作阶段：8-9月：数据分析10-11月：实时分析人员变动频繁，换3拨人大幅节约正式人力（仅2人全职，其中1人10月底开始全职）、机器,16,主要技术亮点,采用springboot+Cassandra设计、开发；提供bash脚本操作Cassandra，实现java与脚本之间的互操作；通过nginx+多个Web应用实现动静分离；轻量级大数据方案,基于集群，可靠地动态调度运行任务，支持大量任务的运行，消除了任务调度的单点，保障了任务调度的可靠性、唯一性；Springboot与shiro、天翼帐号开放平台成功集成，实现基于天翼账号的对用户认证、授权的支持,行业,公司,17,重要技术细节,没有JSP，前端全部是静态文件；全面支持HTTPS；全部异步操作；支持移动端；不需要开发，系统质量反而更好：读配置、JSON双向处理、HTTP处理、访问持久层库等；针对生产需要设计，标准监控接口，丰富、深入的监控功能,数据分析,实时分析（大数据）,有状态操作；实时、主动通知；整合spark、Cassandra、Kairos、zk；基于rdd的算法优化。消除单点，真正的、简单而强大的集群。,公司内首创,18,其它,工具调研,应用,大幅减少代码量，系统性能反而更高！,19,20,大数据计算集群架构、部署架构,Spark1.6.0OnYarn（CDH5.7.2）,21,主要技术亮点,范围：,22,主要难点,数据量变化大，有攻击时可飙升超过10倍计算量大，调优措施依赖环境需求复杂、不断变化,模板定制，业界独一无二Scala、rdd与Java做法差异较大Spark编程模型与Java等传统做法差异较大,技术范围很广，需改造、定制部分开源项目,23,成本控制、主要困难,全职员工仅2人，1人10月底投入；计算集群支持云机环境，不一定需要物理集群；减少了研发、运维工作量；没有产品、UED、测试人员，没有大数据运维；,成本控制,主要困难,资源匮乏：直到11月底，计算集群资源才满足要求；9月低前，拿2核云机做大数据计算资源有人提出：换编程语言（scala-java）；有人提出：应该采用基于Window的计算；有人提出：应该采用HadoopMapReduce，而不是spark；其它没信心,24,成本、风险控制良好，4个月完成2个项目,全职仅2人，7实习生；计算集群支持云机环境，不一定需要物理集群；减少了研发、运维工作量；没有产品、UED、测试人员，没有大数据运维。,提出换编程语言（scala-java）；应该基于Window计算；应该采用HadoopMapReduce，而不是spark；其它没信心,需求不断增加、变、随意（例如，删除异常帐号-增强）；4个月换3拨人，其它项目优先；无线办公网络慢、不稳定；为节约成本，直到11月底才有足够的机器,25,总结,人员应基本稳定、满足不能不断新增需求，今天（2016-12-06）又加有1个资源控制应先满足基本需求机器资源、环境到今天，物理集群资源都不充裕别人很简单就有100多g用，这里申请很久2个应用才100gSpark1.3、1.5、1.6大坑，牺牲健康为工作，别人还以为很简单,教训,致谢,感谢帐号研发部提供业务需