Splunk大数据解决方案

Splunk大数据解决方案,Splunk公司介绍什么是Splunk？案例分享Q&A,内容,成立于2005总部位于美国旧金山员工：:300+Pre-IPO,年增长率96%全球超过2800个客户,75%的财富500强公司选择Splunk.2011年进入中国，北京移动，北京电信，内蒙古移动，联想集团，支付宝，广东移动，中英人寿，华宝证券，安利中国，东方航空，迈考林，中国人民银行，深圳交易所，等已经在使用Splunk,Splunk公司,全球75个国家超过2800个客户，亚太超过350个客户,Healthcare,OnlineServices,Telecommunications,HighTechnology/Software,4,500,000+downloads,当前的IT现状:复杂的竖井式系统,其他数据来源,IT核心,面向客户的IT,打破传统IT管理方式,技术与数据(100GB到TBs/天),人与工具,信息,存储方法复杂，成本高，同时不能实现规模化管理,运营,安全,合规,海量数据，多点分布，致使所有管理如同孤岛求生,审计,安全事故,故障单,客服,应用,服务器,存储,规范,研发,变更管理,虚拟化,安全,联网,传统层进式处理方式,应用程序问题的故障排除,客服,网络运营,数据库管理,应用开发,安全,系统管理,故障单,当业务部门需要更多信息的时候.,我需要一份新报告,我们需要为此修改图表结构,我需要实时看到运行状态,我们的系统是批处理式的。我们需要新的系统。,过去一年中的趋势是怎样的?,抱歉，我们只保存了7天的在线数据。,需要一种全新的解决方案,收集、索引并充分利用你的系统产生的IT数据来发现问题、风险和机会，并为IT和业务提供更好的决策依据,我们称之为运维智能（OperationalIntelligence）,通用的IT数据引擎,可用于任一应用程序、服务器或网络设备,告警,每天以T字节的容量规模进行搜索，无需适配器或数据库。,应用程序网络日志Log4J,JMS,JMX.NETevents代码和脚本,联网配置系统日志SNMPnetflow,数据库配置审计/查询日志表格架构,虚拟化程序管理GuestOSGuestApps,Linux/Unix配置系统日志文件系统ps,iostat,top等系统性能分析工具,Windows注册事件日志文件系统sysinternals,Splunk适用于众多方面,提供运维智能,实时可视化展现动态仪表板事件关联分析监视和告警性能监控交易级别SLA跟踪,三个主要功能方向,搜索/导航数据钻取“大海捞针”问题根源分析/故障排查事件调查,历史数据分析基线和阈值趋势运维洞察力历史模式合规报表,单一数据存储,单一管理界面,跨界使用案例,13,通用索引和存储,实时搜索引擎,核心功能,搜索语言,统计/分析,告警,仪表板,报表,Apps和使用案例,应用程序管理,IT运维管理,安全,业务分析,合规,访问控制,用户界面,API接口,SDK开发包,Splunk产品架构概览,IT数据源,与其他数据源进行关联,实时无需预定义大规模,关联高性能,实时监视数据钻取历史数据分析,用户编写Splunk-编写社区论坛,合作伙伴,基于角色,基于Web,支持多种Apps/解决方案,Security,IronPortWSA,15,自动负载均衡线性扩展索引能力分布式搜索和MapReduce技术线性扩展搜索和报表能力,良好的扩展性，支持每天TB级数据量和上千个用户,片刻完成下载与安装,易于上手,3.开始使用,1.下载,数据中心,2.导入IT数据,智能运维,Splunk定位,18,运维管理平台,TraceDB,MOM/SCOM,Nagios,Syslog,IISLog,实时监控,告警系统,故障分析,报表系统,流程管理,Splunk,数据采集与整合,19,本次测试采集的数据包括：,Apps模块定制,20,SplunkApps功能模块化可加入F5、Nagios等模块forFetion自行定制,WIN平台CPU健康指标,21,运维KPI指标要求,22,Windows平台性能指标：,注：具体数值仅为示例，非真实数据,建立目标，比如：CPU性能KPI要求一：CPU利用率高于70%，并持续2分钟以上，记为一次超负载状态，其他瞬间的高负载不计算在内；未超负载的时段为健康运行时间；要求二：统计超负载主机数量，以及所有主机超负载状态的总时长；要求三：列出所有超负载的主机，并分别统计其超负载时长。CPU健康度=健康运行时间/总运行时间（所有主机）,获得数据源,23,数据源通过WMI获得：,系统性能参数,应用进程参数,选择监控项目,数据源信息识别,24,WMI以及其他类型的日志信息被自动识别,搜索语句获得CPU过载主机,25,搜索语句，获得目标结果：CPU过载主机有哪几台以及它们过载的时间统计,搜索语句整合成统计报表,26,最终获得一段时间内，整体Win平台的CPU健康度，超载主机列表,关联分析：哪个/哪些进程导致CPU超载？,27,根据主机信息，搜索其进程的CPU使用数据,即时生成报告,简化操作：建立快捷查询接口,28,输入IP地址，即列出进程的CPU使用排名,选择目标时间段,内存健康度,29,磁盘健康度,30,最终获得一段时间内，磁盘空间低于5GB的主机列表，以及低磁盘空间的盘符,主机Eventlog趋势,31,Eventlog趋势事件分类统计主机排名,安全事件统计,32,WMI获取数据源SecurityEventlog事件统计用户分布、审核结果,Application、SystemEventlog应用程序错误系统服务状态点击直接查看原始日志信息,应用和系统事件统计,33,HACenterDisconnected,WinHTTPWebProxyAuto-DiscoveryService服务处于停止状态,系统事件追踪,34,输入关键字、事件点，查询,数据库事件追踪,35,使用多个关键字约束查询条件,注：该数据源来自数据库日志,CSV4服务：数据统计分析,36,WebPortal服务信息统计,37,WebPortalHTTP服务代码分析,38,Space服务信息统计,39,SpaceHTTP服务代码分析,40,Syslog分类,41,Syslog集中采集按照不同类别分类NE80E、S85系列F5Cisco防火墙,CiscoFWSM数据统计,42,建立关键字查询接口,43,关键字：Cisco防火墙、tcp、acl_outbound、49,关键字：NE80E、login、failed、8,关键字：f5、admin、,Splunk帮助用户实现,44,数据采集与整合，把原本孤立的数据集合在一起。快速实现监控管理需求，降低研发时间和人力成本。,“这是6年中的第一次,在节日购物高峰期间没有宕机即使网络交易量上涨了50%”,为IT团队提供整个技术架构中端到端的可视化视图在两个购物季网络交易量增加50%的情况下，保证100%的正常运行为整个IT团队超过100个用户提供基于角色的个性化仪表板展示,CamilleBaliSeniorAnalyst,ArchitectureTeam,“我们把84,000个客户的应用性能故障排查提高到了一个新的水平。”“我们已经拥有了数据宝箱这个实时起初并不明显，直到引入Splunk我们才得以看清楚。”,NarayanBharadwajDirector,ProductManagement,现在增加提供新的服务:针对客户市场活动邮件的报表提供对在F上公共平台服务的使用进行业务分析提供更高的服务标准,CricketCommunications,“Splunk可以让我们创建仪表板来对任何我们关心的数据进行比较和关联分析没有其他工具能让我们做到这点”“我用5分钟为我的老板创建了一个业务分析仪表板，他完全被打动了。”,对F5、防火墙和恶意程序检测系统进行关联以获得完整的安全现状灵活的容量规划提供激活服务的管理层仪表板视图，根据分钟、频道或者市场分布,RobertoQuezadaITOperationsAnalyst,Vodafone,“Splunk将我们的技术支持升级要求减少了90%，并且将问题解决时间缩短了67%.”,PauloCarvalhoDirectorOperation,提供快速应用程序错误排查和对更高利润空间3G服务的质量管理能够快速搜索Java&J2EE体系架构里的错误快速提供服务台所需要的信息，提高客户满意水平,Cisco,“Splunk让我们可以快速汇总和关联各种分散来源的日志，从而让以前不切实际的监视和响应场景变得可能。”,DaveSchwartzburgComputerSecurityIncidentResponseTeam,使得主动威胁评估、事件趋势分析、安全体系架构、事件检测和响应变得可行提供一个对用户行为和相关范围系统的集中展现视图,SaskTel,“Splunk是那个我们可以帮我们发现最主要的用户和最主要的非正常用户的地方。在第一个月中我们通过欺诈检测获得的ROI已经够我们支付Splunk。”,JerradDeBoltTechnicalAnalyst,在一个仪表板中提供快速的网络滥用者试图关联分析用户使用日志（跨多个系统成千万日志内容）创建了集中的数据引擎，同时收集商业和IT运维智能信息,“我们的Splunk仪表板同时提供了实时和历史趋势数据，我们用它们来做出影响利润的决策”,JohnMartinSeniorDirector,ApplicationOperations,E,故障排查和问题根源分析对IT和业务数据的长期趋势分析定位新的用户行为,“在尝试使用了其他产品6个月后依然得不到我们需要的内容，Splunk轻松的提供给我们所需要的基于web的业务分析报告”,OnlineMetricsAnalyst,PublicMediaCompany,US-basedPublicMediaOrganization,节目热度听众忠诚度放弃率播放者查看情况错误,为不同角色的用户创建个性化仪表板和视图,SysAdmins,NWAdmins,Developers,CIOs,CSOs,GMs,MashupWebApps,支持不同种类的使用案例,HelpDesk,SecurityTeams,WebsiteManagers,ComplianceAuditors,ServerTeams,VPsofInfrastructure,IT,业务相关人员或管理层,WeblogsLog4J,JMS,JMX.NETeventsCodeandscripts,ConfigurationssyslogSNMPnetflow,ConfigurationsAudit/querylogsTablesSchemas,HypervisorGuestOS,AppsCloud,ConfigurationssyslogFilesystemps,iostat,top,RegistryEventlogsFilesystemsysinternals,日志文件,配置信息,消息,Trap告警,指标数据,脚本,工单,变更,Linux/Unix,Windows,网络,数据库,应用程序,虚拟化&云,Click-streamdataShoppingcartdataOnlinetransactiondata,客户面对的数据,在数据中心之外,Manufacturing,logisticsCDRs&IPDRsPowerconsumptionRFIDdataGPSdata,毋需预定义数据结构,没有定制化的连接器,没有RDBMS,不需要进行过滤,