Splunk大数据技术及应用

Splunk

大数据技术及应用

北京某著名企业2大数据是那些超出传统数据库系统处理能力的数据。要从这些数据中获得价值，你必须选择另一种方法来处理它。什么是大数据？3大数据是什么样的？Volume|Velocity|Variety|Variability 数量|速度|种类|可变GPS,RFID,Hypervisor,WebServers,Email,MessagingClickstreams,Mobile,Telephony,IVR,Databases,Sensors,Telematics,Storage,Servers,SecurityDevices,Desktops机器产生的数据是增长最快、最复杂也最富含价值的大数据中的一种4与传统的手段解决不同的问题StoredDigitalInformation(exabytes)业务交标准化问题取经济数据非结构化非标准数据新技术产生的关系型数据库时代大数据时代Splunk公司介绍公司创立于04年总部位于加州旧金山区域总部位于香港和伦敦在15个国家/地区拥有800多名员工财务2012年4月19日在纳斯某省市，股票代码为SPLK2013财年一月份收益达到1.989亿美元年复合增长率为91%客户在85个国家/地区拥有6200多家客户50%以上为财富100强公司5在80多个国家/地区拥有6200多家客户云和在线服务教育能源与公用事业金融服务与保险政府制造媒体与娱乐卫生保健旅游与休闲零售某著名企业技术6Splunk中国客户7如何打破传统IT管理方式技术与数据(100GB到TBs/天)人与工具信息存储方法复杂，成本高，同时不能实现规模化管理运营安全合规海量数据，多点分布，致使所有管理如同孤岛求生审计安全事故故障单客服应用服务器存储规范研发变更管理虚拟化安全联网多种设备及服务多种中间件及应用系统传统层进式处理方式应用程序问题的故障排除客服网络运营数据库管理应用开发安全系统管理0:0017:003:3012:4520:3023:15平台和系统的监控无法显示存在的问题所创建的网络设备日志中的IP将映射到Web会话cookie中Web会话cookie链接有用户ID、应用呼叫以及至ja数据库连接（JDBC）的失败呼叫JDBC连接的失败次数与数据库错误接近时显示锁定问题没有追溯数据库锁定问题的权限没有擅自改变配置的权限故障单当业务部门需要更多信息的时候...我需要一份新报告我们需要为此修改图表结构我需要实时看到运行状态我们的系统是批处理式的。我们需要新的系统。过去一年中的趋势是怎样的?抱歉，我们只保存了7天的在线数据。11让机器数据对每个人都是可用的、有用的并且是有价值的Mission机器数据是什么样的？12SourcesTwitterCareIVRMiddleware

ErrorOrderProcessing机器数据包含有关键的信息13CustomerIDOrderIDCustomer’sTweetTimeWaitingOnHoldTwitterIDProductIDpany’sTwitterIDSourcesTwitterCareIVRMiddleware

ErrorOrderProcessingCustomerIDOrderIDCustomerID机器数据包含有关键的信息14OrderIDCustomer’sTweetTimeWaitingOnHoldProductIDpany’sTwitterIDSourcesTwitterCareIVRMiddleware

ErrorOrderProcessingOrderIDCustomerIDTwitterIDCustomerIDCustomerID搜索&

调查监视&告警报表&

分析添加知识索引数据更多其他用例...安全&合规基础架构&运维管理业务数据分析一个Splunk多种应用场景1616SplunkSplunk是一个针对机器数据的数据引擎针对所有IT系统和基础设施数据，提供数据搜索、报表和可视化展现Splunk是软件–几分钟就可以完成下载和安装可以运行在各种主流的操作系统平台Splunk是一种大数据解决方案17很快速即可开始而且便于扩展可扩展的处理性能完全整合的解决方案方便下载和安装部署预置的端到端的分析能力所有你希望的企业级功能被证实的每天TB级的数据处理能力可以管理PB级的数据量超过3,300个全球客户从成千上万的来源获取数据实时数据分析和对历史数据进行挖掘针对IT用户和业务用户的快速可定制的数据展现WeblogsLog4J,JMS,JMX.NETeventsCodeandscriptsConfigurationssyslogSNMPnetflowConfigurationsAudit/querylogsTablesSchemasHypervisorGuestOS,AppsCloudConfigurationssyslogFilesystemps,iostat,topRegistryEventlogsFilesystemsysinternals日志文件配置信息消息Trap告警指标数据脚本工单变更Linux/UnixWindows网络数据库应用程序虚拟化

&云Click-streamdataShoppingcartdataOnlinetransactiondata客户面对的数据在数据中心之外Manufacturing,logistics…CDRs&IPDRsPowerconsumptionRFIDdataGPSdata毋需预定义数据结构,没有定制化的连接器,没有RDBMS,不需要进行过滤Splunk:IT数据引擎1919通用索引和存储实时搜索引擎核心功能搜索语言统计/

分析告警仪表板报表Apps和使用案例应用程序管理IT运维管理安全业务分析合规访问控制用户界面API接口SDK开发包……Splunk产品架构概览IT数据源与其他数据源进行关联实时无需预定义大规模关联高性能实时监视数据钻取历史数据分析用户编写Splunk-编写社区伙伴基于角色基于Web2020支持多种Apps/解决方案SecurityIronPortWSA为不同角色的用户创建个性化仪表板和视图SysAdmins,NWAdmins,DevelopersCIOs,CSOs,GMsMashupWebApps支持不同种类的使用案例HelpDeskSecurityTeamsWebsiteManagersplianceAuditorsServerTeamsVPsofInfrastructureIT,业务相关人员或管理层可以线性扩展到每天几十TB的数据量级22Senddatafrom1000sofserversusingbinationofSplunkForwarders,syslog,WMI,messagequeues,orotherremoteprotocolsAutoload-balancedforwardingtoasmanySplunkIndexersasyouneedtoindexterabytes/dayOffloadsearchloadtoSplunkSearchHeads

2323分布式搜索提供跨多个位置的统一视图跨多个数据中心运行Splunk的独特优势通用的数据引擎任意格式定义强大的搜索和报表语句灵活的报表生成、分析和可视化展示优异的可扩展性，从单机到分布式架构开放的、可扩展的平台立竿见影，快速价值体现拥有激情和活跃的用户社区群体2425SplunkingBigDataCustomerDataVolume

(perday)440TB6TB4TB900GB800GBLeadingSocial

Gamingpany1.2TB案例分享一 --智能运维背景介绍根据不同主机来源的日志分析交、交、响应码成功比率，等等业务系统维护人员可以通过输入简单的条件（例如交号、卡号、账号，等等）快速定位匹配的事件关联分析实时业务报表场景一：交分析28通过对所有交耗时和平均耗时时序变化发现3月10日8点30分到8点33分之间的交远超过其他时间段29通过对该时段AP1,AP2,GAPSAP的日志查询得出，交0307的交是最大的30根据交列出各个步骤耗时的最大/最小/平均值启动3的最大耗时远远超过其他几个步骤2012.3.108:30am-8:33am基于关键信息快速查询定位31根据交号查询交时以及各个步骤耗时列出不同来源主机列出各个步骤的耗时,颜色区分大小,快速定位到最大的耗时步骤只需键入所要查询的交号，然后点击搜索按钮12统计分析报表/仪表板32各种响应码的占比情况展示0000(处理返回成功)之外的各种响应码随时间分布情况展示通过外部查找对照表列出各种响应码的解释含义访问监测33当前5分钟内显示前10个IP地址的访问量当前5分钟内每台服务器的访问量当前5分钟内显示前20个URL的访问量34过去一个小某省市访问量过去一个小时各国家访问量访问监测银联支付

背景介绍客户关注点⁻卡支付系统（pay）和管理控台（newgms）保障应用架构⁻标准的三层架构，IHS-Websphere–DB2⁻每层应用分布在不同的功能区，通过安全设备连接目前的保障手段⁻Socket方式实时接收卡支付交和状态⁻故障出现时依靠人工收集相关日志分析排查困扰和痛点⁻目前的监控手段只能发现问题，没有关联分析手段⁻人工排查问题效率低，无法满足运维要求37应用日志数据的全面采集38交日志39卡交付网站访问日志40交监控41延时时序分布统计

42商户和交询ITOperationBigData案例分享---交通银行卡中心

Splunk产品经理北京某著名企业

1、每天上百GB新生数据，管理分散，没有统一管理平台。2、错误事件，无法实时告警，关联告警。3、无法快速在海量数据中，快速查找日志，定位故障点。4、AIX系统管理员，每天手工生成性能报告，效率低下。5、日志没有统一备份，历史数据不可查，无法符合监管要求。6、日志数据独立，无法进行联合、对比分析。项目背景1基本信息1、收集日志量：每天20个G2、IT数据：Windows、Linux、AIX

和网络设备(交换机、路由器、防火墙)3、设备数量：400多台服务器、100多台网络设备。4、日志保存期：1年,~7TB的IT数据！2部署环境400多台服务器、100多台网络设备自动负载均衡到2台IndexServerSplunkSearchHeads1、收集方式：Forwarder、Syslog和远程（WMI）。2、SplunkIndexServer配置：仅用2台虚拟机！

（各4cpu、6G内存）3、分布式存储。3日志统一收集各系统、网络设备、应用等日志，统一平台收集、存储。4监测概况1、各系统的事件、性能收集概况。2、各系统的CPU、内存、磁盘等告警概况。3、数据钻取。5Linux监测情况61、系