宇信智臻银行Splunk应用日志分析11版

1、银行(ynhng)应用日志分析解决方案 宇信智臻 您专属的大数据(shj)应用服务解决方案提供商共三十八页议 程银行现有(xin yu)日志分析的困惑我们的解决方案我们的实施思路Splunk平台介绍案例分享共三十八页IT的问题(wnt)在哪里状况(zhungkung)网络断线主机无法联机交易失败或延迟类别OperationTroubleshootingOperationTroubleshootingOperationTroubleshootingPerformanceAnalysis问题在哪里防火墙出问题? Router出问题?Switch出问题? DNS? DHCP?网络问题?主机本身问题?

2、操作系统问题? 应用程序问题?网络问题?服务器问题?操作系统问题?交易系统问题? 效能问题?数据库问题?交易所问题? 券商的问题?其它厂商的问题?还是精诚的问题?3.共三十八页银行(ynhng)IT的问题在哪里状况(zhungkung)发生安全事件类别Forensics &investigation问题在哪里攻击者从哪里来?那个服务器被攻击?哪些使用者受害?黑客动了什么手脚?有没有服务器登入/注销纪录?防火墙通联记录?业绩贡献?毛利贡献?部门、个人销售分析?网站访客分析?稽核业务&营销资料分析ComplianceBusinessIntelligence4.共三十八页过去(guq)IT出了问题I

3、T人员通常需要login并查询多种Apps, Device, Server才能(cinng)判断与解决问题6.共三十八页过去领导(ln do)或销售单位需要一份数据或报表 IT人员通常得要协助(xizh): 捞数据库 (SQL SELECT) 查询ERP、CRM、Log files 写程序、客制化 作报表 (Excel? Crystal Report? WebTrends?etc) 7.共三十八页过去银行(ynhng)都是这样解决问题的开启多个窗口/面板登入多种系统、服务器、设备(shbi)分析多种的记录文件或数据使用多种诊断工具写程序来捞数据或处理数据用Excel或其它报表工具产生报表8.共

4、三十八页应用日志(rzh)管理现状交换机防火墙管理员 交换机ATMP中间件负载(fzi)均衡DB?时间窗口-1时间窗口-2时间窗口-3登陆主机登录数据库登录服务器猜测过滤人工对比找到问题环节恢复故障分析问题原因编写故障报告故障后共三十八页银行现有(xin yu)日志分析业务问题手工处理、耗时！不能快速排查！交易时间和交易量不能准确统计！经验知识难以复用！每逢结算，问题无法(wf)提前预警！无图形化的数据展现方式！共三十八页搜索& 调查监视& 告警报表& 分析添加知识索引数据生成可视化视图添加知识建立统一日志应用 集中添加日志数据解决方案： 4步如您所愿(su yun)！10共三十八页集中添加日

5、志(rzh)数据Splunk 是一款顶级的日志分析软件，如果你经常用 grep、awk、sed、sort、uniq、tail、head 来分析日志，那么你需要 Splunk。能处理(chl)常规的日志格式，比如 apache、squid、系统日志、mail.log 这些，您要做的第一步就是集中添加这个日志到Splunk当中共三十八页快速建立(jinl)应用日志分析工作类型很多，那么建立成一个应用由机器帮您会更加(gnji)轻松：每天由各种服务器所产生的日志的数量是非常惊人的，通常在 Unix 下对日志进行查找使用的是 grep 之类的低效率的方式，而 Splunk 使用了现代搜索引擎技术对日志

6、进行搜索，同时提供了一个非常强大的 AJAX 式的界面展现日志等等；共三十八页添加日志分析(fnx)知识对于应用程序日志进行监控(jin kn)时，Splunk提供了多条件的日志事件分割方法，以适应这种复杂结构。当然您可以添加自己掌握的知识，开始构建你自己的应用程序日志监控平台。共三十八页建立应用(yngyng)视图Splunk 可以支持任何 IT 设备(服务器、网络设备、应用程序、数据库等)所产生的日志，其对日志进行(jnxng)处理的方式是进行(jnxng)高效索引之后让管理员可以对日志中出现的各种情况进行(jnxng)搜索，并且通过非常好的图形化的方式展现出来。 共三十八页交易(jioy

7、)时延分析应用统计用户关注时间段整体交易(jioy)延时，以及在此时间段内最大交易(jioy)延时；其次依据交易(jioy)来源、交易(jioy)类型统计来分别统计每一个关键字段的交易(jioy)延时。共三十八页可视化图标分析(fnx)Splunk所提供的Dashboard，建立事件查询界面，设置(shzh)告警等等，一系列功能能够帮助你组建完善的管理系统。共三十八页计划(jhu)告警应用Splunk 是一个商业软件，支持海量信息搜索及更多的功能，比如分散式搜寻(suxn)(Distributed Search)、计划告警(Schedule Alert)、权限控制(Access Control

8、)等。我们可以建立： 1）交易告警2）系统告警3）应用告警共三十八页交易类型解析(ji x) 方便快捷的帮助用户按照交易类型分别(fnbi)统计交易量和交易延时共三十八页交易来源(liyun)/渠道分析 按照不同的交易来源统计(tngj)交易量以及交易延时共三十八页多维度分析(fnx)报告按照(nzho)不同维度不同时间跨度来统计交易数量、交易延时以及最长交易延时共三十八页交易类型解析(ji x)应用方便快捷的帮助用户按照交易类型分别统计(tngj)交易量和交易延时共三十八页交易(jioy)来源/渠道分析应用将不断积累的搜索经验有价值的信息转换成为Splunk搜索语句，在仪表台上进行直观的展现

9、(zhnxin)，最后成为一线运维人员的网络监控平台。共三十八页帮助(bngzh)台日志自助查询将不断积累的日志搜索经验(jngyn)有价值的信息转换成为Splunk搜索语句，在日志自助查询仪表台上进行直观的展现，最后成为一线运维人员的网络监控平台。共三十八页建立多维度日志分析(fnx)报告将不断积累的搜索(su su)经验有价值的信息转换成为Splunk搜索语句，在仪表台上进行直观的展现，最后成为一线运维人员的网络监控平台。共三十八页总 结 主要功能：日志分析业务数据分析运维保障(bozhng)主要特点：快速查找日志信息数据关联分析支持各种平台和系统支持超过千种标准Apps可灵活开发专有Ap

10、ps支持企业级架构，分级、分布式部署共三十八页Splunk实施(shsh)思路利用(lyng)现有的经验扩展开发独立开发提出需求，固化原有经验合作以应用为驱动力探索根据业务需求自我完善大数据应用辅助开发合作开发独立开发构建属于自己的大数据分析应用平台共三十八页项目管理 Splunk应用日志(rzh)项目实施路线图需求(xqi)分析技术对接实施POC确定人员组成了解银行客户的详细需求技术之间沟通、确定实施计划表格项目重点应用功能验证 项目上线不断优化项目上线监控并跟踪结果不断优化共三十八页7开发(kif)平台Splunk 是什么?Splunk 是一个(y )针对机器数据的数据引擎针对所有 IT

11、系统和基础设施数据， 提供数据搜索、报表和可视化展现Splunk 是软件 几分钟就可以完成下载和安装可以运行在各种主流的操作系统平台共三十八页处理机器(j q)数据需要新方法8关系(gun x)型数据、高度结构化、基于僵化模式财务记录、多维数据、数据计算月报，非实时事件时间序列非结构化数据，无预定义模式由所有 IT 系统生成，大量不同类型的格式巨量；快速导航和相关性最重要由人与人之间的互动而产生包括电子邮件、即时通信、语音、视频和文本 储存在集中式公司服务器、文件共享和桌面中机器产生的数据商业应用程序数据人为产生的数据共三十八页930索引任何的机器(j q)数据实时从日志文件获取事件运行脚本(

12、jiobn)获取系统参数, 连接到 API 和数据库监听 syslog 或获取 Windows 事件通用方式索引任何内容格式的数据, 不需要连接器WindowsRegistryEvent logsFile systemsysinternalsLinux/UnixConfigurationsSyslogFile systemPs, iostat, topVirtualizationHypervisorGuest OSGuest AppsApplicationsWeb logsLog4J, JMS, JMX.NET eventsCode and scriptsDatabasesConfigurat

13、ionsAudit/query logsTablesSchemasNetworkConfigurationssyslogSNMPnetflow共三十八页11通用索引(suyn)和存储实时(sh sh)搜索引擎核心功能搜索语言统计/分析告警仪表板报表Apps 和使用案例应用程序管理IT 运维管理安全业务分析合规访问控制用户界面API接口SDK开发包Splunk 产品架构概览IT 数据源与其他数据源进行关联实时无需预定义大规模关联高性能实时监视数据钻取历史数据分析用户编写Splunk-编写社区论坛, 合作伙伴基于角色基于Web共三十八页支持(zhch)多种Apps/解决方案SecurityIron

14、Port WSA12共三十八页客户需求:大型商业银行，拥有大量自开发应用系统（网上银行、基金交易等）.关注交易时延、用户体验以及(yj)系统运行状态每天生成海量日志，只能手工检查，没有分析工具,无法获得业务系统运行的整体状况和视图解决方案: 1.日志统一集中分析（分三批集中）2.分两批次实施19套应用系统3.应用日志故障快速定位4.应用日志交易关联5.应用日志交易延时、交易成功率和交易笔数统计6.应用日志运维智能化客户感言：我行日志集中分析平台项目已通过验收并投入使用，通过使用Splunk对数据的深入挖掘分析， 实现了我行数据搜索与索引、业务监控、关键应用指标报表统计、告警及可视化展示(zhn

15、sh)的需求，提升了应用数据的使用价值，有效的增强了运维管理人员排错及统计的方式和手段，在此感谢北京宇信智臻信息技术有限公司从方案设计/架构设计/功能开发/现场支持上给予的支持，望贵司再接再励，为我行IT信息化建设提供更好的服务。 -某行科技部负责人某大型商业银行应用日志分析共三十八页客户需求:大型商业银行，拥有大量自开发应用(yngyng)系统（网上银行、基金交易等）.关注交易时延、用户体验以及系统运行状态每天生成海量日志，只能手工检查，没有分析工具,无法获得业务系统运行的整体状况和视图解决方案: 1.日志统一集中分析（分三批集中）2.分两批次实施19套应用系统3.应用日志故障快速定位4.应

16、用日志交易关联5.应用日志交易延时、交易成功率和交易笔数统计6.应用日志运维智能化客户感言：我行日志集中分析平台项目已通过验收并投入使用，通过使用Splunk对数据的深入挖掘分析， 实现了我行数据搜索与索引、业务监控(jin kn)、关键应用指标报表统计、告警及可视化展示的需求，提升了应用数据的使用价值，有效的增强了运维管理人员排错及统计的方式和手段，在此感谢北京宇信智臻信息技术有限公司从方案设计/架构设计/功能开发/现场支持上给予的支持，望贵司再接再励，为我行IT信息化建设提供更好的服务。 -某行科技部负责人案例2:城商行银行应用日志分析共三十八页客户(k h)获益时间平均日志查询时间查询到

17、问题时间问题解决概率2012.4缩短到2个小时2小时提高30%2012.6缩短到1个小时1小时提高60%2014.8缩短到40分钟半小时提高100%2013.8实时实时提高200%共三十八页优势(yush)分析系统(xtng)服务技术市场1. 强大的一体化大数局数据分析管理平台数据收集 数据分析全面的先进的灵活的趣味的2. 国内一流的项目实施团队 国内最大的实施服务团队众多的应用服务案例7*24小时服务99.9%可靠性4. 客户投入最小资源 少量轻型代码 少量系统集成 复杂海量工作由我们完成3. Splunk核心合作伙伴 实时的Splunk业务支持 强大的市场宣传 拥有Splunk工程师的认证 共三十八页宇信智臻您专属的大数据应用服务解决方案提供商北京(bi jn)宇信智臻信息技术有限公司总部：北京市朝阳区安立路60号润枫德尚苑A座705室TelFax: 010- 62417577分公司：上海浦东新区晨晖路377弄136号Tel：021 -20243628 Fax: 021- 20243628关于(guny)我们共三十八页内容摘要银行应用日志分析解决方案。IT人员通常需要login并查询多种Apps, Device, Server才