宇信智臻银行Splunk应用日志分析1.1版.ppt

银行应用日志分析解决方案 宇信智臻您专属的大数据应用服务解决方案提供商 议程 银行现有日志分析的困惑我们的解决方案我们的实施思路Splunk平台介绍案例分享 IT的问题在哪里 状况 网络断线 主机无法联机 交易失败或延迟 类别 OperationTroubleshooting OperationTroubleshooting Operation Troubleshooting PerformanceAnalysis 问题在哪里 防火墙出问题 Router出问题 Switch出问题 DNS DHCP 网络问题 主机本身问题 操作系统问题 应用程序问题 网络问题 服务器问题 操作系统问题 交易系统问题 效能问题 数据库问题 交易所问题 券商的问题 其它厂商的问题 还是精诚的问题 3 银行IT的问题在哪里 状况 发生安全事件 类别 Forensics investigation 问题在哪里 攻击者从哪里来 那个服务器被攻击 哪些使用者受害 黑客动了什么手脚 有没有服务器登入 注销纪录 防火墙通联记录 业绩贡献 毛利贡献 部门 个人销售分析 网站访客分析 稽核 业务 营销资料分析 Compliance BusinessIntelligence 4 过去 IT出了问题 IT人员通常需要login并查询多种Apps Device Server才能判断与解决问题 6 过去 领导或销售单位需要一份数据或报表 IT人员通常得要协助 捞数据库 SQLSELECT 查询ERP CRM Logfiles 写程序 客制化 作报表 Excel CrystalReport WebTrends etc 7 过去银行 都是这样解决问题的 开启多个窗口 面板登入多种系统 服务器 设备分析多种的记录文件或数据使用多种诊断工具写程序来捞数据或处理数据用Excel或其它报表工具产生报表 8 应用日志管理现状 交换机 防火墙 管理员 交换机 ATMP 中间件 负载均衡 DB 登陆主机 登录数据库 登录服务器 猜测 过滤 人工对比 找到问题环节 恢复故障 分析问题原因 编写故障报告 故障后 银行现有日志分析业务问题 手工处理 耗时 不能快速排查 交易时间和交易量不能准确统计 经验知识难以复用 每逢结算 问题无法提前预警 无图形化的数据展现方式 解决方案 4步如您所愿 10 集中添加日志数据 Splunk是一款顶级的日志分析软件 如果你经常用grep awk sed sort uniq tail head来分析日志 那么你需要Splunk 能处理常规的日志格式 比如apache squid 系统日志 mail log这些 您要做的第一步就是集中添加这个日志到Splunk当中 快速建立应用 日志分析工作类型很多 那么建立成一个应用由机器帮您会更加轻松 每天由各种服务器所产生的日志的数量是非常惊人的 通常在Unix下对日志进行查找使用的是grep之类的低效率的方式 而Splunk使用了现代搜索引擎技术对日志进行搜索 同时提供了一个非常强大的AJAX式的界面展现日志等等 添加日志分析知识 对于应用程序日志进行监控时 Splunk提供了多条件的日志事件分割方法 以适应这种复杂结构 当然您可以添加自己掌握的知识 开始构建你自己的应用程序日志监控平台 建立应用视图 Splunk可以支持任何IT设备 服务器 网络设备 应用程序 数据库等 所产生的日志 其对日志进行处理的方式是进行高效索引之后让管理员可以对日志中出现的各种情况进行搜索 并且通过非常好的图形化的方式展现出来 交易时延分析应用 统计用户关注时间段整体交易延时 以及在此时间段内最大交易延时 其次依据交易来源 交易类型统计来分别统计每一个关键字段的交易延时 可视化图标分析 Splunk所提供的Dashboard 建立事件查询界面 设置告警等等 一系列功能能够帮助你组建完善的管理系统 计划告警应用 Splunk是一个商业软件 支持海量信息搜索及更多的功能 比如分散式搜寻 DistributedSearch 计划告警 ScheduleAlert 权限控制 AccessControl 等 我们可以建立 1 交易告警2 系统告警3 应用告警 交易类型解析 方便快捷的帮助用户按照交易类型分别统计交易量和交易延时 交易来源 渠道分析 按照不同的交易来源统计交易量以及交易延时 多维度分析报告 按照不同维度不同时间跨度来统计交易数量 交易延时以及最长交易延时 交易类型解析应用 方便快捷的帮助用户按照交易类型分别统计交易量和交易延时 交易来源 渠道分析应用 将不断积累的搜索经验有价值的信息转换成为Splunk搜索语句 在仪表台上进行直观的展现 最后成为一线运维人员的网络监控平台 帮助台 日志自助查询 将不断积累的日志搜索经验有价值的信息转换成为Splunk搜索语句 在日志自助查询仪表台上进行直观的展现 最后成为一线运维人员的网络监控平台 建立多维度日志分析报告 将不断积累的搜索经验有价值的信息转换成为Splunk搜索语句 在仪表台上进行直观的展现 最后成为一线运维人员的网络监控平台 总结 主要功能 日志分析 业务数据分析 运维保障主要特点 快速查找日志信息 数据关联分析 支持各种平台和系统 支持超过千种标准Apps 可灵活开发专有Apps 支持企业级架构 分级 分布式部署 Splunk实施思路 利用现有的经验 扩展开发 独立开发 提出需求 固化原有经验 合作以应用为驱动力探索 根据业务需求自我完善大数据应用 辅助开发 合作开发 独立开发 构建属于自己的大数据分析应用平台 项目管理 Splunk应用日志项目实施路线图 需求分析 技术对接 实施POC 确定人员组成了解银行客户的详细需求 技术之间沟通 确定实施计划表格 项目重点应用功能验证 项目上线 不断优化 项目上线监控并跟踪结果 不断优化 7 开发平台Splunk是什么 Splunk是一个针对机器数据的数据引擎针对所有IT系统和基础设施数据 提供数据搜索 报表和可视化展现 Splunk是软件 几分钟就可以完成下载和安装可以运行在各种主流的操作系统平台 处理机器数据需要新方法 8 关系型数据 高度结构化 基于僵化模式财务记录 多维数据 数据计算月报 非实时事件 时间序列非结构化数据 无预定义模式由所有IT系统生成 大量不同类型的格式巨量 快速导航和相关性最重要 由人与人之间的互动而产生包括电子邮件 即时通信 语音 视频和文本储存在集中式公司服务器 文件共享和桌面中 机器产生的数据 商业应用程序数据 人为产生的数据 9 30 索引任何的机器数据 实时从日志文件获取事件运行脚本获取系统参数 连接到API和数据库监听syslog或获取Windows事件通用方式索引任何内容格式的数据 不需要连接器 WindowsRegistryEventlogsFilesystemsysinternals Linux UnixConfigurationsSyslogFilesystemPs iostat top VirtualizationHypervisorGuestOSGuestApps ApplicationsWeblogsLog4J JMS JMX NETeventsCodeandscripts DatabasesConfigurationsAudit querylogsTablesSchemas NetworkConfigurationssyslogSNMPnetflow 11 通用索引和存储 实时搜索引擎 核心功能 搜索语言 统计 分析 告警 仪表板 报表 Apps和使用案例 应用程序管理 IT运维管理 安全 业务分析 合规 访问控制 用户界面 API接口 SDK开发包 Splunk产品架构概览 IT数据源 与其他数据源进行关联 实时无需预定义大规模 关联高性能 实时监视数据钻取历史数据分析 用户编写Splunk 编写社区论坛 合作伙伴 基于角色 基于Web 支持多种Apps 解决方案 Security IronPortWSA 12 客户需求 大型商业银行 拥有大量自开发应用系统 网上银行 基金交易等 关注交易时延 用户体验以及系统运行状态每天生成海量日志 只能手工检查 没有分析工具 无法获得业务系统运行的整体状况和视图解决方案 1 日志统一集中分析 分三批集中 2 分两批次实施19套应用系统3 应用日志故障快速定位4 应用日志交易关联5 应用日志交易延时 交易成功率和交易笔数统计6 应用日志运维智能化 客户感言 我行日志集中分析平台项目已通过验收并投入使用 通过使用Splunk对数据的深入挖掘分析 实现了我行数据搜索与索引 业务监控 关键应用指标报表统计 告警及可视化展示的需求 提升了应用数据的使用价值 有效的增强了运维管理人员排错及统计的方式和手段 在此感谢北京宇信智臻信息技术有限公司从方案设计 架构设计 功能开发 现场支持上给予的支持 望贵司再接再励 为我行IT信息化建设提供更好的服务 某行科技部负责人 某大型商业银行应用日志分析 客户需求 大型商业银行 拥有大量自开发应用系统 网上银行 基金交易等 关注交易时延 用户体验以及系统运行状态每天生成海量日志 只能手工检查 没有分析工具 无法获得业务系统运行的整体状况和视图解决方案 1 日志统一集中分析 分三批集中 2 分两批次实施19套应用系统3 应用日志故障快速定位4 应用日志交易关联5 应用日志交易延时 交易成功率和交易笔数统计6 应用日志运维智能化 客户感言 我行日志集中分析平台项目已通过验收并投入使用 通过使用Splunk对数据的深入挖掘分析 实现了我行数据搜索与索引 业务监控 关键应用指标报表统计 告警及可视化展示的需求 提升了应用数据的使用价值 有效的增强了运维管理人员排错及统计的方式和手段 在此感谢北京宇信智臻信息技术有限公司从方案设计 架构设计 功能开发 现场支持上给予的支持 望贵司再接再励 为我行IT信息化建设提供更好的服务 某行科技部负责人 案例2 城商行银行应用日志分析 客户获益 优势分析 系统 服务 技术 市场 1 强大的一体化大数局数据分析管理平台数据收集数据分析全面的先进的灵活的趣味的 2 国内一流的项目实施团队国内最大的实施服务团队众多的应用服务案例7 24小时服务99 9 可靠性 4 客户投入最小资源