业务性能监测分析系统.pptx

F8 Service Performance Monitoring Analysis System F8 业务性能监测分析系统400-676-37382015-2-5福莱特信息技术有限公司1 目录 福莱特信息技术有限公司400-676-3738 189222088102 1 1 背景及面临的问题 2 2 F8PMS解决方案 3 3 F8PMS性能指标 4 4 F8 PMS功能 5 5 总结 一、背景 信息化技术的发展、企业对业务系统平台的依赖程度越高。 随着业务访问的数据量、用户量日益增加，系统规模不断扩大 , 复杂性不断增加 ，业务系统的性能和服务质量显得越来越重 要。 用户使用感受和体验是业务系统的性能服务能力的重要体现。 用户对业务平台服务的认同，是用户使用感受和体验的过程所决 定的。 用户与业务平台互动的过程决定成败，不再是单纯的产品功能。 如何保障业务平台长时间稳定、高效的性能服务能力的提供成为 IT维护部门关注的重点。 期望能建立实时的业务性能监测数据收集、分析、评估系统。 2015-2-5 福莱特信息技术有限公司400-676-3738 189222088103 1.1、面临的问题难以分清责任界面 2015-2-5 福莱特信息技术有限公司400-676-37384 终端用户 IT支撑 第三方支持 终端用户对系统的抱怨超过70%和性能相关，但IT监控显示系统资源正常 用户投诉中超过70%场景无法重现，因而无法解决 网络响应太慢 OA无法访问 下载速率太慢 交易失败 内部网络问题？ 中间链路问题？ 业务系统问题？ 数据库系统问题？ 中间件问题 浏览器问题？ 操作不当？ 系统规模扩大 复杂程度高 为网络太慢到处奔波 无法定位关键点 1.2、为什么业务性能监测难度大 2015-2-5湖南福莱特信息技术有限公司5 存储器 Web Portal OABossApps1 Apps2 BossOAOthers 中间件数据库 虚拟机服务器 Services Cloud Business Services and Activities Other Services 1.业务系统层次架构、网络 环境复杂 2.WEB应用问题诊断困难 3.客户端环境难于监控 4.应用开发商管理困难 其他 服务 Business Transaction 1.3、关注的问题 2015-2-5福莱特信息技术有限公司6 终端用户在什么时间、做了什么？ 他们是否完成了交易？ 他们对业务平台的服务性能满意度如何？ 那些页面/请求导致了服务性能满意度下降？ 那里的页面/请求导致了最大的服务压力？ 那些服务器负担最重？ 业务平台服务性能趋势变化如何？是否向好的方向发展还是向坏的方向发展？ 那些页面/请求引起的服务性能变化？ 那里导致了最多的问题？那些问题出现最多？ 出现的问题影响了那些用户？ 用户究竟遭遇了那些问题？是否和WEB服务有关？是否是JS问题？ 如何快速定位业务平台问题的根源？ 帮助维护人员尽快解决？ 管理视图技术视图 1.4、如何衡量用户的满意度 2015-2-5福莱特信息技术有限公司7 性能 Performance 可访问性 Accessibility 可用性 Availability 满意度的 基本维度 基本KPI 用户页面打开时间 （满意、忍耐、愤怒 ） 下载时间 用户数 用户终止数 业务系统/栏目/重点 内容满意度 用户组/部门/用户满 意度 满意度排名、趋势 客户端 VS 网络 VS服 务器端时间 消耗资源最大的请求 最慢的请求 最大的请求 用户遭遇到的系统性 错误网络、WEB服 务器、JS错误等 出错数 业务系统/栏目/重点 内容可用率 用户组/部门/用户成 功率 出错率的变化趋势 出现错误的定位：那个 服务器、那个页面、那个 请求，客户端还是服务器 端等 出错的请求参数等细节 p用户遭遇到的可用 性错误 DNS查找失败 服务器连接失败 服务不可用等 p业务系统访问异常视 图 p业务系统的可用率视 图 p用户访问成功率排名 p出现错误的定位： DNS不通、网络连接失 败、WEB服务不可用、 那个服务器、那个页 面、那个请求等 1.5、现有IT管理技术并不有效 IT用户遭遇的主要问题？怎样知道问题的发生？ 2015-2-5福莱特信息技术有限公司8 满意度达不到用户的期望 但往往我们并不能及时知道 二、F8PMS解决方案 数据收集 分析、比较、评估 优化、提升 2015-2-5福莱特信息技术有限公司9 终端用户的使用体验是管理信息系统业务服务水平的重 要体现，通过对用户端到服务端进行全程业务性能监测分析 ，可以协助维护人员及时发现、定位和解决问题，从而提升 业务平台服务能力，改善用户使用感知，提高用户办公效 率。 快速定位问题 实时收集访问问题，提供问题快速定位 缩短故障处理时间，提高服务满意度 掌握体验变化 全面实时掌握用户访问业务系统的体验变化 实现服务水平的有效评价 业务优化建议 分析存在问题，提供业务优化建议 2015-2-5福莱特信息技术有限公司10 大数据采集 终端插件数据采集 探针数据采集 大数据预处理（ETL） 终端插件数据处理 大数据分析模型 前端数据展示 数据挖掘统计报表趋势分析 探针数据处理 关联分析模型 整合层 接口层 汇总层 业务系统数据 分析模型 终端用户数据 分析模型 分布式文件系统 非关系型数据库 关系型数据库 KPI指标量化、统计模型 KPI指标预警模型 数 据 分 析 平 台 2.1、F8PMS系统结构 F8PMS 在浏览器上安装插件，从 用户端收集业务系统访问 的性能指标以及业务访问 中出现的问题； 通过在服务器前端部署 Http分析探针，从服务器 端收集业务系统访问性能 指标。 结合两者采集到数据完成 端到端的业务性能分析。 2.2、业务平台的服务性能监测基本维度 2015-2-5福莱特信息技术有限公司11 谁 Who 真实用户，IP地址、用户组、部门 那些是最不满意的用户 那些是最忙的用户 重点用户情况怎样 那些是最不满意的部门 重点关注部门 什么 What 访问了那些系统、栏目、页面或者请求？ 访问了那些重点内容？ 什么页面/请求最慢？资源开销最大？ 出现了那些错误，那些错误最频繁？ 那些页面最大？那些页面占传输最大？ 客户端、服务端、网络端时间怎样？ 那些DNS查找时间最慢？连接时间最慢？ 何时 When 不同时间的访问曲线？ 不同时间的比较情况？ 指标变化情况？ 什么时间的错误？ 数据回溯 如何 How 哪里 Where 如何快速准确定位错误？ 那些用户受到那些影响？ 那些系统受到那些影响？ 如何分析问题出现哪里？ 如何优化、提升应用？ 用户来自哪里？ 哪里出错？（客户端、服务 器、JS脚本）？ 那个系统、那个栏目流量大？ 那个系统、那个栏目用户多？ 2.3、主要技术比较 2015-2-5福莱特信息技术有限公司12 终端侧数据采集 通过在客户端安装插件或者企业浏览器实 现 监视页面、请求性能数据 采集更多指标，如：DNS、TCP Connect、PageLoad，RenderStart 真实代表用户体验性能数据和满意度 系统侧网络数据采集 通过部署专用探针分析网络数据 一般部署在WEB服务器前端 收集Http请求性能数据 不是从客户端进行数据收集和度量 缺少DNS查找时间、页面加载时间、 渲染开始时间等指标采集、分析。 代理仿真数据采集 活动代理模拟最终用户按预定时间间隔 发送模拟交易来测量响应时间 主要用于监测网站定制的服务水平 给系统带来压力和不是真实的用户体验 网站日志分析 通过标记对每个网页进行分析 定期下载web日志到专用分析服务器 日志越详细，系统开销越大 主要用于对网页使用的分析 没有用户和会话的概念 F8PMS采用的技术： 终端数据采集 + 系统侧网络数据采集 相结合方式 2.4、主要技术比较（续） 2015-2-5福莱特信息技术有限公司13 项目全面 监测 真实 数据 终端数据 多样化 端到端采集指标 扩展性 终端侧数据采集 系统侧网络数据采集 代理仿真数据采集 网站日志分析 页面标签技术 ：支持； ：部分支持；：不支持； 全面监测：具有对所有时间，所有用户，所有交易的监测能力； 真实数据：采集的数据来源自终端用户日常访问行为，不是“模拟”的访问业务行为； 终端数据多样化：可以获取除页面/请求访问的数据外，还可以获取到页面加载时间、渲染开始时间、JS运行错误、ActiveX性能数、CPU 、内存等终端性能数据。 端到端：表示数据来源终端侧数据测量，涵盖从终端出发到WEB服务响应完成的整体情况，代表端到端感受； 采集指标扩展性：表示可以支持新增指标种类的采集，例如：需要增加对Flash、JavaScript或者其他的web2.0应用事件的监视、性能测 量的扩展功能。 三、 F8PMS 性能指标 2015-2-5福莱特信息技术有限公司14 业务平台的服务性能监测期望获取用户使用感受和体验的 真实反应 用户使用感受和体验：从用户触发一个页面请求到这个页 面被完全展示的时间，代表用户感受体验的关键指标。 用户使用体验时间=网络时间+应用响应时间+浏览器处理时间 网络时间：DNS时间，TCP连接时间，页面页面请求与下载时间 network WEB Server DataBase Server N1 A1 N2 N3N4 A3 A2 3.3.1、性能指标请求数据 基本信息 请求编号 页面编号 页面序号 用户编号 v 具体信息 开始时间 结束时间 URL Reference URL 重定向URL 客户端IP 客户端端口 服务器名称 服务器IP 服务器端口 http协议（http/https) 请求方法(GET/POST/HEAD等） http版本 请求内容大小 回复内容大小 响应状态码 Cache Cookies 请求头、响应头 查询字符串 POST数据 浏览器 WEB Server DNS TCP Connect TCP Send TCP Recv Wait v 时间信息 2015-2-5福莱特信息技术有限公司15 3.3.2、性能指标页面数据 v基本信息 n页面编号 n用户编号 n开始时间 nURL n标题 n渲染开始时间 n页面Load时间 nHttp加载时间 n上载字节 n下载字节 v 页面请求信息 请求数 成功数 失败数 Cache数 DNS查找次数 DNS时间 Block次数 Block时间 Tcp连接次数 Tcp连接时间 Send次数 Send时间 Wait次数 Wait时间 Recv次数 Recv时间 包括： 具体http请求列表 2015-2-5福莱特信息技术有限公司16 v页面访问时的系统信息 n操作系统CPU利用率 n浏览器CPU利用率 n物理内存 n已用内存 n内存利用率 n 3.3.3、性能指标关键对象 2015-2-5福莱特信息技术有限公司17 业务系统/栏目/重点内容 综合指标 可用率（成功请求数/总请求数） 活动时间 页面访问量/慢页面访问量 页面平均/最大/最小请求数 请求访问量/Cached请求访问量/错误请求访问量 用户数/受影响用户数 部门数/受影响部门数 平均/最大/最小页面装载时间 平均/最大/最小HttpLoad时间 平均/最大/最小渲染开始时间 平均/最大/最小DNS查找时间 平均/最大/最小TCP连接时间 平均/最大/最小发送时间 平均/最大/最小服务等待时间 平均/最大/最小接收时间 平均/最大/最小客户端时间 平均/最大/最小网络时间 请求类型分布（分为：文档/脚本/CSS等） 时间分布 请求状态分布 v 用户组/用户/部门 综合指标 成功率（成功请求访问量/总请求访问量） 活动时间 页面访问量/慢页面访问量 页面平均/最大/最小请求访问量 请求访问量/Cached请求访问量/错误请求访问量 平均/最大/最小页面装载时间 平均/最大/最小HttpLoad时间 平均/最大/最小渲染开始时间 平均/最大/最小DNS查询时间 平均/最大/最小TCP连接时间 平均/最大/最小发送时间 平均/最大/最小服务等待时间 平均/最大/最小接收时间 平均/最大/最小客户端时间 平均/最大/最小网络时间 请求类型分布（分为：文档/脚本/CSS等） 时间分布 请求状态分布 四、F8PMS 主要功能 2015-2-5福莱特信息技术有限公司18 快速 定位问题 掌握 体验变化 业务 优化建议 个性化 定制 4.1、快速定位问题 2015-2-5福莱特信息技术有限公司19 访问慢 某个用户访问慢? 某个业务访问慢? 某个时间访问慢? 访问出错 页面出错 WEB返回错误 JS出错 访问回溯 任何时间 任何用户 访问业务的任何操作 页面列表快速定位：通过页面列表中的时间、用户等快速 定位到问题。 业务时长变化快速定位：通过业务访问时长变化界面，掌 握访问时间点的快慢分布、用户访问情况，从而快速定位 到谁、时间、那个页面访问时长最慢。 用户体验变化快速定位：通过用户实时时长变化趋势，快 速定位到那个时间点访问那个页面快、那个页面慢，进一 步点击看到页面详细性能数据以及当时CPU/内存情况。 错误列表检索：通过错误请求列表、JS错误列表到达错误 的快速定位。. 4.1.1、用户体验变化快速定位 p实时展现用户体验变化 p支持数据进一步分析 2015-2-5福莱特信息技术有限公司20 鼠标拖动 放大 为什么耗时长 点击查看细节 4.1.2、业务体验变化快速定位 2015-2-5福莱特信息技术有限公司21 业务系统 实时趋势 谁？ 时长分布？ 具体用户 实时趋势 具体页面 详细情况 业务系统实时趋势 点击查看 谁进行访问？ 访问快慢分布情况？ 那些用户 点击查看具体 访问情况？ 访问快慢 分布情况 点击查看 具体页面 ？ 具体页面 4.1.3、页面列表快速定位 2015-2-5 福莱特信息技术有限公司 22 时 间 谁 耗 时 流 量 时 长 行 为 最慢的页面 查看细节 任何时间点的任何用户的任何访问业务系统的记录 深入展现页面构成、时长，终端状态等场景 快速协助问题定位，提升服务满意度 4.1.4、错误列表检索 2015-2-5福莱特信息技术有限公司23 查看错误细节： HTTP/1.1 502 Bad Gateway Server: nginx Date: Tue, 27 May 2014 02:48:48 GMT Content-Type: text/html Content-Length: 568 Connection: keep-alive 快速查找出错请求的记录 展现错误细节 协助问题解决 4.1.5、JS错误列表检索 JS错误监视 什么时间 谁：发生问题的人员，IP地址 出错信息：出错页面、错误行、错误代码、错误字符 出错的源代码内容 2015-2-5福莱特信息技术有限公司24 服务器 浏览器 4.2、掌握用户体验变化 2015-2-5福莱特信息技术有限公司25 业务系统 用户/部门 网络 掌握体验变化 多角度 多指标 趋势 比较 . 时长 分布 访问量 数据量 满意度 多角度 多指标 4.2.1、业务综合分析 2015-2-5福莱特信息技术有限公司26 选择关心指标 从业务系统角度进行分析 分析对象：业务系统/栏目/重点内容 趋势：当天变化趋势、最近12个月趋势变化、最近31天趋势变化 摘要：当天以及最近情况 比较：按天、按周、按月进行比较 支持灵活查看、比较指标 指标选择 本月趋势 本年趋势 本日趋势 摘要 页面数 每天访问不同页 面的数量情况 比较 比较 页面数 概要 趋势 4.2.2、页面综合分析 2015-2-5福莱特信息技术有限公司27 分析对象：页面 趋势：当天变化趋势、最近12个月趋势变化、最近31天趋势变化 摘要：当天以及最近情况 页面出现情况：该页面那些天有人访问它 比较：按天、按周、按月进行比较 支持灵活查看、比较指标 有人访问该页 面的日期 4.2.3、用户综合分析 2015-2-5福莱特信息技术有限公司28 从用户角度进行分析 分析对象：用户组/部门/用户 趋势：当天变化趋势、最近12个月趋势变化、最近31天趋势变化 摘要：当天以及最近情况 比较：按天、按周、按月进行比较 支持灵活查看、比较指标 趋势 摘要 比较 4.2.4、网络、服务器、浏览器分析 2015-2-5福莱特信息技术有限公司29 分析对象：网络、服务器、浏览器 趋势：当天变化趋势、最近12个月趋势变化、最近31天趋势变化 摘要：当天以及最近情况 比较：按天、按周、按月进行比较 支持灵活查看、比较指标 4.2.5、页面访问量 2015-2-5福莱特信息技术有限公司30 那个系统、应用、重点内容最忙？来源于那些用户 那个系统、应用、重点内容缓存比例最高？ 4.2.6、性能情况 那个业务、用户性能最好、最坏？ 他们访问性能分布，“非常快”、“慢页面”分别是多少？ 性能差异发生在那个阶段（DNS、连接、发送、等待、接收等）？ 2015-2-5福莱特信息技术有限公司31 4.2.7、数据量情况 2015-2-5福莱特信息技术有限公司32 那些系统/应用占网络传输数据量最大？那些用户占网络传输数据量最大？ 数据量主要来自那个网段？那些服务器？ 2015-2-5福莱特信息技术有限公司33 4.2.8、DNS、TCP连接 那些服务器名字的DNS查询最慢？那些网段查询最慢？ 那些服务器的TCP连接最慢？那些网段连接最慢？ 4.3、业务优化建议 2015-2-5福莱特信息技术有限公司34 消耗最大的请求 最慢的页面 最大的页面 最频繁的页面 出错最多的页面 4.3.1、消耗最大的请求 2015-2-5福莱特信息技术有限公司35 4.3.2、最慢的页面 2015-2-5福莱特信息技术有限公司36 4.3.3、最大的页面 2015-2-5福莱特信息技术有限公司37 4.3.4、最频繁的页面 2015-2-5福莱特信息技术有限公司38 4.3.5、出错最高的页面 2015-2-5福莱特信息技术有限公司39 4.4、系统个性化支持、界面扩展 2015-2-5福莱特信息技术有限公司40 工程人员、系统管理员 定义角色门户 工程人员、系统管理员 定义界面容器 工程人员、系统管理员 定义业务部件 开发人员 定义基础部件 角色门户 界面容器 业务部件 基础部件 面向不同使用者提供用户关注的门户及主页定制 页面1页面2页面3 界面容器 业务部件 业务部件 业务部件 角色门户定义 4.4.1、业务部件定制 2015-2-5福莱特信息技术有限公司41 根据不同用户关注点的不同，配置符合要求的业 务部件，例如： 用户关注繁忙程度，如：OA系统访问量趋势 用户关注时长，如：OA时长分布 用户关注错误情况，如：OA错误趋势 用户关注某个重点业务，如：发文时长趋势 . 支持维度设置 按照业务/应用、用户/部门等进行分组 支持过滤，如：只查看重点用户数据 支持链接，允许点击进行细节分析 支持指标设置 可以选择一个或者多个关注指标 支持指标排序 支持分页/TOP查看 支持显示样式选择 趋势图、表格、柱状、饼图 同时采用多个图形显示 支持数据导出 4.4.2、界面容器 2015-2-5福莱特信息技术有限公司42 可视化设计 支持部件拖动调整位置 支持部件删除 支持大小调整 容器属性设置 支持标题设置 支持边距、网格设置 支持背景设置 增加业务部件 按照业务关系组织 业务系统 OA财务 OA时长趋势 OA错误情况 拖动 调整 新增 业务 部件 属性 设置 4.4.3、角色门户定制 2015-2-5福莱特信息技术有限公司43 根据不同用户关注点的不同，定制门户界面： 定制每个角色的门户 通过用户角色对应关系，构建用户门户 支持门户设计 定制门户中的一级菜单、二级菜单 定制显示内容 显示内容设置 可以是一个业务部件 可以是一个容器，包含多个业务部件 可以是一个业务部件树 定制 关注人员 关注内容 定制关 注内容 门户 定制 五、总结 2015-2-5福莱特信息技术有限公司44 n资源开销分析（负载均衡、网络流量、服务器满意度） n持续的优化建议（大对象、资源消耗大、最慢分析等） 持续的页面改进建议、提升业务平台服务管理能力 分析、评估业务平台的客户/网络/服务器时间趋势 客户端设备的类型/版本分析（操作系统、浏览器等） 用户规模与效果分析（访问量、出错率等） 客户分析 实时评估