门户网站综合服务平台介绍.doc

门户网站综合服务平台介绍门户网站综合服务平台介绍 上海致达信息产业股份有限公司上海致达信息产业股份有限公司 目 录 第第 1 章章平台背景平台背景 3 1 1 门户网站可用性 3 1 2 网站效能指标 3 1 3 门户网站安全性 3 第第 2 章章门户网站综合服务平台简介门户网站综合服务平台简介 5 第第 3 章章产品概述产品概述 6 3 1运行平台监控系统 6 3 1 1 运行平台监控系统支持监控内容 6 3 1 2 运行平台监控系统功能特点 7 3 1 3 标准化规范 8 3 1 4 系统目标及客户价值 9 3 2 网站安全评估检测系统 10 3 2 1 Web应用程序安全评估 10 3 2 2 安全评估流程 16 3 2 3 安全加固建议 17 3 3 网站诊断纠错系统 18 3 3 1 系统产品原理 18 3 3 2 系统功能特色 19 3 4 用户体验分析系统 21 3 4 1 日志流量访问分析运行流程 21 3 4 2 日志流量访问分析指标 22 3 4 3 日志流量访问分析技术特性 22 3 4 4 日志流量访问分析子系统原理及特点 23 第第 4 章章门户网站综合服务平台运营门户网站综合服务平台运营 25 4 1 服务运营 25 4 2 服务内容 25 4 3 网站影响 27 4 4 性能影响 27 第第 1 章章 平台背景平台背景 1 11 1 门户网站门户网站可用性可用性 无论是电子政务网站还是电子商务网站 随着互联网的高速发展以及用户 参与度的不断提升 对门户网站的可用性 可靠性运转提出了更高的要求 但 是由于大型网站的网页数量庞大 应用平台众多 网站运行的各个指标不能及 时准确的测定 同时也缺乏必要的技术手段进行监测 网络是否延迟 设备是 否正常 网页链接 URL 是否错误 应用是否可访问 页面访问负载量是否过大 等 最终导致管理者不能及时发现网站运行中的风险 目前大多数门户网站的 运营还处于 事后救火 的状态 1 21 2 网站效能指标网站效能指标 目前运行的门户网站中哪些应用和内容是用户关注度较高的 存在哪些地 域访问差异性 各栏目的更新量访问量排名又是如何 都需要通过专业的产品 或工具进行收集和统计 为管理者考核编辑工作业绩以及指导业务发展决策提 供必要的信息 在国际互联网行业 网站的指标化管理是近两年最先进的管理模式 具备 先进的用户体验和日志 行为分析平台已经成为大型网站现代化管理的标志 1 31 3 门户网站安全性门户网站安全性 同时 随着互联网技术的迅猛发展 许多用户的关键业务越来越多地基于 Web 应用 在通过浏览器方式实现展现与交互的同时 用户的业务系统所受到 的威胁也随之而来 并且随着业务系统的复杂化及互联网环境的变化 所受威 胁也在飞速增长 据国家计算机网络应急技术处理协调中心的统计调查显示 各种网络安全 事件都有明显增加 被植入木马的主机数量大幅攀升 中心通过技术平台共捕 获约 90 万个恶意代码 比 2010 年同期增长 62 5 网页篡改事件和网络仿 冒事件同比增长分别是 23 7 和 38 木马控制端 IP 地址总数为 280068 个 被控制端 IP 地总数 1485868 个 如此糟糕的安全状况 给 WEB 应用系统的稳定运行带来了前所未有的压 力 Web 应用系统的安全已经成为了目前迫切需要解决的问题 第第 2 章章 门户网站综合服务平台简介门户网站综合服务平台简介 上海致达信息产业股份有限公司是国内领先的网站诊断监测服务商 也是 专业的网站安全防护机构 公司旗下的 运行平台监控系统运行平台监控系统 以实际 IT 应用系 统为整体监控对象 对网站运行支撑平台的网络设备环境 系统资源状况 业 务流工作流 数据库及应用层实施统一监控 从多角度判断应用系统的运行状 况 从而实现一个持续 动态 高适应性的立体监控体系 安全评估检测系安全评估检测系 统统 则是从整体的应用安全评估角度出发 通过对网站的整体安全扫描 快速 检测可能存在的 SQL 注入 跨站脚本 表单绕过 Cookie 注入 程序后门等 应用弱点 根据检测结果采取针对性的安全加固措施 使网站运行在比较安全 的应用环境 网站诊断纠错系统网站诊断纠错系统 可高频度扫描政府网站的每一个动静态网 页 并实现特征检查和内容检查 系统根据分析结果判断网站是否存在缺页 缺图及多媒体附件缺失等情况 系统在给出具体缺失页面 URL 的同时 还可以 发送短消息 MSN 邮件等告警信息 用户体验分析系统用户体验分析系统 通过对站点访问 视频访问 链路延时性能以及网站访问量 访问内容 访问来源进行汇集和行 为分析 为优化关键 Web 应用事务性能 评估自身网站在行业中的地位 指导 业务发展提供高质量 可靠数据依据 针对故障问题统一监管 及时响应以及快速处理 恢复的需求 公司在 2011 年成立了致达 门户网站综合服务平台运营中心 在上海配备专业服务团 队 采用 人 平台 告警通知 的独特模式 以 第一时间发现 第一时间阻 断 为安全策略 实行 24 小时值班制度 为政府 企业以及商务网站提供安全 诊断和网站监测服务 开创一种全新的远程服务远程服务运营模式 第第 3 章章 产品概述产品概述 3 13 1运行平台监控系统运行平台监控系统 运行平台监控系统以实际 IT 应用系统为整体监控对象 对网站运行支撑平 台的网络设备环境 系统资源状况 业务流工作流 数据库及应用层实施统一 监控 突破常见监控系统 监控对象的局限性 可以根据用户使用计算机系统 的实际监控需要 对设备 系统 应用等各种对象进行组合 从多角度判断应 用系统的运行状况 从而实现一个持续 动态 高适应性的立体监控体系 运行平台监控系统采用 ACE Adaptive Communication Enviromnent 开 发平台 以自主开发的 LCom 组件技术实现设备组件操作系统无关性 利用自主 知识产权 LeisureC 描述解释语言研发而成 3 1 13 1 1 运行平台监控系统支持监控内容运行平台监控系统支持监控内容 大类大类子类子类说明说明 计算机设备PC 服务器 小型机 大型机 计算机外围设备打印机 UPS 监控 网络设备路由器 交换机 硬件设备监控 银行自助设备ATM CDM ASM 操作系统可以对多种操作系统进行监控 支持 Windows 系列 主流 Unix Linux 中间件WebLogic WebSphere Tuxedo 等软件系统监控 应用软件根据用户的需求 可以对应用软件的进程 内 存使用情况 队列 Log 进行监测 网络流量可以对设备的网络流量和内容进行过滤 分析 内容数据监控 数据监控SysLog 数据库 数据表 数据记录 注 部分监控需开放 SNMP 端口和安装代理 3 1 23 1 2 运行平台监控系统功能特点运行平台监控系统功能特点 1 1 智能化系统设计 及时提示设备故障点 支持在最短时间内的故障修复智能化系统设计 及时提示设备故障点 支持在最短时间内的故障修复 系统支持各种模式的主动告警方式 支持复杂的告警规则自定义 使维护 支持人员能在最短的时间内了解设备故障情况 采取合理措施 予以修复 2 2 规划图展示方式 以应用系统为单位 进行立体监控规划图展示方式 以应用系统为单位 进行立体监控 用户可以根据目前系统运行情况 自行建立应用系统运行框架 对该系统 中需要监控的设备 设立系统监控点 进行全面管理和纵向监控 及时发 现系统故障点 3 3 自定义设备属性和功能 灵活设置设备监控点自定义设备属性和功能 灵活设置设备监控点 可通过对系统属性和功能的定义 设立设备监控点 对设备进行有侧重点 的监控 以及根据监控情况 及时添加和删减监控点 4 4 支持建立有效的系统运行评估体系支持建立有效的系统运行评估体系 统一管理应用系统的各种监控点 以及各项监控要素 不仅能在系统测试 阶段 配合各种性能测试工具 对系统的各种运行指标进行验证 以最大 限度降低系统的运行风险和运行成本 同时 在系统上线运行后的维护阶 段 及时监控和采集各种运行数据 有利于建立统一的系统运行评估体系 形成一整套系统运行参数标准 划分故障等级或安全级别 并以此对系统 运行情况进行评估和预测 支持系统的管理决策 5 5 集成型平台结构 支持各种设备类型和功能的扩展集成型平台结构 支持各种设备类型和功能的扩展 集成型平台结构 不仅支持各种不同设备的直接接入 而且支持各种专业 监控系统的集成 以最大化地实现用户内部各种不同类型的系统及设备的 集成监控 6 6 统一界面和操作模式 方便日常操作和管理统一界面和操作模式 方便日常操作和管理 统一的操作和管理界面 统一的报表体系 不仅有利于维护支持人员的日 常操作和管理 而且有利于用户对各类设备和系统之间的运行情况进行横 向的比较和分析 3 1 33 1 3 标准化规范标准化规范 设备级工作时间规范 可提供每个设备的工作时间 如 ATM 设备的营业时间等 可以更准确 的进行故障率统计 防止误报 功能组件级工作时间规范 系统规范规定平台组件库中的每个组件都必须有工作时间属性 这样给 用户对于监控功能的使用提供了极大的灵活性和适应性 比如为了不影 响业务系统 在系统实施监控时常规的方法之一是 在 9 00 到 18 00 的高峰业务时间内采用日志关键字 日志文件变化等监控方式判断交易 系统的交易状态 在非该段时间类采用模拟交易的方式监控 24 小时运 行的应用系统状态 模拟交易规范 系统根据经验的积累制定了一系列的模拟交易规范 如 TCP 方式 HTTP 方式等 接口协议中也包含了模块 ID 归属设备 ID 进模块时间戳 出模块时间戳等标准规范内容 应用级监控规范 正是由于系统制定的应用级监控规范 使得可以将组件很方便的和应用 系统进行关联 举例来说 一台 WEBLOGIC 服务器可能同时服务于多个 应用系统 在监控系统中由于组件的规范化 用户可设定不同进程归属 的应用系统 用户可以判断同一个服务器针对不同应用系统的资源使用 状况 规范还包括业务数据采集规范等内容 3 1 43 1 4 系统目标及客户价值系统目标及客户价值 1 1 产品目标产品目标 运行平台监控系统产品的集成监管目标如下 无 无 无任何监管无任何监管 被动监控 被动监控 产生故障后报警产生故障后报警 主动监控 主动监控 故障前数据分析预警故障前数据分析预警 数据分析 数据分析 通过数据分析辅助决策通过数据分析辅助决策 提升绩效 提升绩效 业务系统可靠稳定运行业务系统可靠稳定运行 使用运行平台监控系统 会根据网站实际需求建立一个完善全面 系统科 学的信息安全监管体系 解决现实工作中面临的各种信息安全及可靠性问题 加强网站工作电子化 信息化服务的深度 从而实现更好的工作效率保障 更 完善的服务于大众 2 2 客户价值客户价值 即时告警 减少损失 提前预警 避免损失 性能分析 精确预算 节省人力 增加效益 工作考核 提高效率 综合监管 提升满意 运行平台监控系统是个动态的运维监管系统 可以根据网站信息化业务系 统的发展变化 及时扩展 迅速适应 因此随着时间的推移 产品将不断的积 累运维的新经验 形成持续发展的知识库 而用户的运维成本 IT 系统的故障 率也会持续降低 IT 系统的服务质量也将持续提升 3 23 2 网站安全评估检测系统网站安全评估检测系统 网站安全评估是从风险管理的角度 运用科学的方法和手段 全面检测网 络和信息系统存在的脆弱性 系统分析和评估安全防护水平 从而有针对性地 提出抵御威胁的防护对策和整改措施 将安全风险控制在可接受的水平 最大 限度的保障网络和信息安全 网站系统基本的组成为网站代码和后台数据 在系统结构方面由 Web 服务 器和数据库服务器构成 综合服务平台将利用专业的 Web 应用安全评估系统 对 Web 应用进行深层次多角度地检查 挖掘出数据库数据泄漏 SQL 注入 跨站脚本 网页木马 上传漏洞 Web 站点管理员账号弱口令 敏感信息泄露 等严重威胁网站应用安全的弱点漏洞 按照每月一次 可定制 的定期安全评 估 3 2 13 2 1 WebWeb 应用程序安全评估应用程序安全评估 综合服务平台运营中心主要利用国内领先的 Web 应用弱点扫描器 数据库 弱点扫描器及其他主机评估工具 针对网站 Web 应用系统 数据库应用系统 相应重要主机进行漏洞扫描 同时采用人工检查的方式进行人工评估 漏洞扫描主要依靠带有安全漏洞知识库的网络安全扫描工具对网站进行基 于网络层面安全扫描 其特点是能对被评估目标进行覆盖面广泛的安全漏 洞查找 并且评估环境与被评估对象在线运行的环境完全一致 能较真实 地反映主机系统 网络设备 应用系统所存在的网络安全问题和面临的网 络安全威胁 漏洞扫描对网络的影响很小 可以在不影响被扫描对象正常业务的情况下 对其安全状况做出全面 准确的评估 整理 Web 应用系统 数据库应用系统 主机系统漏洞列表 人工对 Web 应用系统 数据库应用系统 主机系统漏洞列表进行漏洞匹配 3 2 1 13 2 1 1漏洞检测漏洞检测 应用系统以及相关应用程序在开发过程中 由于开发者的疏忽导致应用系 统存在可利用的安全漏洞 一般包括 SQL 注入漏洞 跨站脚本漏洞等安全漏洞 1 1 SQLSQL 注入漏洞注入漏洞 SQL 注入漏洞的产生原因是网站程序在编写时 没有对用户输入数据的合 法性进行判断 导致应用程序存在安全隐患 SQL 注入漏洞攻击就是是利用现 有应用程序没有对用户输入数据的合法性进行判断 将恶意的 SQL 命令注入到 后台数据库引擎执行的黑客攻击手段 2 2 跨站脚本漏洞跨站脚本漏洞 跨站脚本攻击简称为 XSS 又叫 CSS Cross Site Script Execution 是 指服务器端的 CGI 程序没有对用户提交的变量中的 HTML 代码进行有效的过滤或 转换 允许攻击者往 WEB 页面里插入对终端用户造成影响或损失的 HTML 代码 3 3 第三方软件漏洞 第三方软件漏洞 第三方软件漏洞一般是指网站后台编辑器 服务器软件如 IIS Apatch 等 本身可能存在的安全漏洞 导致对外服务网站存在入侵隐患 4 4 敏感信息泄露 敏感信息泄露 错误页面 Web 站点发布的相应页面中的备注中 网站备份文件 目录列 表等存在的敏感信息泄露 为黑客攻击提供了相应信息收集的渠道 3 2 1 23 2 1 2系统配置系统配置 由于系统管理员或网络管理员的疏忽或安全意识的缺乏导致应用系统存在 可利用的安全漏洞 一般包括弱口令 CGI 漏洞等 1 1 弱口令弱口令 弱口令通常有以下几种情况 用户名和密码是系统默认 口令长度过短 口令选择与本身特征相关等 系统 应用程序 数据库存在弱口令可以导致远程入侵者直接得到系统权 限 修改盗取数据库中敏感数据 任意篡改页面等 2 2 CGICGI 漏洞漏洞 CGI 漏洞是指由于网站配置管理疏忽 导致网站敏感信息泄漏 一般敏感 信息包括有关 Web 应用系统的信息 例如 用户名 物理路径 目录列表和软 件版本 尽管泄漏的这些信息可能不重要 然而当这些信息联系到其他漏洞或 错误设置时 可能产生严重的后果 例如 某源代码泄漏了 SQL 服务器系统管理员账号和密码 且 SQL 服务器 端口能被攻击者访问 则密码可被攻击者用来登录 SQL 服务器 从而访问数据 或运行系统命令 3 2 1 33 2 1 3木马检测木马检测 由于应用系统存在可被利用的安全漏洞 可能已被恶意人员进行挂马获取 相应权限或用以传播病毒 综合服务平台运营中心主要通过人工检查的方式对 WEB 应用系统中可能已 经存在的恶意代码进行安全检测 及时发现并清除木马病毒 3 2 1 43 2 1 4渗透测试渗透测试 渗透测试是对安全情况最客观 最直接的评估方式 网站安全评估系统通过模拟黑客的攻击方法对 Web 应用进行非破坏性质的 攻击性测试 目的是侵入系统 获取系统控制权并将入侵的过程和细节产生报 告给用户 由此证实 Web 应用系统所存在的安全威胁和风险 并能及时提醒 Web 应用系统管理员完善安全策略 1 1 测试流程测试流程 综合服务平台运营中心所进行的渗透测试 主要通过利用目标网络的安全 弱点模拟真正的黑客入侵攻击方法 以人工渗透为主 以攻击工具的使用为辅 在保证整个渗透测试过程都在可以控制和调整的范围之内尽可能的获取目标信 息系统的管理权限以及敏感信息 主要流程如下 是是 客客户户委委托托 信信息息收收集集 分分析析 存存在在远远程程控控制制弱弱点点控控制制系系统统 存存在在远远程程普普通通弱弱点点 信信息息收收集集 分分析析 获获取取本本地地普普通通权权限限 本本地地信信息息收收集集 分分析析 本本地地权权限限升升级级 控控制制系系统统 信信息息收收集集 分分析析 生生成成报报告告 是是 否否 是是 是是 否否 否否 否否 是是 客客户户委委托托 信信息息收收集集 分分析析 存存在在远远程程控控制制弱弱点点控控制制系系统统 存存在在远远程程普普通通弱弱点点 信信息息收收集集 分分析析 获获取取本本地地普普通通权权限限 本本地地信信息息收收集集 分分析析 本本地地权权限限升升级级 控控制制系系统统 信信息息收收集集 分分析析 生生成成报报告告 是是 否否 是是 是是 否否 否否 否否 1 1 信息收集信息收集 信息收集是指渗透测试实施前尽可能多地获取目标信息系统相关信息 例 如网站注册信息 共享资源 设备 系统版本信息 已知漏洞及弱口令等等 通 过对以上信息的收集 发现可利用的安全漏洞 为进一步对目标信息系统进行 渗透入侵提供基础 2 2 弱点分析弱点分析 对收集到的目标信息系统可能存在的可利用安全漏洞或弱点进行分析 并 确定渗透测试的方式和步骤实施渗透测试 3 3 获取权限获取权限 对目标信息系统渗透测试成功 获取目标信息系统普通权限 4 4 权限提升权限提升 当获取目标信息系统普通管理权限后 利用已知提权类漏洞或特殊渗透方 式进行本地提权 获取目标系统远程控制权限 2 2 测试用例测试用例 1 1 SQLSQL 注入测试注入测试 序号序号项目项目内容内容 1 测试对象Web 应用系统 2 测试成功标准 能够发现注入点 获取敏感数据 如密码 webshell 修改网页或系统权限 3 测试内容 测试内部访问的 web 程序是否存在 SQL Injection 漏洞 4 测试影响无 2 2 XSSXSS 测试测试 序号序号项目项目内容内容 1 测试对象Web 应用系统 2 测试成功标准利用 XSS 为后续渗透测试提供帮助 3 测试内容测试 Web 应用程序是否存在 XSS 漏洞 4 测试影响无 3 3 CSRFCSRF 测试测试 序号序号项目项目内容内容 1 测试对象Web 应用系统 2 测试成功标准利用 CSRF 为后续渗透测试提供帮助 3 测试内容测试 Web 应用程序是否存在 CSRF 漏洞 4 测试影响无 4 4 信息泄露测试信息泄露测试 序号序号项目项目内容内容 1 测试对象Web 应用系统 2 测试成功标准 利用信息泄露漏洞 获取 WEB 应用系统 敏感信息 如 目录遍历 管理账号 数据 库路径 内网地址以及网站架构等 3 测试内容测试 Web 应用是否存在信息泄露漏洞 4 测试影响无 5 5 上传文件测试上传文件测试 序号序号项目项目内容内容 1 测试对象Web 应用系统 2 测试成功标准 能够成功绕过上传文件限制 上传 asp 或其他 IIS 可以解析文件 能够执行上传后 的 asp 或其他 IIS 可以解析的文件 3 测试内容 测试内部访问的 Web 程序的文件上传是 否可以被绕过 上传 asp 文件 4 测试影响无 3 3 深入渗透阶段深入渗透阶段 这一阶段主要是扩大渗透测试取得的成果 进一步模拟攻击者在获取目标 系统低权限操作时进行权限的提升以及进一步渗透其他系统 该阶段的测试方法包括 利用操作系统漏洞提升权限 利用 Autorun inf 机制进行权限提升 利用其他软件漏洞进行权限提升 寻找其他方面的漏洞 3 2 23 2 2 安全评估流程安全评估流程 1 1 安全评估准备阶段安全评估准备阶段 进行安全评估前 综合服务平台运营中心确定安全评估人员 成立安全评 估小组 做好系统调研 并确定风险评估的目标 范围 2 2 脆弱性识别阶段脆弱性识别阶段 安全评估小组针对网站系统发现识别可能存在的脆弱性 其中 脆弱性是 指可被恶意利用或可能对网站系统造成影响的弱点 如网络安全漏洞 Web 应 用漏洞 Web 应用木马以及系统漏洞 脆弱性识别的途径主要通过借助工具软件自动化的漏洞扫描工具 人工木 马检测以及渗透测试等方法来识别 3 3 脆弱性分析阶段脆弱性分析阶段 脆弱性分析主要包括两个方面 一是安全事件发生的可能性 二是安全事 件造成的损失 安全事件发生的可能性 可根据脆弱点可利用程度来判断 安 全事件造成的损失 可根据脆弱点的严重程度及安全事件发生后对网站系统产 生的影响来判断 在脆弱性分析阶段 安全评估小组将根据脆弱性分析结果 针对用户网站 系统所存在的安全威胁推荐安全解决方案 4 4 汇报验收汇报验收 综合服务平台运营中心在评估工作完成后 将向客户提交 网站系统安全 评估报告 以及项目相关中间材料 3 2 33 2 3 安全加固建议安全加固建议 综合服务平台运营中心对用户网站的安全评估结果进行分析 针对存在的 安全威胁与风险 制订具有针对性的安全加固方案 并确保安全加固方案的有 效性和可操作性 3 33 3 网站诊断纠错系统网站诊断纠错系统 网站诊断纠错系统可对目标网站的每一个动静态网页进行检测 并自动分 析出这些网页的链接关系 系统根据分析结果判断网站是否存在缺页或者缺图 的情况 或存在多媒体附件 ZIP DOC PDF MP3 等文件 缺失的情况 系统在 给出具体缺失页面 URL 的同时 还可以显示其引用该错误 URL 的路径和网站原 页 是用于 Web 网站缺陷检测 网站指标统计与性能趋势预测的大型网站维护 管理系统 3 3 13 3 1 系统产品原理系统产品原理 网站诊断纠错系统由 网站诊断探针子系统 和 诊断信息分析处理子系 统 组成 其中网站诊断探针 Probe 系统包括 性能探针 错误链接探针 网页特征扫描探针 诊断信息分析处理系统包括 性能指标统计系统 Data Mining 图表报告生成子系统 Report Output 信息告警推送子系统 Alert Message Fire 1 可用性探针 可用性探针 对目标网站的页面进行周期性的访问 记录网站每一次不可访问的 时间 网站响应错误代码 断网持续的时间 每一次探测到网站不 可访问 可用性探针将向告警处理中心发送一个可用性错误代码 2 网站速度诊断探针网站速度诊断探针 对目标网站主要栏目页面进行周期性访问 记录每一次 HTTP 请求发 出和对应 WebServer 的 HTTP 响应时间 记录网页第一个字节到达浏 览器时间和传输完毕时最后一个字节到达的时间 从而描绘出目标 网站长时间的性能变化趋势 网站每一次超时 速度探针将向告警 中心发送一个超时错误代码 3 网站错误链接诊断探针 网站错误链接诊断探针 错误链接探针对网站指定的频道 栏目进行 URL 链接缺失扫描 记 录错误引用页之间的关系 以及错误追溯路径 可以让用户通过 错误定位 直接找到发生错误的页面 4 诊断信息处理系统 诊断信息处理系统 诊断信息处理子系统可完成对海量采样数据的统计分析 图表生成 趋势预测等数据计算任务 信息告警模块可将统计报告或告警信息 以用邮件 个性 Web 页或短消息方式推送给网站管理者 3 3 23 3 2 系统功能特色系统功能特色 3 3 2 13 3 2 1网站故障管理统计功能网站故障管理统计功能 网站故障管理功能可以让网站管理员对发现的网站故障进行登记 追踪 分析 统计 举例如下 某网页图片缺失 管理员可根据实际情况判断其原因 为 主机宕机问题 网络问题 如 路由器端口故障 人为问题 如 编 辑人员没有上传 软件故障 如 网站管理系统 BUG 或者编程人员失误 网站管理人员可根据实际情况将故障原因输入网站诊断纠错系统 并督促各部 门解决 也可随时调出故障记录用于跟踪与分析 对于网站运营的主管领导 可通过网站管理业绩考核功能检查每个部门的 工作成效 比如 系统可以统计出每个月 季度 年 网络事故占总故障率的 百分比 人为事故率占总故障率的百分比等等 如有必要可以细分到某个栏目 事故占总故障的百分比 这样在统计数据面前 每个部门的工作业绩一目了然 便于领导进行工作评议与总结 从这个角度来说有助于改善工作流程 提高工 作效率 3 3 2 23 3 2 2网站诊断告警信息自动发送功能网站诊断告警信息自动发送功能 网站诊断纠错系统具备告警信息自动发送功能 可通过 SMS 短消息和电子 邮件方式及时向用户发送故障通知 用户可灵活定制不同告警信息发送的时间 和接收对象 比如 网站首页不可访问告警信息可发给网站主管领导 技术部 经理 网络工程师等 如果某一个栏目有问题 缺图缺页 则告警信息直接发 送给栏目编辑人员即可 3 3 2 33 3 2 3网站诊断故障自动跟踪功能网站诊断故障自动跟踪功能 本系统应用了目前国内领先的故障跟踪技术 该技术由 网站拓扑结构自 动发现 功能 网站地图节点自动绘制 功能 网站错误路径自动计算与追 踪 功能组成 大型网站一般栏目众多 结构非常复杂 仅凭人工很难及时掌握全网站的 拓扑结构 给网站管理者的工作带来不便 网站诊断纠错系统可自动为网站绘 制出详尽准确的诊断路径 并将 问题节点 与 正常节点 以不同颜色区分 为了方便追踪错误 系统在诊断地图上标明问题节点的追踪路径 3 3 2 43 3 2 4网站诊断报告自动生成网站诊断报告自动生成 为了便于网站管理者对网站运行情况全面掌控 网站诊断纠错系统提供网 站诊断报告功能 系统可以将网站运行状态数据按照时间 每天 每周 每月 每 季度 每年 统计成图表 供管理者参考 3 43 4 用户体验分析系统用户体验分析系统 用户体验分析系统包含两个子系统 日志流量访问分析子系统和用户体验 行为分析子系统 日志流量访问分析子系统日志流量访问分析子系统支持超大访问量的网站访问分析 可以胜任每天 点击数超过 2 亿次的超大型网站 具有很强的系统扩展性 支持多种平台上的 Web 服务器日志格式 IIS Apache 和流媒体日志格式等 日志流量访问分 析子系统针对大型网站的海量日志的处理 摆脱了传统的数据库分析方式 在 预处理日志及报表生成时间上大幅提高 彻底解决了查看报表缓慢 系统处理 日志时间过长 数据库文件超大 补生成报表复杂等难题 万张报表可在几分 钟内生成完毕 并可以输出多种不同格式的报表 包括 HTML ZIP excel 等 可直接引用到数据报告中 无需进行任何修改 用户体验行为分析子系统用户体验行为分析子系统是 3 4 13 4 1 日志流量访问分析运行流程日志流量访问分析运行流程 日志流量访问分析包括四个运行流程 日志导入流程 数据分析流程 报表加密发布流程 数据备份与服务器维护流程 四个流程相对独立又相互衔接 具有良好的可扩展性和容错性 通过对网 站日志的获取 形成一个信息共享平台 在整个信息平台中报表可根据不同需 求与条件随意组合 从而最大程度的满足大型网站对于访问量分析的复杂需求 3 4 23 4 2 日志流量访问分析指标日志流量访问分析指标 日志流量访问分析子系统可以针对网站的访问量 访问者的行为特点和网 站服务器的性能等指标作出综合的分类 采样与分析 它同时具有很强的灵活 性并且可以输出多种不同格式的报表供下载和保存 包括 HTML ZIP excel 等 其中主要分析指标如下 网站访问行为分析 网站访问量分析 网站最受欢迎信息分析 网站访问者来源分析 网站路径分析 网站更新率分析 网站群 各分站 栏目的访问量排名分析 3 4 33 4 3 日志流量访问分析技术特性日志流量访问分析技术特性 集中分析 集中分析 就是将分散在各个地点的服务器日志远程获取分析服务器上 进行集中统计分析 形成一个综合网站 达到分布记录 集中统计的目 的 其他应用其他应用 这种分析方法适用于行业网站解决方案 比如 一个行 业有几十个 甚至几百个网站 要想了解整个行业的应用情况 就可以 采用本方案解决 多多 CPUCPU 分析技术 分析技术 系统采用多 CPU 服务器 多线程技术 同时对多个任 务进行处理 这样可以成倍地提高分析速度 在实际应用中 四 CPU 服 务器分析 5000 多万 Pageviews 用 3 个多小时即可分析完成 比用单 CPU 时提高近四倍 CacheCache 服务器分析 服务器分析 对于大型网站 为了提高网站的处理能力和访问速 度 在不同地区设置 Cache 服务器 然而 Cache 服务器的日志和 Web 服务器有着很大的区别 存在着日志格式识别和拆分等问题 本系统不 仅解决了这个问题 而且还将拆分结果与网站结构结合 进行分析汇总 服务器集群分析 服务器集群分析 对于集群服务器的分析 就是需要同时打开多个日志 文件 同时进行分析 因为逐个日志的分析 浏览数是不准确的 对于 一个栏目由多个 Web Server 组成的情况 也是如此 超大规模日志分析 超大规模日志分析 对于日志文件超过 2GB 的情况 目前所有的软件都 会产生死机现象 因为普通 PC 服务器均为 32 位机 除去一个符号位 能够处理的最大数组为 231 即 2048 万 因此 2GB 的日志记录条数一 般都超过 2048 万 是造成死机的原因 然而 本系统采用数据合并算 法 彻底地解决了这个问题 最大可以分析 64Gb 的日志文件 内容过滤器 内容过滤器 如果定义某类页面算做 Pageviews 后 那么该类内容就全 部算做 Pageviews 如果在该类内容中 除去某一个 或一些 页面 不算做 Pageviews 本系统提供的内容过滤器就是解决这种特殊情况 内容交叉分析 内容交叉分析 规范设计栏目与栏目之间 其内容不应交叉出现在不同 的 Web Server 中 但是 由于历史原因 现实中常常还会出现这种现 象 本系统对这种非规范的情况也能够进行分析 3 4 43 4 4 日志流量访问分析子系统原理及特点日志流量访问分析子系统原理及特点 日志流量访问分析子系统具有以下技术特性 系统的可扩展性 门户网站的访问量会随着网站运行的不断成熟而不断 地增加 所以一个好的访问量分析系统的可扩展性就显得非常地重要 系统在最初设计的时候 就很好的考虑到了门户网站的这一特点 比如 客户网站的日志每天在 1G 以下 我们设置一台日志分析服务器就可以 满足需求 但随着客户网站的日趋完善日志增加到 10G 时 我们只需要 再添置两台服务器与原来服务器并行 依然可以满足客户的访问量的增 长需求 并在原来的时间之内生成所需要的报表 系统数据的准确性 本系统是采用嵌入代码与日志分析相结合进行访问 量分析的软件 使日志分析发挥在浏览量方面的特长 嵌入代码分析发 挥访问者行为分析方面的优势 完美的将它们结合在一起 从而保证了 报表的准确性 系统查看的安全性 平台对 Web 服务器是非常安全的 因为软件在最初 设计的时候 就是以不影响 Web 的服务作为宗旨 系统在独立的 Linux 服务器上运行 只远程获取 Web 服务器日志 并且不需要对 Web 服务器 进行任何的修改 也就是说 不管系统软件发生了什么事 或者系统的 环境发生了什么变化 都不会影响到网站的 Web 服务系统的正常运行 报表信息的保密性 另外 系统对用户权限的设定非常严格 集成 Linux 系统安全认证 可以为客户提供多层次的管理权限 第第 4 章章 门户网站综