基于python技术的可视化系统的设计与实现——毕业论文

聊城大学本科毕业设计本科毕业设计 题 目 基于python技术的可视化系统的设计与实现专 业 软件工程作者姓名 学 号 单 位 计算机学院 指导教师 年 月 教务处编5目录前言11. 项目开发背景及意义11.1 研究内容11.2 研究意义21.2.1 数据采集及集成模块21.2.2 业务系统(备调系统)综合展示模式21.2.3 电子商务平台等业务系统运行监控保障模式21.2.4 信息系统检修监控模式21.2.5可拓展及可维护性需求32、 开发技术及开发环境32.1 python32.2 HTML5的Canvas32.3 Linux33、 系统的分析与设计43.1 系统功能需求43.2系统效果图44、 应用架构54.1业务架构54.2 应用架构64.3 数据架构64.4 技术架构75、 系统功能模块75.1日常监控保障75.1.1值班人员展示75.1.2当日检修展示85.1.3当日告警联系单展示95.1.4系统运行状态检测95.1.5系统架构图展示105.1.6机房动环及监控展示115.2 检修场景135.2.1值班人员展示135.2.3当日检修计划表展示145.2.4当日二级检修进度展示155.2.5当日一级检修进度展示155.2.6一级检修信息展示165.2.7机房动环及监控展示175.3 节假日保障场景185.3.1节假日保障级别展示185.3.2人员展示185.3.3进度展示195.3.4检修展示205.3.5当日告警联系单205.3.6系统运行状态检测215.3.7信息资源运行状态监控展示215.3.8首页探测展示225.3.9网络安全展示235.3.10机房动环及监控展示24六、 结论展望256.1 总结256.2 创新与特色25结束语25参考文献26摘要为了直观的分析国网信通公司负责总部数据中心的信息内外网及190余套业务系统运维，年承担运行保障工作达数十次，开展检修600余次，在上述工作开展期间，运维人员需要逐台登陆服务器确定系统深层运行状态，无法缩小故障时的排查范围。因此，北京灾备中心监控可视化平台需在充分利用原有软硬件平台基础上，建设备调大屏可视化，扩充数据采集范围，细化数据颗粒度，根据运行深度监视、业务系统保障、检修管理及执行监视等主题进行可视化，降低故障排查及定位时间，提高保障检修等管理及执行效率。通过BS架构，结合Python调用业务数据的高效性，调用灾备中心的数据库信息，通过HTML5的Canvas展示在web段。增强了展示效果，实现了数据的集中展示，增强了用户的体验。关键字：Python；可视化；CanvasAbstractIn order to analyze the countrys power grid ICT company headquarters responsible for the data center information inside and outside network and more than 190 sets of business operation and maintenance system, undertook the running security work of dozens, carry out the maintenance of more than 600 times, during the work, operation and maintenance personnel need to login to the server by Taiwan to determine the deep system running state, the fault can not be reduced the scope of investigation.Therefore, Beijing Disaster Recovery Center for monitoring visualization platform based on the existing hardware and software platform, the construction preparation of adjustable large screen visualization, expand the range of data collection and refinement data granularity, visual surveillance system, according to the operating depth of business security, maintenance management and execution monitoring etc, reduce troubleshooting and positioning time, improve security maintenance management and execution efficiency.By BS architecture, combined with efficient Python call business data, database information call the disaster recovery center, display in the web segment by HTML5 Canvas. Enhance the display effect, to achieve a centralized display of data, enhance the user experience.Key words:Python、visualization、Canvas基于python技术的可视化系统的设计与实现前言当今社会是飞速进步的世界，日常的的信息逐渐的有发展为电子化，信息电子化，在某种程度上，方便的人们的生活，使得信息的管理更加仅仅有条。但在一定程度上信息繁多也会带来一定的负担，不便于集中查看，不便于管理。通过可视化技术是复杂的信息形象的展现在人们面前，节省时间，提高执行效率。把可视化的研究由来已久，很多讨论所涉及的主题都是包括多个元素，其中一个元素会影响到多个其他元素，如果不采取可视化，则无法看到全貌、也无法进行真正的讨论。Linux具有自主、高效等特点；python具有可移植性、可嵌入性、可扩展性，简单高效等特点，HTML5的Canvas是一个非常实用的处理图形图像的元素，具有丰富的绘图以及图像处理方法。通过Python调用数据，Cnava绘制图形，图像，形成可视化展示，一方面可节省资源。一方面以跟好的方式展现在人们的面前，跟好的应用与生活。通过使用Python，调用数据，结合Canvas达到渲染效果，实现可视化的效果，展示了本系统的日常监控场景、检修场景、节假日保障场景的效果，更好的提高工作效率。1. 项目开发背景及意义1.1 研究内容国网信通公司负责总部数据中心信息内外网及190余套业务系统运维，年承担运行保障工作数十次，开展检修600余次，上述工作开展期间，运维人员逐台登陆服务器确定系统深层运行状态，无法缩小故障时的排查范围。因此，北京灾备中心监控可视化平台需在充分利用原有软硬件平台基础上，建设备调大屏可视化，扩充数据采集范围，细化数据颗粒度，根据运行深度监视、业务系统保障、检修管理及执行监视等主题进行可视化，降低故障排查及定位时间，提高保障检修等管理及执行效率，支撑总部数据中心运维工作开展，提升信息通信调度安全性。1.2 研究意义本项目在原北京灾备中心监视可视化系统基础上，增加新的可视化展示模式和相关的数据集成接口，并集成信息通信调度运行支撑平台（SG-I6000）系统业务数据，进行相关数据采集与展示，包括日常运行展示模式、系统保障模式、系统检修模式，具体需求如下：1.2.1 数据采集及集成模块实现主机、存储、数据库、中间件及应用运行数据实时采集功能、采集接口配置及管理功能、国网信通调度监控数据库与备调数据库数据同步。为支撑各业务模式可视化需要，对分散在SG-I6000、综合网管等系统的数据进行集成采集，为数据中心运行、日常运维、信息系统检修、重大活动保障可视化提供基础数据。 1.2.2 业务系统(备调系统)综合展示模式由于业务系统众多，运维人员在进行日常的维护工作时，需要登陆灾备监控系统逐一检查，操作不简便，对于问题的发现不直观，不利于快速比对分析，运维效率较低。通过梳理分析，结合日常运维经验，将运维检修中心负责维护的一级部署业务系统、面向总部的业务系统、直属单位集中部署的业务系统在大屏上集中展示，便于运维人员可以直观地看到各系统的运行状况与应用状况，可以极大的解放人力，提高运维效率。1.2.3 电子商务平台等业务系统运行监控保障模式电子商务平台等系统是国网公司重要业务系统，承担全网的招投标服务等，业务数据敏感，对业务的连续性要求很高。保障大屏模式需展示保障工作安排、系统架构、被保障系统的前段应用、后端主机、存储、中间件、数据库运行状态、应急处置流程等信息，通过大屏前面展示保障工作人员安排、系统状态，及系统应急处置安排，全方位保障系统安全稳定运行。1.2.4 信息系统检修监控模式系统检修是运维检修工作的重点，在集中检修期间，需要通过大屏展示当日检修工作安排、人员安排、被检修系统主机、存储、中间件、数据库、业务应用的状态，以便运维人员及时掌握检修工作进度及检修完成情况，便于运检中心检修统一规范管理。1.2.5可拓展及可维护性需求展示平台需支持信息手动录入，展示的信息系统具备可选择性，需与业务系统、SG-I6000、综合网管、专业网管进行数据交互集成，以获取信息及设备运行状态信息。2、 开发技术及开发环境2.1 pythonPython是一只种开源的通用于计算机编程的一种语言，它优化了软件的质量，提高开发人员的生产率，程序的可移植性性，以及租金啊集成。在国外Python的使用率非常普及，近几年，国内的很多互联网公司和创业公司开始吧Python纳入企业程序开发的主流语言，Python适用于网站逻辑开发、数据分析和科学计算、网络爬虫、自动化运维等业务变化非常高的。由于本项目中的业务的变化率，使用Python语言，调用数据库语句，转储存到本地。在通过Python读取数据，即时展示，因此本项目使用python语言作为开发主引擎。2.2 HTML5的CanvasCanvas API（画布）是在HTML5中新增的标签用于在网页实时生成图像，并且可以操作图像内容，基本上它是一个可以用JavaScript操作的位图（bitmap）。Canvas 对象表示一个 HTML 画布元素 -。它没有自己的行为，但是定义了一个API支持脚本化客户端绘图操作。你可以直接在该对象上指定宽度和高度，但是，其大多数功能都可以通过CanvasRenderingContext2D 对象获得。 这是通过 Canvas 对象的getContext() 方法并且把直接量字符串 2d 作为唯一的参数传递给它而获得的。Python调用读取的信息，由Canvas+JavaScript，绘画展示出效果。通过这个canvas+JavaScript来部署可以增强代码的复用性，可以有利于代码的更新和维护，界面美观易于使用。2.3 LinuxLinux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux具有开源、高效、易开发等优势，Python广泛运用在unix或Linux上。跨平台兼容性强，优秀的快速开发能力Linux系统中将用户密码服务器地址作为命令行参数，根据给定的密钥连接到合适的服务器，向服务器发送请求，将信息以图像的形式显示在屏幕中。运用Linux调用Python，可以增加系统的安全行，可维护性。3、 系统的分析与设计3.1 系统功能需求本项目完成可视化辅助完善包括需求分析和平台设计工作，完成扩建数据采集接口，集成信息通信调度运行支撑平台（SG-I6000）系统业务数据，进行相关数据采集，对数据进行集中存储，并通过可视化开发，具体形成以下功能。实现国网信通信息备调监控可视化相同展示功能。实现信息系统运行总体展示、异常系统轮巡及指标细致展示、信息网路拓扑及运行数据展示功能。实现保障组织安排信息展示、系统业务拓扑和物理拓扑展示、保障系统指标展示等功能。3.2系统效果图日常监控场景展示：检修场景模块展示：节假日保障场景展示：4、 应用架构4.1业务架构本项目对现有北京灾备中心监视可视化系统进行改造和完善，增加信息备调监控可视化、运行深度监视可视化、重大业务活动信息系统保障可视化及检修管理可视化功能。（1）信息备调监控可视化：当国网信通调度大厅出现应急状况无法使用，需切换至北京灾备中心备调大厅时，调控监控人员通过监控可视化，可以掌握全公司各信息系统的运行情况、发现网络运行异常，为公司信息调度工作开展提供坚强的技术支撑。（2）运行深度监视可视化：信息系统运行实行7*24小时值班制度，运行监视人员能够通过大屏展示，了解运管范围内的系统运行是否存在异常，并定位导致系统异常运行的应用程序及软硬件平台指标，进而发现系统运行隐患。（3）重大业务活动信息系统保障可视化：公司招投标、人资招聘考试、调考等业务活动保障开展时，各专业保障人员集中在亦庄数据中心现场开展保障活动，保障工作于亦庄数据中心开展，白广路信息调度统一指挥，指挥人员通过大屏可视化掌握保障工作开展情况，各专业保障技术人员通过大屏可了解其他模块的运行状态，以提高故障或异常发生时的问题定位效率，降低各专业的沟通协调时间成本。（4）检修管理执行可视化：检修管理人员通过可视化明确检修系统、检修时间、影响范围、检修执行人员等基本信息，掌握检修全过程系统运行状态，便于检修管理人员对检修工作闭环管理及检修评价分析。4.2 应用架构本项目应用架构总体包括可视化展示模块、数据存储及管理模块、数据采集模块三个部分。（1）可视化展示模块：该模块主要包括信息系统运行总览、网络拓扑、网络运行、信息系统运行、信息系统逻辑架构及物理架构、检修管理、保障管理、信息调度监视等数据的可视化展示及管理功能。（2）数据存储及管理层：通过数据库复制技术复制白广路监视数据存储的结构化数据，存储于白广路数据库备用库中，日常运维数据库存储并管理系统运行深度监视数据，及通过数据接口从SG-I6000、综合网管等系统获取的业务数据。（3）数据采集及数据集成模块：通过HTTPD 和Nginx等标准协议开发接口，采集业务系统深度运行数据。通过webservice、Nginx等及方式集成IDS、IMS、综合网管等其他系统数据，获取调运所需业务、系统运行等数据。4.3 数据架构通过对数据进行分析、归纳，本项目数据架构主要包括非实时结构化数据、和实时结构化数据两种。1、非实时结构化数据数据构成包括实施采集的业务系统业务运行数据、主机运行数据、中间件运行数据，人工维护的网络拓扑数据、资源信息等。2、实时结构化数据（1）重大业务活动信息系统保障可视化：数据构成包括人工维护的保障计划、保障时间、保障人员、保障内容等人工维护的保障组织安排信息、人工维护的业务逻辑架构、系统物理架构数据，实时采集的主机等系统运行数据。（2）信息备调监控可视化：数据构成包括实时采集的业务系统运行数据、网络运行数据、工单数据，统计分析生成的工单统计数据，及源自IMS系统的资源通信信息及资源信息。（3）检修管理执行可视化：数据构成包括人工维护的检修计划、检修时间、检修内容从IDS系统集成的数据，人工维护的检修人员数据，统计生成的检修统计数据，实时采集的主机等系统运行数据。4.4 技术架构本项目采用分层的技术架构，系统逻辑构架根据实现功能的不同自上而下可分为展现层、业务逻辑层、数据存储层三个主要层次。展现层在北京灾备中心原有大屏可视化软硬级平台的基础上，通过Flex构建，canvas，JavaScript等技术作为辅助，实现异步可视化界面无刷新调用数据；是当前先进的界面展现方式及技术实现方式。逻辑层通过HTTP（短连接）和TCP（长连接）方式传送数据，传输协议可以是sfip、Samba等，使Python服务端与Flex客户端交互。数据分析、安全合法性校验在业务逻辑层处理保证了数据安全性；同时在业务逻辑层处理书记采集接口与SG-I6000、综合网管系统接口传输的结构化实时数据和结构化实时数据。数据存储层主要通过数据库复制技术实现北京灾备中心备调监视数据库和白广路主用监视数据库的实时同步，采集接口采集的数据http+json等数据库连接协议进入日常运行数据库。5、 系统功能模块5.1日常监控保障5.1.1值班人员展示1）运检中心值班展示内容带班领导信息、姓名、电话（手机号码）、值班员信息、姓名、电话（手机号码）；并标注值班员所值班次（白班、夜班）；显示当前值班员照片（照片要求统一背景颜色）2）调控中心值班展示内容展现带班领导信息：姓名、电话（手机号码）。展现值班长信息：姓名、电话（手机号码）；并标注值班长所值班次（白班值长、前夜班值长、后夜班值长）；显示当前值班长照片（照片要求统一背景颜色）。3）展示效果值班人员信息按照值班表每日自动切换。调控中心换班时间为：上午8点，下午16点，晚上22点。运检中心为上午9点，下午17点。5.1.2当日检修展示1）展示内容编号（一级检修编号带汉字；二级检修编号GZ开头）、系统名称、时间、状态：以进度条形式显示3种状态（申请、开始、完成）2）展示效果检修信息（编号、系统名称）读取数据库信息显示在大屏上，时间为手动录入，检修状态由当日值班员根据手动控制方式激发检修状态的变换。5.1.3当日告警联系单展示1）展示内容单号、发起时间、结束时间、专责（受理人姓名）、处理进度（3种:已受理，正在处理，处理完毕）2）展示效果告警联系单信息内容轮循展示，前一天未完成的任务第二天显示在联系单的最上方。5.1.4系统运行状态检测1）展示内容显示各系统名称及各系统的报警信息。告警直接展示告警短信推送的内容，由于目前告警信息包含检修状态下的告警信息，故每小时可能会出现上百条告警信息，告警信息较多时只显示出现故障的部分并进行轮循（内容轮循以10秒钟为单位）。告警信息展示内容：名称、时间、位置、告警内容、IP地址。2）展现效果正常状态：显示当前出现的告警信息内容，无告警信息时无内容展示。告警状态：只显示告警短信内容，重复内容不再显示（除时间信息外），告警信息内容轮循以10秒钟为单位。告警级别：用不同颜色显示，一般告警显示为黄色，严重告警显示为红色。5.1.5系统架构图展示1）展示内容展示各系统的物理拓扑图，并进行轮循展示。（目前已完成人资招聘、人资考试、网络大学、电子商务、门户网站、邮件系统（内网）、邮件系统（外网）、总部财务）。2）展现效果拓扑图自动轮循展示。5.1.6机房动环及监控展示1）展示内容机房动环展示展示内容：温度、湿度为数字显示；空调，精密空调、漏水检测、UPS状态为红绿指示灯。状态分为：红绿两种状态，根据阈值显示不同状态。实心圆圈表示当前状态。机房监控展示展示分为两个部分：部分一显示当前重点监控画面；部分二展示8个机房监控画面（大图监控画面突出显示）。人员流量展示以天为单位，展示每周人员流量情况。2）展现效果展示实际动环数据及机房监控画面。5.2 检修场景5.2.1值班人员展示1）展示内容值班人员信息，姓名，班次，照片，联系方式。2）展示效果展示的检修人员信息，每日自动切换（每日9点自动切换）。5.2.2检修系统状态图1）展示内容展示当日一级检修进度系统信息及告警信息。2）展现效果正常状态：显示当前出现的告警信息内容，无告警信息时无内容展示。告警状态：只显示告警短信内容，重复内容不再显示（除时间信息外），告警信息内容轮循以10秒钟为单位。告警级别：用不同颜色显示，一般告警显示为黄色，严重告警显示为红色。5.2.3当日检修计划表展示1）展示内容检修名称、检修编号、检修审批状态、检修时间、检修级别（文字描述）2）展现效果展示指定时间范围（当日）的检修计划列表以及检修内容进行轮循。检修审批状态：审批通过显示为绿色，审批未通过显示为红色。5.2.4当日二级检修进度展示1）展示内容展示状态：未执行、正在执行、完成3个状态分别使用3个颜色从深到浅表示；检修项目执行前1小时为检修准备阶段（未执行）；持续进行的检修在后续的时间线中继续展示。检修类别：二级检修。时间信息：以时间轴效果展示，并标注当前时间2）展示效果按照时间轴自动推进展示（当前时间未完成，在后续时间继续展示，直到完成）；检修内容轮循展示。5.2.5当日一级检修进度展示1）展示内容检修名称、开始时间、结束时间、检修准备、上报开始、检修执行、上报结束、检修回退：状态（是否）、超时：状态（是否）；2）展现效果手动触发状态改变，检修内容轮循展示。5.2.6一级检修信息展示1）展示内容操作对象、操作人、监护人、工作负责人2）展现效果检修信息轮循展示。5.2.7机房动环及监控展示1）展示内容机房动环展示展示内容：温度、湿度为数字显示；空调，精密空调、漏水检测、UPS状态为红绿指示灯。状态分为：红绿两种状态，根据阈值显示不同状态。机房监控展示展示分为两个部分：部分一显示当前重点监控画面；部分二展示8个机房监控画面（大图监控画面突出显示）。人员流量展示以天为单位，展示每周人员流量情况。2）展现效果展示实际动环数据及机房监控画面。5.3 节假日保障场景5.3.1节假日保障级别展示1）保障级别内容保障级别文字描述、五角星2）展示效果保障级别在大标题区域的右半部分展示。保障级别的上部为保障级别的文字描述；下部为五角星图形，保障级别越高，显示的五角星图案依次增加一个，最低保障级别显示为一个五角星图案。5.3.2人员展示1）保障人员值班展示内容上半部分显示运检中心值班人员信息：带班领导信息：姓名、电话（手机号码）值班员信息：姓名、电话（手机号码）；并标注值班员所值班次（白班、夜班）；显示当前值班员照片（照片要求统一背景颜色）。下半部分显示项目组人员信息：姓名、电话（手机号码）；并标注保障人员所在的项目组名称（5字以内简称）。项目组人员信息做轮巡展示。2）展示效果运检中心：值班人员信息按照值班表每日自动切换，每日上午9点到下午17点。项目组人员：项目组人员信息轮巡展示。5.3.3进度展示1）展示内容展示专项保障进度情况。2）展示效果根据过程进度数据进行图形展示5.3.4检修展示1）展示内容编号（一级检修编号带汉字；二级检修编号GZ开头）；系统名称；时间；状态：以进度条形式显示3种状态（申请、开始、完成）2）展示效果检修信息（编号、系统名称）读取数据库信息显示在大屏上，时间为手动录入，检修状态由当日值班员根据手动控制方式激发检修状态的变换。录入（二期项目时从I6000系统中提取数据）。5.3.5当日告警联系单1）展示内容单号；发启时间；结束时间；专责（受理人姓名）；处理进度（3种:已受理，正在处理，处理完毕）。2）展示效果告警联系单信息内容轮循展示，前一天未完成的任务第二天显示在联系单的最上方。5.3.6系统运行状态检测1）展示内容系统运行状态检测2）展示效果轮巡展示；有告警标注红色。5.3.7信息资源运行状态监控展示（需要特定的网络未展示）1）展示内容投屏展示（web事务的响应信息、丢包率、访问性能、SQL执行总时长）报警信息2）展示效果告警信息在下方的告警框内轮循展示。（5分钟刷新一次）5.3.8首页探测展示1）展示内容电子商务系统界面等28个页面轮番展示2）展示效果 投屏展示各首页，是否出现安全漏洞，首页乱码等5.3.9网络安全展示1）展示内容网络安全图：中国区域、时间、攻击者位置、IP地址、攻击类型。2）展示效果炮弹攻击图演示攻击来源及攻击目标（实时攻击展示；展现IP地址与区域的对应关系）。5.3.10机房动环及监控展示1）展示内容机房动环展示展示内容：温度、湿度为数字显示；空调，精密空调、漏水检测、UPS状态为红绿指示灯。状态分为：红绿两种状态，根据阈值显示不同状态。实心圆圈表示当前状态。机房监控展示展示分为两个部分：部分一显示当前重点监控画面；部分二展示8