大数据、可视化,开启数据中心高效运营时代

1、大数据大数据&可视化可视化开启数据中心高效运营时代开启数据中心高效运营时代Paramon广泛应用于高性能计算、云计算领域等大型数广泛应用于高性能计算、云计算领域等大型数据中心，一秒一刷新显示收集机群处理器、内存、网络、据中心，一秒一刷新显示收集机群处理器、内存、网络、存储、能耗、存储、能耗、License、作业等数据，生成、作业等数据，生成.para应用运应用运行特征文件，为大规模机群应用分析、设计、优化提供大行特征文件，为大规模机群应用分析、设计、优化提供大数据支撑；同时，提供全过程机群及应用运行状态的实时数据支撑；同时，提供全过程机群及应用运行状态的实时监控、管理和性能异常报警。监

2、控、管理和性能异常报警。Paramon和和Paratune概述概述Paratune用于分析由用于分析由Paramon生成的生成的.para应用运行应用运行特征文件，精准显示应用运行过程中的特征，为各类大规特征文件，精准显示应用运行过程中的特征，为各类大规模机群应用建立大数据支撑平台，提供多样性（模机群应用建立大数据支撑平台，提供多样性（Variety）、体量化（）、体量化（Volume）、速度化（）、速度化（Velocity）、有价值）、有价值（Value）的应用运行特征数据库，帮助用户完成应用机）的应用运行特征数据库，帮助用户完成应用机群构建、机群应用运行过程重构、应用程序优化等工作。群构建

3、、机群应用运行过程重构、应用程序优化等工作。Parasoft软件体系软件体系LinuxWindowsLinux管理节点管理节点计算节点计算节点计算节点计算节点共享文件系统共享文件系统计算节点计算节点计算节点计算节点LinuxWindowsParaPlus一一体体化化服服务务PARA性能数据文件性能数据文件Paratune机群机群/应用性能分析和优化应用性能分析和优化Paramon机群机群/应用性能监控和采集应用性能监控和采集系统系统级性级性能数能数据据微架微架构级构级性能性能数据数据机群机群并行并行管理管理机群机群事件事件报警报警Hadoop大数据大数据作业作业能耗能耗性能性能管理管理GPU/

4、MIC性能性能数据数据航天航天航空航空汽车汽车船舶船舶气象气象石油石油教育教育科研科研动漫动漫生命生命科学科学进程进程管理管理License使用使用统计统计单机版单机版V0.1.0V1.0.0V1.2.3V2.0.0V2.3.0V3.0.0V4.0.0里程碑里程碑里程碑内容里程碑内容阶段阶段单机版单机版时代时代2008.02V0.1.0时代时代2008.05V1.0.0时代时代2009.04V2.0.0时代时代2011.09V4.0.0时代时代2013.10V3.0.0时代时代2012.09单机版基本数据单机版基本数据采集和分析采集和分析机群版基本数据机群版基本数据采集和分析采集和分析支持支持

5、IB网络网络支持网络支持网络文件系统文件系统机群远程机群远程命令管理命令管理Parasoft软件发展历程软件发展历程机群故障报警机群故障报警优化软件性能优化软件性能支持支持Gflops等等微架构数据微架构数据支持支持GPU数据数据机群并行命令机群并行命令优化软件性能优化软件性能提供应用进程分析提供应用进程分析IO扩展包扩展包集成作业集成作业调度系统调度系统后台数据采集后台数据采集简化软件安装简化软件安装优化优化GPU数据采集数据采集提供整体统计分析报表，为整提供整体统计分析报表，为整体规划决策提供数据支持体规划决策提供数据支持基于基于IPMI的数据能耗分析管理的数据能耗分析管理基于基于Inte

6、l DCM的数据能耗分的数据能耗分析管理析管理支持支持Intel MIC卡系统级数据卡系统级数据支持支持Intel MIC卡微架构数据卡微架构数据支持支持root权限安装权限安装支持普通用户安装支持普通用户安装任意规模无人值守自动安装任意规模无人值守自动安装Hadoop作业可视化作业可视化Map/Reduce进度实时显示进度实时显示Parasoft v4.0.0软件特点软件特点增强的增强的Parafile切割功能，支切割功能，支持按时间和节点进行切割持按时间和节点进行切割支持支持Parafile导出导出Excel文件文件ParasoftV4.0.0新功能新功能Parafile的的切割转换切割转

7、换支持支持Intel Xeon Phi数据中心数据中心能耗管理能耗管理Hadoop数据分析数据分析提供统计提供统计分析报表分析报表任意用户任意用户快速安装快速安装不同阶段用户需求不同阶段用户需求初级初级硬件导向硬件导向ParaPlus系统实施系统实施Paramon性能评测性能评测工具工具用户数据中心建设发展历程用户数据中心建设发展历程中级中级高级高级中高级中高级硬件硬件+应用软件导向应用软件导向ParaPlus运维服务运维服务Paramon运维工具运维工具基于应用运行特征设计基于应用运行特征设计硬件方案硬件方案+应用软件支应用软件支持导向持导向ParaPlus应用特征分应用特征分析服务析服务P

8、aramon机群版机群版全面细致优化自主开发软全面细致优化自主开发软件及商业软件件及商业软件ParaPlus调优服务调优服务Paramon专业版专业版典型应用场景典型应用场景7.基于现有架基于现有架构的功能定制构的功能定制3.数据中心运数据中心运维及数据统计维及数据统计1.数据中心状数据中心状态实时报告态实时报告5.应用运行应用运行性能优化性能优化4.非计划任务非计划任务的快速识别的快速识别6.基于应用特基于应用特点的设备选型点的设备选型2.数据中心机群性数据中心机群性能故障快速诊断能故障快速诊断8.数据中心海数据中心海量应用特征库量应用特征库典型典型场景场景同一屏幕内机群及应用状态实时报告同

9、一屏幕内机群及应用状态实时报告数据中心状态实时报告数据中心状态实时报告l 6套机群1350节点实时监控一目了然一目了然数据中心机群性能故障快速诊断数据中心机群性能故障快速诊断数据中心机群性能故障快速诊断数据中心机群性能故障快速诊断诊断流程文件系统是GPFS，所以IO节点的网络流量是与计算节点进行数据交互产生的；在计算节点的网络流量监控区域中，以太网流量的产生是计算节点与IO节点数据通信所致；在计算节点的网络流量监控区域中，InfiniBand网络流量的产生是计算节点间计算通信所致。数据中心运维数据统计数据中心运维数据统计天分隔线天分隔线数据中心运维及数据统计数据中心运维及数据统计非计划任务的快

10、速识别非计划任务的快速识别非计划任务的快速识别非计划任务的快速识别该程序把计算资源完全耗尽该程序把计算资源完全耗尽应用运行性能优化应用运行性能优化某负载环境下的VASP应用应用运行性能优化应用运行性能优化某负载环境下的VASP应用blade110节点内存略高节点内存略高该区域只有该区域只有blade110有有Gflops%和和MemBW值值应用运行性能优化应用运行性能优化某负载环境下的VASP应用进入瞬时值模式进入瞬时值模式应用运行性能优化应用运行性能优化某负载环境下的VASP应用基于应用特点的设备选型基于应用特点的设备选型Web服务器支持服务器支持10000个并发连接个并发连接性能测试环境性

11、能测试环境CPU2 sockets 2 cores 2.66GHz XeonMemory8GB，1333MHzOSRed Hat Enterprise Linux 5.3Applicationapache, mysql, phpSoftwareWebbench服务器选型的指导方针服务器选型的指导方针第一阶段：网站服务启动时，建第一阶段：网站服务启动时，建立默认连接，内存利用率上升。立默认连接，内存利用率上升。第二阶段：客户端开第二阶段：客户端开始模拟连接，内存利始模拟连接，内存利用率上升。用率上升。第三阶段：内存利用率缓慢第三阶段：内存利用率缓慢上升，上升至上升，上升至97.9%时，时，htt

12、p连接数到连接数到2075次。次。基于现有架构的功能定制基于现有架构的功能定制性能数据文件性能数据文件（.para文件）文件）ClientClientClientClientServer数据数据存储存储数据显示数据显示前台系统前台系统后台后台系统系统数据数据分析分析数据中心海量应用特征库数据中心海量应用特征库数据中心海量应用特征库数据中心海量应用特征库HDFS分布式文件系统分布式文件系统Parafile数据挖掘平台数据挖掘平台ParafileParafileParafileParafileParafileMap/ReduceHive Query Language (HQL)Parafile S

13、earch Engine搜索搜索条件条件搜索搜索条件条件搜索搜索条件条件搜索搜索条件条件搜索搜索条件条件Parafile数据挖掘平台数据挖掘平台用户的收益用户的收益对管理层：对管理层：直观了解数据中心运营状态直观了解数据中心运营状态快速识别计划外任务快速识别计划外任务对数据中心的发展进行预测对数据中心的发展进行预测为采购提供决策依据为采购提供决策依据对应用人员：对应用人员：快速的建立应用运行特征快速的建立应用运行特征快速找到应用运行瓶颈快速找到应用运行瓶颈直观、准确的进行应用对比分析直观、准确的进行应用对比分析快速找到应用优化空间快速找到应用优化空间用用20%时间挖掘大到时间挖掘大到80%的优

14、化空间的优化空间对系统管理员：对系统管理员：大规模机群运行状态可视化大规模机群运行状态可视化快速进行机群管理操作快速进行机群管理操作掌握机群作业运行情况掌握机群作业运行情况快速对机群进行故障诊断快速对机群进行故障诊断对硬件管理员：对硬件管理员：快速定位硬件故障快速定位硬件故障预防硬件故障发生预防硬件故障发生用户收益用户收益“Paramon软件直观的反映出机群整体及节点服务器部件的运行情况，使我们能够软件直观的反映出机群整体及节点服务器部件的运行情况，使我们能够快速的衡量出软件对硬件的实际需求，能够准确、高效的建立了软件与硬件之间的对应关快速的衡量出软件对硬件的实际需求，能够准确、高效的建立了软

15、件与硬件之间的对应关系，尤其在系，尤其在GPU方面，方面，Paramon软件通过准确、高效的监控管理手段为我中心解决了软件通过准确、高效的监控管理手段为我中心解决了一系列管理、运维问题，让机群监控、管理更便捷，更高效，提高了我中心的整体工作效一系列管理、运维问题，让机群监控、管理更便捷，更高效，提高了我中心的整体工作效率。率。”中国石化石油物探技术研究院信息中心副主任王永波用户体验用户体验“BGP采购了北京并行科技有限公司采购了北京并行科技有限公司Paramon/Paratune应用运行特征分析软应用运行特征分析软件。凭借该系列工具，依据科学的数据统计和分析，其为件。凭借该系列工具，依据科学的数据统计和分析，其为GeoEast软件系统优化提供了软件系统优化提供了客观、准确的基础数据，其中包括并行科技拥有专利技术的系统微架构级和应用指令级数客观、准确的基础数据，其中包括并行科技拥有专利技术的系统微架构级和应用指令级数据，保证了据，保证了GeoEast系统优化的正确性和高效性。后续，系统优化的正确性和高效性。后续，BGP通过通过Paramon软件对软件对GeoEast系统几十种典型的常规处理、解释模块，并行处理模块，偏移模块