CommVault 备份系统性能优化手册.docx

40CommVault技术白皮书CommVault 备份系统性能优化指南版本控制： 版本号版本日期作者 注释:1.02010/07/19Jiff Cheng第一版： 性能诊断 & 性能优化 Mulu 第一篇：文档介绍.4第二篇：定位客户端(Client)性能瓶颈.51.如何测试存储阵列性能.51.1.使用DiskRead 测试读性能.51.2.使用CvDiskPerf 测试读性能.51.3.使用操作系统 DD 测试读性能62.如何测试LAN网络性能.62.1.使用系统工具测试 （Client-MediaAgent）62.2.使用CV 工具 TESTPORT 测试.（Client-MediaAgent）6第三篇：定位介质服务器(MediaAgent)性能瓶颈.81.测试MediaAgent主机性能.81.1.使用操作系统基本工具.81.2.使用DMW_TEST 工具测试DM Bridge 性能.82.如何测试带库驱动器性能.112.1.使用”Validate Driver” 测试驱动器性能.112.2.使用tape_writer 测试驱动器性能132.3.使用DD 测试驱动器性能133.如何测试光纤链路性能.143.1.使用”Validate Driver” 测试链路性能143.2.使用tape_writer 测试链路性能154.如何测试磁库性能.16第四篇：定位数据库 (DataBase)性能瓶颈.181.测试Oracle 性能。181.1.添加性能计数器.181.2.查看性能指标：182.测试DB2 性能。192.1.添加性能计数器.192.2.查看性能指标：20第五篇：性能调优篇.211.客户端磁盘阵列调优:212.网络备份优化:213.磁库性能优化.214.客户端性能优化.224.1:关闭客户端防火墙程序.224.2:启用 “Multi-Streaming” 功能.224.3: NetWork Agent：224.4: 关闭软件压缩功能：225.MediaAgent性能优化.235.1 . 增加Chunk Size235.2 . 增加Block Size255.3 . 启用硬件压缩.265.4 . LAN-Free参数调整.275.5 . 注册表性能参数286.链路性能优化.296.1 . 确认驱动器链路296.2 .配置Drive Pool.297.Oracle性能优化.317.1. 系统设备管理优化317.2Oracle 参数优化317.3RMAN 参数优化：338.DB2性能优化.378.1DB2实例参数优化：378.2DB2备份参数优化：37第一篇：文档介绍.备份系统因为涉及到硬件存储，光纤交换机，网络交换机，操作系统，数据库产品，应用系统，带库设备等诸多因素。 所以针对备份系统的设计和性能调优也相当复杂。在性能调优方面，我们需要针对不同的客户环境使用不同的工具和调优方式做到“先确认瓶颈，再确认方案”的原则来达到调优目的。本文档的主要内容包括两部分：1): 定位性能瓶颈：使用何种方式和工具得到测试结果Client： 存储阵列/磁盘的IO 读性能；LAN备份的网络性能.MA： 主机性能; 驱动器读写性能； 光纤链路性能; 磁库阵列的写性能.DB: 数据库的API 吞吐性能.2): 进行性能调优：针对目前国内客户中普遍使用的大型数据库系统Oracle 和DB2这两类大型数据库管理软件进行性能调优。第二篇：定位客户端(Client)性能瓶颈. 1. 如何测试存储阵列性能.1.1. 使用DiskRead 测试读性能. 该工具可以从RP 中获得：# Diskread -PATH XXX# Diskread -PATH /u02/dataReading .Total Number of Files read : 45Total Number of Bytes read : 60035400 KBytesTotal time taken : 251 SecThroughput : 820.348160 GB/hr1.2. 使用CvDiskPerf 测试读性能.进入到Simpana 安装Base目录下:# CvDiskPerf -READWRITE -PATH XXX# CvDiskPerf -READWRITE -PATH /u02/data -OUTFILE /tmp/cv_perf.outDiskPerf Version : 1.0Path Used : /u02/dataRead-Write type : RANDOMBlock Size : 512Block Count : 4096File Count : 500Total Bytes Written : 1048576000Time Taken to Write(S) : 7.113515Throughput Write(GB/H) : 494.217709Total Bytes Read : 1048576000Time Taken to Read(S) : 7.581667Throughput Read(GB/H) : 463.7007921.3. 使用操作系统 DD 测试读性能因为DiskRead & CvDiskPerf 只能对文件系统层面做性能测试，无法读取裸设备。而大多数客户环境数据库都是在裸设备上，这个时候我们就需要用DD 去测试存储读性能#timex dd if=inputfile of=/dev/null bs=64k #timex dd if= /dev/rlv00 of=/dev/null bs=64k count=160002. 如何测试LAN网络性能. 在CDR复制或LAN 备份环境中，因为数据会经过网络传输，如遇性能问题。我们需要考虑到是否网卡设置、网络传输存在瓶颈。测试Client 到MediaAgent 或者 CDR Source 到 Target 的网络性能可有多种方式：系统工具： Copy , RCP, FTP. CV工具： TestPort2.1. 使用系统工具测试 （Client-MediaAgent）A. 对源与目标都是Windows 的主机：使用COPY 文件测试网络性能.B. 对源与目标都是Unix 的主机：使用RCP, FTP 测试网络性能.2.2. 使用CV 工具 TESTPORT 测试.（Client-MediaAgent）在CDR 目标或MediaAgent 上开启端口监听# ./TestPort.exe -server -UseIPv4 Commvault Systems Inc. Testport version 301Input parameters:BindIP :BindName :BindPort : 0SendInitDelay : 0SendBuffDelay : 0RecvInitDelay : 0RecvBuffDelay : 0Buffers : 0MinBufferSize : 16384MaxBufferSize : 16384IP Family : IPv4Bound To port 3294Press C to stopWaiting for a client to connect.在CDR 源或Client 上开发送数据.#./TestPort -client -srvname commserve -srvport 3294 -buffers 60000 -MinBufferSize 32767Commvault Systems Inc. Testport version 301Input parameters:SrvIP :SrvName : commserveSrvPort : 3294BindIP :BindName :BindPort : 0SendInitDelay : 0SendBuffDelay : 0RecvInitDelay : 0RecvBuffDelay : 0Buffers : 60000MinBufferSize : 32767MaxBufferSize : 32767IP Family : IPv4Trying to connect to 00 port 3294Connected from 01 port 32859 to 00 port 3294Waiting for Server to send Test buffer.Server string verified successfullySending tEsTcLi301 to server.Successfully sent signature to serverReceiving buffers.Getting Number of Buffers to receiveGoing to receive 0 buffersSending buffers.Going to send 60000 buffers of size 32767 bytesCRC of the initial buffer is D3F06216Sending Buffer # 60000Sent 1966020000 Bytes in 180 secsCalculated network throughput is 10.42 MB/sec! Finished !Press Return.第三篇：定位介质服务器(MediaAgent)性能瓶颈. 1. 测试MediaAgent主机性能. 1.1. 使用操作系统基本工具.操作系统的性能监控工具可以说是性能测试最基础的工具, 相信大家都都已经熟悉。在这里不再累述。如有疑问,请上Google. 在性能测试的阶段我们应该首先应该考虑系统自带的工具去监控 CPU. Memory. Process. IO 的性能. 1.2. 使用DMW_TEST 工具测试DM Bridge 性能.我们知道计算机上所有信息的处理都要经过CPU. 那么每个进程对CPU 的使用也会产生性能的影响. 所以MA 的CPU 处理能力也可能成为影响备份性能的瓶颈.默认的在MediaAgent上DataMove 的过程是通过两个进程”Dsbackup” 和 ”Dmwriter” 协同完成的。两个进程之间通过Dm Bridge 来相互传输数据. Dm Bridge 的两个功能函数分别是“Dm Bridge Reader”, “Dm Bridge Writer” 我们可以通过 dmw_test 工具来测试MA上DmWriter 的性能。确定MA的数据吞吐效率.1: 设置环境参数export GALAXY_INST=Instance Num export GALAXY_CNAME=Client_Name 注意：Instance Num 默认是 Instnace001. 在多实例的情况下需要自定义Client_Name 不是hostname 而是CommCell中定义的ClientName#export GALAXY_INST=Instance001#export GALAXY_CNAME=cv_BI2DW22：执行测试工具 （写入空设备）同时打开3个Telnet Window 到Base目录下，并设置环境参数在Window1和Window2 分别执行:#./dmw_test -mg 1 perf#./dmw_test -mg 2 perf在Windows3 下执行:#./dmw_test mg 1 redir /dev/null#./dmw_test mg 2 redir /dev/null 在dmWriter.log 中观察DmBridge Write 的性能变化：由下面DmBridge写入到空设备可以看到DataMove写入到空设备性能很好. 可以得出结论： CPU 和Memory不是瓶颈.3187102 1 04/27 16:07:28 # DmBridgeW:loop() - Writing all future data to /dev/null.3129984 1 04/27 16:07:32 # DmBridgeW:loop() - Call rate = 8185.3 calls/sec, 511.6 MB/sec, 1798.5 GB/hr3187102 1 04/27 16:07:32 # DmBridgeW:loop() - Call rate = 8490.8 calls/sec, 530.7 MB/sec, 1865.7 GB/hr197554 1 04/27 16:07:33 # DmBridgeW:loop() - Call rate = 5864.2 calls/sec, 366.5 MB/sec, 1288.5 GB/hr197554 1 04/27 16:07:33 # DmBridgeW:loop() - Writing all future data to /dev/null.971586 1 04/27 16:07:34 # DmBridgeW:loop() - Call rate = 6809.3 calls/sec, 425.6 MB/sec, 1496.2 GB/hr3129984 1 04/27 16:07:38 # DmBridgeW:loop() - Call rate = 8689.7 calls/sec, 543.1 MB/sec, 1909.4 GB/hr3187102 1 04/27 16:07:38 # DmBridgeW:loop() - Call rate = 6764.3 calls/sec, 422.8 MB/sec, 1486.3 GB/hr197554 1 04/27 16:07:39 # DmBridgeW:loop() - Call rate = 9033.7 calls/sec, 564.6 MB/sec, 1984.9 GB/hr3：执行测试工具 （写入磁带设备 ）使用arm_tool 在需要测试的驱动器内加载空白磁带.并记录测试驱动器的SCSI ID.同时打开3个Telnet Window 到Base目录下，并设置环境参数在Window1和Window2 分别执行:#./dmw_test -mg 1 perf#./dmw_test -mg 2 perf在Windows3 下执行:#./dmw_test mg 1 redir scsidevfscsi7:7.106240.1#./dmw_test mg 2 redir scsidevfscsi1:1.101888.1在dmWriter.log 中观察DmBridge Write 的性能变化：由下面DmBridge写入到磁带设备。性能下降非常明显.可以得出结论: DataMove进程存在性能瓶颈.3810102 1 04/28 13:04:10 # DmBridgeW:loop() - Call rate = 13047.2 calls/sec, 815.4 MB/sec, 2866.8 GB/hr3810102 1 04/28 13:04:15 # DmBridgeW:loop() - Writing all future data to scsidevfscsi1:1.101888.1.3810102 1 04/28 13:04:16 # DmBridgeW:loop() - Call rate = 13822.8 calls/sec, 863.9 MB/sec, 3037.2 GB/hr3810102 1 04/28 13:04:22 # DmBridgeW:loop() - Call rate = 164.8 calls/sec, 10.3 MB/sec, 36.2 GB/hr3810102 1 04/28 13:04:28 # DmBridgeW:loop() - Call rate = 198.5 calls/sec, 12.4 MB/sec, 43.6 GB/hr3810102 1 04/28 13:04:34 # DmBridgeW:loop() - Call rate = 228.5 calls/sec, 14.3 MB/sec, 50.2 GB/hr3810102 1 04/28 13:04:40 # DmBridgeW:loop() - Call rate = 118.2 calls/sec, 7.4 MB/sec, 26.0 GB/hr3810102 1 04/28 13:04:47 # DmBridgeW:loop() - Call rate = 224.1 calls/sec, 14.0 MB/sec, 49.3 GB/hr3810102 1 04/28 13:04:53 # DmBridgeW:loop() - Call rate = 268.8 calls/sec, 16.8 MB/sec, 59.1 GB/hr3810102 1 04/28 13:04:59 # DmBridgeW:loop() - Call rate = 144.0 calls/sec, 9.0 MB/sec, 31.6 GB/hr2. 如何测试带库驱动器性能. 如果在实际环境中使用1.2 章节中的Dm_test 工具测试到DataMove 存在瓶颈。那么我们就需要更进一步确认带库驱动器写入性能是否正常.2.1. 使用”Validate Driver” 测试驱动器性能.在库的Drive Pool 里选择驱动器，1: ”右键”-”验证驱动器” 2: 选择-“介质” (选择空白介质)3: 定义Block 大小 （默认为64K ）4: 定义Chunk 大小 （默认为2 G ）5: 定义Chunk 数量 （默认为2 个）驱动器验证完毕后，会看到驱动器的读写性能参数：备注： 驱动器检验是使用非硬件压缩来测试驱动器读写性能.LTO3的理论值是80M/S. 实际环境中一般在65-75M/SLTO4 的理论值是120M/S. 实际环境中一般在95-110M/S2.2. 使用tape_writer 测试驱动器性能使用arm_tool 在需要测试的驱动器内加载空白磁带。#export GALAXY_INST=InstanceName#export GALAXY_CNAME=ClientName#cd $BASE (Simpana 安装Base 目录)#./tape_writer -pt|-dual -c 注释：-pt 使用pass-through Driver-dual 使用Native Driver -c 启用压缩.实例：#export GALAXY_INST=Instance001#export GALAXY_CNAME=cv_BI2DW2#./tape_writer -dual scsidevfscsi1:1.101888.1 ./libCvXMLMessages.so Reading file ./libCvXMLMessages.so into memory.Had to read the file 3 times to fill 16MB buffer.Opening tape scsidevfscsi1:1.101888.1.Using MTIO/PT implementation. Drive Model: Ultrium 3-SCSI Drive Vendor: HPLoading.Rewinding.Disabling compression. Compression: OFFSetting 32KB block size.Beginning to write at Sun Jun 20 13:25:21 20105435817984 (5GB) at 76.8MB/sec 2.3. 使用DD 测试驱动器性能使用arm_tool 在需要测试的驱动器内加载空白磁带. ( arm_tool 加载对应磁带的SCSI ID ) 此时在使用DD 测试磁带设备前，需要找到设备SCSI ID 在操作系统层面对应的设备文件。在此就要使用到CV 自带的工具”ScsiCmdTool”#./ScsiCmdTool1）：选择 1. Perform a quick bus scan2）：选择 3. Select a device for testing 此步骤可以得到SCSI 对应的设备文件.#chdev l rmtX -a block_size=262144#mt -f /dev/rmtX rewind#time dd if=/dev/zero of=/dev/rmtX bs=256k count=28003. 如何测试光纤链路性能. 3.1. 使用”Validate Driver” 测试链路性能使用ScanScsiTool 扫描驱动器的SCSI 路径.选择单链路上的2个或2个以上驱动器作为测试标本. 假设客户环境有16 驱动器的带库，通过双FC 连接到一台MediaAgent. 我们在这个MediaAgent 上看到的链路将如下所示Ser#HU107329T1fscsi1:1,101888,1)(FW:L67W)(scsidevfscsi1:1.101888.1) Ser#HU10733KT1fscsi1:1,101888,2)(FW:L67W)(scsidevfscsi1:1.101888.2) Ser#HU107462F0fscsi1:1,102144,0)(FW:L67W)(scsidevfscsi1:1.102144.0) Ser#HU1074612Nfscsi1:1,102144,1)(FW:L67W)(scsidevfscsi1:1.102144.1) Ser#HU1074612Ufscsi1:1,105984,0)(FW:L67W)(scsidevfscsi1:1.105984.0) Ser#HU107462BUfscsi1:1,105984,1)(FW:L67W)(scsidevfscsi1:1.105984.1) Ser#HU107460YKfscsi1:1,106240,0)(FW:L67W)(scsidevfscsi1:1.106240.0) Ser#HU107460WYfscsi1:1,106240,1)(FW:L67W)(scsidevfscsi1:1.106240.1) Ser#HU1073297Mfscsi7:7,101888,0)(FW:L67W)(scsidevfscsi7:7.101888.0) Ser#HU10726GM4fscsi7:7,101888,1)(FW:L67W)(scsidevfscsi7:7.101888.1) Ser#HU10746127fscsi7:7,102144,0)(FW:L67W)(scsidevfscsi7:7.102144.0) Ser#HU1074611Yfscsi7:7,102144,1)(FW:L67W)(scsidevfscsi7:7.102144.1) Ser#HU10746121fscsi7:7,105984,0)(FW:L67W)(scsidevfscsi7:7.105984.0) Ser#HU107460Y7fscsi7:7,105984,1)(FW:L67W)(scsidevfscsi7:7.105984.1) Ser#HU1074612Kfscsi7:7,106240,0)(FW:L67W)(scsidevfscsi7:7.106240.0) Ser#HU107460Y1fscsi7:7,106240,1)(FW:L67W)(scsidevfscsi7:7.106240.1) 验证单链路上多驱动器同时读写的性能：在库的Drive Pool 里选择同一链路上的2个以上驱动器。3.2. 使用tape_writer 测试链路性能使用ScanScsiTool 扫描驱动器的SCSI 路径，选择单链路上的2个或2个以上驱动器作为测试标本.使用arm_tool 在需要测试的驱动器内加载空白磁带。同时打开3个Telnet Window 到Base目录下，并设置环境参数#export GALAXY_INST=InstanceName#export GALAXY_CNAME=ClientName#cd $BASE (Simpana 安装Base 目录)#./tape_writer -pt|-dual -c 注释：-pt 使用pass-through Driver-dual 使用Native Driver -c 启用压缩.实例：Window1:#export GALAXY_INST=Instance001#export GALAXY_CNAME=cv_BI2DW2#./tape_writer -dual scsidevfscsi7:7.101888.0./libCvXMLMessages.so Reading file ./libCvXMLMessages.so into memory. Had to read the file 3 times to fill 16MB buffer. Opening tape scsidevfscsi7:7.101888.0. Using MTIO/PT implementation. Drive Model: Ultrium 3-SCSI Drive Vendor: HP Loading. Rewinding. Disabling compression. Compression: OFF Setting 32KB block size. Beginning to write at Thu Apr 29 13:24:30 2010(12GB) at 70.4MB/sec Window2:#export GALAXY_INST=Instance001#export GALAXY_CNAME=cv_BI2DW2#./tape_writer -dual scsidevfscsi7:7.102144.0 ./libCvXMLMessages.soReading file ./libCvXMLMessages.so into memory. Had to read the file 3 times to fill 16MB buffer. Opening tape scsidevfscsi7:7.102144.0. Using MTIO/PT implementation. Drive Model: Ultrium 3-SCSI Drive Vendor: HP Loading. Rewinding. Disabling compression. Compression: OFF Setting 32KB block size. Beginning to write at Thu Apr 29 13:26:07 2010 7096762368 (6GB) at 67.2MB/sec 4. 如何测试磁库性能. 如果客户使用磁库作为备份介质, 存放磁库的磁盘IO 性能可能成为性能的瓶颈。我们可以使用CvDiskPerf 工具来确认磁库性能。实例：# CvDiskPerf -READWRITE -PATH XXX# CvDiskPerf -READWRITE PATH /cv_lib/CV_MAGNETIC -OUTFILE /tmp/cv_perf.outVersion : 1.0Path Used : f:Read-Write type : RANDOMBlock Size : 512Block Count : 4096File Count : 500Total Bytes Written : 1048576000Time Taken to Write(S) : 7.113515Throughput Write(GB/H) : 494.217709Total Bytes Read : 1048576000Time Taken to Read(S) : 7.581667Throughput Read(GB/H) : 463.700792第四篇：定位数据库 (DataBase)性能瓶颈. 1. 测试Oracle 性能。Oracle 因为使用Rman 备份, 所以影响性能的因素除了上面了列举的所有因素外，还要考虑到RMAN本身的效率。1). 如果是RMAN 吞吐率低。那么就需要 “测试磁盘读性能” 和 “调优Oracle” .2). 如果是MediaAgent IO 写入效率低，那么就需要 “测试网络” , “带库驱动器”. “光纤链路”注意：RMAN 对写入设备 “DISK” 和”SBT_TAPE” 对于块的处理方式有很大差异。所以用Rman 备份到DISK 的性能 去和RMAN 备份到 “SBT_TAPE” 去做比较没有任何参考意义.1.1. 添加性能计数器.Windows:HKLMSOFTWARECommVault SystemsGalaxyInstance001OracleAgent添加一个类型为String 的键值 “sORASBTPERFSTAT”; 值设为 “Y” Unix: /etc/CommVaultRegistry/Galaxy/Instance001/OracleAgent/.properties添加一行：sORASBTPERFSTAT Y1.2. 查看性能指标：如下实例，可以看到 ORACLE 的吞吐量800G/H，MediaAgent吞吐量 220G/H. 所以性能瓶颈应该是在MA. #grep i “Throughput” ORASBT.log 25413 1 05/26 01:21:11 29993 sbtclose2: SBTPS: Stream no = 1, Archive File Name = 51lejse8_1_1, Oracle I/O Throughput = 749.323132 GB/Hr, MA I/O Throughput = 289.940902 GB/Hr, Total I/O Throughput = 209.051230 GB/Hr 25414 1 05/26 01:22:59 29993 sbtclose2: SBTPS: Stream no = 2, Archive File Name = 52lejse9_1_1, Oracle I/O Throughput = 793.408538 GB/Hr, MA I/O Throughput = 280.699647 GB/Hr, Total I/O Throughput = 207.343636 GB/Hr 25413 1 05/26 01:42:18 29993 sbtclose2: SBTPS: Stream no = 1, Archive File Name = 53lejtka_1_1, Oracle I/O Throughput = 750.240041 GB/Hr, MA I/O Throughput = 274.637046 GB/Hr, Total I/O Throughput = 201.042360 GB/Hr 25414 1 05/26 01:44:04 29993 sbtclose2: SBTPS: Stream no = 2, Archive File Name = 54lejtnt_1_1, Oracle I/O Throughput = 817.785367 GB/Hr, MA I/O Throughput = 278.201088 GB/Hr, Total I/O Throughput = 207.583568 GB/Hr 25413 1 05/26 02:01:52 29993 sbtclose2: SBTPS: Stream no = 1, Archive File Name = 55lejus2_1_1, Oracle I/O Throughput = 838.226679 GB/Hr, MA I/O Throughput = 301.202894 GB/Hr, Total I/O Throughput = 221.581314 GB/Hr 25414 1 05/26 02:04:26 29993 sbtclose2: SBTPS: Stream no = 2, Archive File Name = 56lejuvc_1_1, Oracle I/O Throughput = 843.745593 GB/Hr, MA I/O Throughput = 295.490013 GB/Hr, Total I/O Throughput = 218.847089 GB/Hr 25413 1 05/26 02:22:13 29993 sbtclose2: SBTPS: Stream no = 1, Archive File Name = 57lek00n_1_1, Oracle I/O Throughput = 817.511829 GB/Hr, MA I/O Throughput = 297.044451 GB/Hr, Total I/O Throughput = 217.878053 GB/Hr 25414 1 05/26 02:24:56 29993 sbtclose2: SBTPS: Stream no = 2, Archive File Name = 58lek05j_1_1, Oracle I/O Throughput = 832.572732 GB/Hr, MA I/O Throughput = 282.930002 GB/Hr, Total I/O Throughput = 211.169186 GB/Hr 25413 1 05/26 02:40:29 29993 sbtclose2: SBTPS: Stream no = 1, Archive File Name = 59lek16u_1_1, Oracle I/O Throughput = 860.960514 GB/Hr, MA I/O Throughput = 327.941135 GB/Hr, Total I/O Throughput = 237.483368 GB/Hr 25414 1 05/26 02:42:40 29993 sbtclose2: SBTPS: Stream no = 2, Archive File Name = 5alek1c4_1_1, Oracle I/O Throughput = 930.236949 GB/Hr, MA I/O Throughput = 338.921662 GB/Hr, Total I/O Throughput = 248.414540 GB/Hr 2. 测试DB2 性能。2.1. 添加性能计数器.Windows:HKLMSOFTWARECommVault SystemsGalaxyInstance001Db2Agent添加一个类型为String 的键值 “sDb2SbtPerfStat”; 值设为 Y .Unix: /etc/CommVaultRegistry/Galaxy/Instance001/Db2Agent/.properties添加一行：sDb2SbtPerfStat Y2.2. 查看性能指标：如下实例，可以看到DB2 单流的吞吐量在5TB/H，而MediaAgent吞吐量仅 260G/H.所以性能瓶颈应该是在MA. 930346 1 05/16 12:38:47 29449 Db2SbtUtil:printPerfStats() - 1-job29449 thread930346: SBTPS: Stream no = 0, DB2 I/O Throughput = 58665.507599 GB/Hr, Media Agent I/O Throughput = 262.927100 GB/Hr, Tot