MB_UG210_PBlaze3_User_Guide_v3.0_cn.doc

用户手册PBlaze III闪存加速卡用户手册Version 3.02015.4UG210版权声明本用户手册中的所有内容、格式及相关产品的版权属于北京忆恒创源科技有限公司,在未经北京忆恒创源科技有限公司许可的情况下,不得任意引用、拷贝、抄袭、仿制或翻译成其他语言。本用户手册提到的其他商标或商品名称均是他们公司所属的商标或注册商标,除非特别声明,此类商标或商品与本公司没有任何联系。本用户手册中的图片、安装步骤、操作方式等,随软件、硬件版本的升级,会有相关差异,如有变更,恕不另行通知。2011-2015 北京忆恒创源科技有限公司目 录1、硬件安装31.1硬件要求31.2安装步骤32、Linux操作系统62.1软件安装62.1.1RPM安装62.1.2源码安装82.1.3设置建议92.2管理与维护92.2.1指示灯启动状态指示灯读写指示灯安全擦除、固件更新指示灯指示灯点亮与熄灭102.2.2状态监控112.2.3设备控制安全擦除和初始化固件更新性能模式转换绑定CPU173、Windows操作系统173.1软件安装173.2设备初始化213.3管理与维护213.3.1指示灯启动状态指示灯读写指示灯安全擦除、固件更新指示灯指示灯点亮与熄灭233.3.2状态监控243.3.3设备控制2安全擦除和初始化2固件更新274、VMware ESXi虚拟机平台294.1软件安装294.1.1VIB安装294.1.2VIB卸载294.1.3VIB更新304.2设备初始化304.3管理与维护345、常见问题和限制35附录、Linux系统下监控工具说明371、硬件安装1.1 硬件要求 服务器、工作站或者台式机的内部机箱空间要求能满足安装标准。表1-1：参数PBlaze3L MLCPBlaze3H MLC外形半高半长全高半长 PBlaze3的工作环境为300LFM25，服务器、工作站或者台式机的PCIe插卡安装处，必须提供流畅的散热风道和风速，否则无法保证板卡处于正常的工作状态。 为了充分发挥PBlaze3产品的特性，需要服务器、工作站或者台式机的PCIe接口支持PCIe 2.0 X8，或X8以上的速度。 对于小于X8速度的PCIe接口，PBlaze3产品可以兼容使用，但是不能工作在最佳状态，不能提供最好的性能体验。1.2 安装步骤 尽量减少工作环境的可能静电，在接触产品前先放掉手上可能带的静电或者带防静电手套或防静电手环。小心打开PBlaze3产品的包装盒，取出带防静电袋的产品。小心打开防静电袋，取出产品，以产品的边缘为接触点为佳。图1-1警告：请注意防静电，避免造成器件损坏。 观察产品是否有损坏，如果有硬件损坏，请及时联系Memblaze客户支持人员。 请确保安装产品的计算机处于关闭状态，并拔掉电源线缆。打开机箱盖，找到主板上的x8或者x16接口的PCIe接口（参考主板上PCIe插槽边的标记，或者相关服务器主板说明书等资料），确保安装产品的时候有足够的操作空间。如果要安装的PCIe插槽对应后端有卡具或者螺丝的挡板，先把卡具打开或者将挡板去掉。图1-2 将PBlaze3产品插入相应的PCIe插槽，关上卡具或者安上螺丝，确保接触紧密。图1-3注意：请关上卡具或者安上螺丝，避免在设备移动过程中松动导致器件损坏。 关上机箱盖，插上电源线缆即可开机。2 、Linux操作系统2.1 软件安装PBlaze3产品支持多种Linux操作系统，支持的操作系统都有相应的可执行安装程序或者Linux RPM安装包供选择安装设备驱动程序。推荐版本如下：表3-1：操作系统系统版本编号CentOS5.8版、6.2版、6.4版、6.5版、7.0版RedHat Enterprise5.8版、6.2版、6.4版、6.5版、7.0版SUSE Linux Enterprise Server10.3版、11.2版、11.3版、11.4版Ubuntu13.10版、14.04版Debian7.4版Gentoo12.0版注：驱动程序在内核2.6.18、2.6.32上已经通过验证，Memblaze为用户提供全部驱动源代码及相关支持。2.1.1 RPM安装RPM包的命名规则为”memdisk-.rpm”，例如memdisk-pblaze3-01.05-4051RTM-2.6.18-308.el5.x86_64.rpm。安装方法：1） 把驱动rpm包上传到目标服务器，RPM包内核版本要与服务器操作系统内核版本一致；注意：内核版本不一致会导致驱动无效。2） 切换到root用户登陆；注意：只有root用户才能进行安装。3） 进入rpm包所在目录，执行以下rpm命令：# rpm -ihv memdisk-pblaze3-01.05-4082RTM-2.6.18-308.el5.x86_64.rpm执行成功后显示以下信息：Preparing #100% 1:memdisk #4） rpm命令执行完毕后，执行以下命令使驱动完成安装：# depmod# modprobe memdisk安装完成后可执行以下查询命令，会将已经安装的PBlaze3产品显示出来。# ls /dev/memdisk*5） 为保证重启设备自动加载驱动，执行以下安装命令：# memblaze_init注意：如果上述命令未执行，则开机后驱动不会自动加载，需要手动加载驱动。卸载方法：# memblaze_uninit# rpm e memdisk-pblaze3-01.05-4082RTM-2.6.18-308.el5.x86_64.rpm2.1.2 源码安装PBlaze3产品支持源代码级别的驱动程序安装，分为自动安装和用户自定义安装两种方法。用户需要首先切换到root用户才能进行安装。注意：只有root用户才能进行安装。选择自动安装操作较为简单，用户获得驱动程序的压缩包后，解压缩后即可直接安装。具体的方法如下：# tar xzvf pblaze3_01.05.4082.tar.gz# cd pblaze3_01.05.4082driverslnx# make# make install在进行自动安装的过程中，安装程序首先把驱动程序memdisk.ko以及memcon.ko复制到/lib/modules/uname r/目录中，然后在启动脚本/etc/rc.d/rc.sysinit或/etc/rc.d/boot.sysinit中写入驱动程序的启动项“/sbin/insmod /lib/modules/uname -r/memdisk.ko”和“/sbin/insmod /lib/modules/uname -r/memcon.ko”。最后，把Memblaze工具箱复制到/usr/bin目录。如果希望手动安装，那么在解压缩之后，把驱动程序文件memdisk.ko和memcon.ko复制到合适的位置，并且把Memblaze工具箱（memmonitor、memctrl和memtach）复制到/usr/bin目录。卸载方法：# cd pblaze3_01.05.4082driverslnx# make uninstall注意：对于较老的驱动版本（小于等于v01.05.3115RTM版本），需要在对应的驱动目录卸载驱动后，再冷重启，方可在最新驱动目录下成功装载新驱动，否则驱动升级可能会失败。2.1.3 设置建议设备的调度策略，建议设置为noop，方法如下：echo noop /sys/block/memdiska/queue/scheduler2.2 管理与维护2.2.1 指示灯PBlaze3设备上有红、黄、绿三个LED指示灯，可通过指示灯的亮灭来判断设备的状态。...1 启动状态指示灯1） 启动状态操作系统启动后，PBlaze3设备有一个自身的启动过程，此时红灯、绿灯为点亮状态，黄灯为熄灭状态。2） 就绪状态PBlaze3设备已经就绪，从驱动开始加载到加载成功，此时绿灯亮，红灯、黄灯为熄灭状态。3） 工作状态PBlaze3设备启动后，红、黄、绿三个灯均为熄灭状态。这时，通过memmonitor命令查看Device Status 字段，状态为Online。# memmonitor 读写指示灯1）写操作当对设备进行写操作时，黄色的灯会进行闪烁。2）读操作当对设备进行读操作时，绿色的灯会进行闪烁。3）读写混合操作当对设备同时进行读、写操作时，绿灯、黄灯都进行闪烁。读写操作时，指示灯的闪烁频率随读写速度的增加而增大，当增大到一定值时，闪烁频率固定，不再随速度增加而增大。 安全擦除、固件更新指示灯1） 安全擦除指示灯当设备进行安全擦除时，三个指示灯全部点亮。2） 固件更新指示灯当设备进行固件更新时，三个指示灯全部点亮。 指示灯点亮与熄灭为方便维护，memctrl提供了对设备上的红黄绿三个灯同时进行点亮或者熄灭的功能。点亮操作：# memctrl -b on /dev/memcona熄灭操作：# memctrl -b off /dev/memcona2.2.2 状态监控通过memmonitor命令对本地计算机的PBlaze3设备进行监控。监控项包括：产品名称、序列号、软硬件版本、寿命状态、写放大系数、系统状态等信息。用法：memmonitor -h -p -l -r -h：打印帮助信息。-p：普通模式，设备信息在终端以纯文本格式显示，方便用户将其存储到文件。如果没有-p参数，将进入交互模式，这时可以用t键切换紧凑、详细显示模式，用和PGUP,PGDN滚动查看，按Ctrl+C退出程序。-l：设备信息在终端以纯文本格式显示一次。-r：指定刷新间隔，参数值为正整数，单位为毫秒，默认值为2000（2s）。或者在终端直接输入memmonitor后回车。# memmonitor注意：memmonitor命令需要在root账户下运行memmonitor工具的主界面如下图所示。主界面分成四个区域：Basic Information、Device Information、Performance Information、Temperature Information。如果计算机上安装了多个设备，可以用和PGUP,PGDN来进行翻页。按键Ctrl+C退出监控窗口。图2-1如果用户没有在root账户下执行该命令，则会显示如下的错误提示：图2-22.2.3 设备控制PBlaze3设备在Linux操作系统中包含两个设备文件：1）数据设备文件memdiskx: 支持分区、读写等操作，类似机械硬盘的sda等的操作。2）控制设备文件memconx: 支持安全擦除、固件更新、指示灯点亮熄灭等操作。其中x为设备编号，安装多块设备时，从a开始依次排序，例如：memdiska、memcona。注意：用memconx进行安全擦除、固件更新两项操作时，必须首先卸载memdiskx，执行完安全擦除或固件更新的具体操作后，再重新挂载memdiskx。....2.3.1 安全擦除和初始化PBlaze3设备经过长时间随机写后，性能会有一定下降（前述PBlaze3产品的性能指标已是长时间随机写后的测试结果）。如有需要，用户可以运行安全擦除功能使PBlaze3设备的性能恢复到初始状态，在安全擦除的同时，还可以调整PBlaze3设备的使用容量。警告：安全擦除后存储数据将被清空，在安全擦除前请进行数据备份。安全擦除操作流程：1） 运行卸载memdiskx命令# memtach -d /dev/memcona如果不做这一步操作，在进行2）中操作时会报如下错误：Begin Disk Safe EraseError in device IOCtlCheck if /dev/memcona is mounted(Used by filesystem), beening read/ written or used by other program2） 运行Memctrl安全擦除命令# memctrl -i 1145088 /dev/memcona第一个参数-i告诉memctrl执行安全删除；第二个参数指定重新分配的设备可使用空间大小；第三个参数指定要进行操作的设备名称。注意：第二个参数为重新分配的可使用空间大小，1.2TB卡完全擦除为1145088，2.4TB卡完全擦除为2290176，以此类推。3） 运行挂载memdiskx命令# memtach -a /dev/memcona注意：memtach命令需要在root账户下运行。如果此时设备正在被其他程序所使用（例如挂载了文件系统或者Memblaze工具箱中的其他程序），memctrl会报错IOCtl Error，提醒用户不能完成操作。 固件更新固件更新操作流程：1） 运行卸载memdiskx命令# memtach -d /dev/memcona如果不做这一步操作，在进行2）中操作时会报如下错误：Begin Update FirmwareError in device IOCtlCheck if /dev/memcona is mounted(Used by filesystem), beening read/ written or used by other program2） 运行Memctrl升级固件命令memctl-u选项支持指定到firmware目录的形式，无须指定到对应版本的固件文件，工具会自动在指定的目录下查找正确的固件。例如：memctl-u/pblaze3_4082RTM/firmware/dev/memcona，同时兼容原有指定到固件包的形式： # memctrl -u firmware-file /dev/memcona参数firmware-file 为固件名称，memcona为设备名称，例如：# cd /root/pblaze3_01.05.4082/firmware/firmwareupdate# memctrl -u pblaze3_firmware.bin /dev/memcona升级成功，会出现如下提示。Begin Update FirmwareUpdate Firmwre Done. Please turn off the computer and restart it to let new firmware work.注意： 该命令需要在root账户下运行。 升级一次固件，大约需等待35分钟。 更新以后要进行关机冷启动，新固件才会生效。如果此时设备正在被其他程序所使用（例如应用程序和Memblaze工具箱中的其他程序），memctrl会报错IOCtl Error，提醒用户不能完成操作。 性能模式转换PBlaze3可根据客户对读写速度的需求，将运行模式在高速和极速之间转换。在客户需要的情况下可进行性能模式转换，设备初始状态为High speed模式，转换为Extreme speed模式之后，设备随机写性能会提高一倍以上，但可用空间会减小到设备初始状态的一半或三分之二。性能模式转换操作流程：1） 运行卸载memdiskx命令# memtach -d /dev/memcona如果不做这一步操作，在进行2）中操作时会报如下错误：Begin Disk Switch modeError in device IOCtlCheck if /dev/memcona is mounted(Used by filesystem), beening read/ written or used by other program2） 运行Memctrl进行模式转换# memctrl s mode-name /dev/memcona参数mode-name可为：High或者Extreme，memcona为设备名称，例如：# memctrl s High /dev/memcona# memctrl s Extreme /dev/memcona转换成功，会出现如下提示。Begin Disk Switch modeDisk Switch mode Done注意：l 该命令需要在root账户下运行。l High/Extreme首字母为大写，后续字母为小写。3） 运行挂载memdiskx命令# memtach -a /dev/memcona注意：memtach命令需要在root账户下运行。如果此时设备正在被其他程序所使用(例如挂载了文件系统或者Memblaze工具箱中的其他程序)，memctrl会报错IOCtl Error提醒用户不能完成操作。 绑定CPU使用/tool/pblaze_smp_affinity命令，可以将中断和驱动的内核线程绑定到单个CPU上。注意：l 会关闭系统的irq_balance功能。l 此工具为工程师模式工具，只能在tool目录下运行，shpblaze_smp_affinity。3 、Windows操作系统3.1 软件安装PBlaze3产品支持多种Windows操作系统（64bit），推荐版本如下：表4-1操作系统系统版本编号Windows 7企业版Windows server2012R2、2008R2、2003（企业版）安装步骤：1） 把驱动程序拷贝到目标服务器，双击“setup.exe”进行安装；图3-12） 根据提示一步步完成驱动程序的安装（memtoolbox将同时完成安装）；图3-2图3-3默认安装路径为：C:Program Files (x86)MemblazeMemsphere。3） 驱动程序安装完成后，可在“设备管理器”中看到安装完毕的PBlaze3设备。图3-44） 驱动安装完成后memmanager.exe已经添加在开始菜单中了，运行memmanager.exe查看设备状态为online时（在图4-6窗口底端），PBlaze3设备即可使用。图3-5图3-6注意：Windows2012 R2下，必须先安装Micro.NET Compact Framework 2.0，方可成功安装驱动。具体安装方式请参考：/Article/48/65/2012/35413.htm3.2 设备初始化进入“磁盘管理”对PBlaze3设备进行初始化（见窗口下方“磁盘1”部分）；图3-73.3 管理与维护3.3.1 指示灯设备上有红、黄、绿三个LED指示灯，可通过指示灯的亮灭来判断设备的状态。 启动状态指示灯1） 启动状态操作系统启动后，PBlaze3设备有一个自身的启动过程，此时红灯、绿灯为点亮状态，黄灯为熄灭状态。2） 就绪状态PBlaze3设备已经就绪，从驱动开始加载到加载成功，此时绿灯亮，红灯、黄灯为熄灭状态。3） 工作状态PBlaze3设备启动后，红、黄、绿三个灯均为熄灭状态。这时，通过memmanager工具查看设备状态为Online：图3- 读写指示灯1）写操作对PBlaze3设备进行写操作时，黄色指示灯进行闪烁。2）读操作对PBlaze3设备进行读操作时，绿色指示灯进行闪烁。3）读写混合操作对PBlaze3设备同时进行读、写操作时，黄、绿指示灯同时进行闪烁。读写操作时，指示灯的闪烁频率随读写速度的增加而增大，当增大到一定值时，闪烁频率固定，不再随速度增加而增大。 安全擦除、固件更新指示灯1） 安全擦除指示灯当设备进行安全擦除时，三个指示灯全部点亮。2） 固件更新指示灯当设备进行固件更新时，三个指示灯全部点亮。 指示灯点亮与熄灭memmanager工具提供了对设备上红黄绿三个指示灯同时进行点亮或者熄灭的功能，便于维护和管理PBlaze3设备。运行memmanager.exe，打开Control页签，选择“Beacon on/off”点击Next继续，提示完成点亮和熄灭指示灯操作：图3-93.3.2 状态监控运行memmanager.exe对本地计算机的PBlaze3设备进行监控。监控项包括：Information、Performance、Endurance、Ecological Data等信息。图3-10图3-113.3.3 设备控制 安全擦除和初始化PBlaze3设备经过长时间随机写后，性能会有一定下降（前述PBlaze3产品的性能指标已是长时间随机写后的测试结果）。如有需要，用户可以运行安全擦除功能使PBlaze3设备的性能恢复到初始状态，在安全擦除的同时，还可以调整PBlaze3设备的使用容量。警告：安全擦除后存储数据将被清空，在安全擦除前请进行数据备份。安全擦除操作流程：运行memmanager.exe，打开Control页签，选择“Safe erase disk”点击Next完成安全擦除：图3-12擦除后需要执行Attach or detach disk进行重新挂载，才能在磁盘管理中对PBlaze3进行管理。 固件更新固件更新过程：运行memmanager.exe，打开Control页签，选择“Update firmware”点击Next，选择要更新的固件后，点击Confirm完成更新：图3-13 图3-14注意：更新以后要进行关机冷启动，新固件才会生效。4 、VMware ESXi虚拟机平台4.1 软件安装PBlaze3产品目前仅支持ESXi 5.1和ESXi5.5版本。4.1.1 VIB安装1）把驱动vib包上传到目标服务器；2）切换到root用户登陆；3）进入vib包所在目录，执行以下安装命令， vib包需要用绝对路径：# esxcli software vib install -v /block-pblaze3--1OEM.502205.x86_64.vib -no-sig-check安装完后有安装成功提示，并提示需要进行reboot操作。注意：只有root用户才能进行安装。 vib包需要用绝对路径。 安装命令执行后，需要reboot驱动变化才会正式生效。4）执行reboot，重启成功后查看驱动版本号已经更新：# esxcli software vib list | grep pblaze3block-pblaze3 -1OEM.502205 Memblaze VMware Certified4.1.2 VIB卸载1） 切换到root用户登陆；2） 执行卸载命令# esxcli software vib remove -n block-pblaze3 卸载完成有卸载成功提示，并提示需要进行reboot操作。注意：l 只有root用户才能进行卸载。l 卸载命令执行后，需要reboot驱动变化才会正式生效。3） 执行reboot，重启成功后驱动卸载成功。4.1.3 VIB更新版本更新需要先卸载旧版本，再安装新版本驱动。4.2 设备初始化初始化PBlaze3设备即将其添加为服务器的存储器，之后创建虚拟机或新添加磁盘即可从新存储器中划分容量。初始化之前需要准备：1） 驱动已经安装成功；2） 使用vSphere Client管理ESXi主机，已经进入主机的管理界面。初始化步骤：1） 在vSphere中打开服务器的配置选项卡，选择存储适配器，查看待添加的PBlaze3闪存卡编号（如vmhba2）；图4-12） 在配置选项卡中选择存储器，点击“添加存储器”，选择磁盘/LUN，选择PBlaze3设备，设置新存储设备名字（如pblaze3）和空间大小，然后根据提示一步一步操作完成。图4-2图4-3图4-4图4-53） 完成后点击刷新按钮刷新存储器设备，PBlaze3存储设备已经添加完成。图4-64.3 管理与维护在ESXi服务器上PBlaze3设备的管理与维护，除固件升级不支持外，其余功能同linux系统中一致，请参考3.2管理和维护章节。在vSphere Client上的使用，请参见vShpere使用手册，可以查看PBlaze3存储器、存储适配器使用情况，以及对设备进行挂载、卸载操作。5 、常见问题和限制 使用Linux系统memmonitor工具和Windows系统memmanager工具均需要管理员权限。 非正常关机时，下次重新启动可造成设备启动时间变长。在此过程中，用户可能观察到设备的历史读写数量发生变化。这是正常的现象，设备需要额外进行数据恢复的工作。 Linux上采用iostat工具观察设备的使用情况时，可能会发现一些明显错误的统计信息。 这是因为iostat程序对于64位数据存在溢出的问题，并非本产品的缺陷。 Linux操作系统中，驱动编译（make&make install）需要的软件包有：gcc、g+、kernel-devel、ncurses-devel、ncurses。 固件升级和初始化时，要保证设备未被使用，否则会操作失败。 Linux上使用分区工具（fdisk/parted）对磁盘进行划分时请保持4K对齐，以确保获得更好的性能。 Linux操作系统中，若进行安全擦除后马上进行格式化，建议使用nodiscard方式（例如：mkfs.ext3 K /dev/memdiska1）进行快速格式化。若格式化前未进行安全擦除，建议使用discard方式进行普通格式化（例如：mkfs.ext3 /dev/memdiska1），以获得更好的使用性能（该方式可能会消耗数分钟的格式化时间）。 Linux操作系统中，通过在/etc/fstab文件中编辑相关信息，即可自动挂载PBlaze3设备的文件系统。 为确保闪存卡发挥最高性能和获得最高可靠性，需要在BIOS中将服务器风扇调整至最大风速。 当应用数据块不为4K时，memmonitor中的显示带宽是fio显示带宽的X倍（X=4K/blocksize），但显示的IOPS信息一致。 安装驱动后，如果进行系统升级(yum update)等操作，系统会重置rc.sysinit文件，导致驱动无法使用。此时需手动insmod，或者重新加载驱动，方可继续正常使用。附录、Linux系统下监控工具说明在Linux系统下，使用监控工具执行memmonitor显示的主要字段的含义如下：Basic InformationManufacture Name:厂家名称