ISCSI在非线性网络中的应用.doc

ISCSI在非线性网络中的应用sansky 发表于: 2005-12-20 10:06 来源: DOIT博客ISCSI技术 iSCSI(Internet SCSI)是IETF(互联网工程任务小组)制订并于2003年2月正式发布的标准协议，目的是为了用IP协议将存储设备连接在一起,通过在IP网上传送SCSI命令和数据。iSCSI可以理解成SCSI over TCP/IP，即网络上的SCSI，它实际是将SCSI命令压缩到TCP/IP包中，从而使数据块在网络上传输。iSCSI集SCSI、以太网和TCP/IP等技术于一身，具有很多的优点：1.建立在常见和稳定的标准上，很多IT工作人员对这些技术熟悉，更容易接受；2.由于TCP/IP协议附件减少了聘请专业人员的需要，所以安装和维护成本较低，使用iSCSI创建TCO更低的存储局域网络；3.由于减少了不同的网络和布线，使用常规以太网交换机而不必专用光纤通道交换机，很大程度提高了互操作性；4.传播无极限！可以在全球IP网络上进行以太网传输，实际传播距离没有限制；5.速度可以扩充到10Gbit，将可以和同步光网络速率相媲美。 因此，iSCSI 具有低廉、开放、大容量、传输速度高、安全等诸多优点，最适合需要在网络上存储和传输大量数据流的应用环境，比如广电行业的制作网和媒资系统，iSCSI设备的特点非常符合非线性编辑网络要求高带宽、存储设备需要网络化共享的要求，因而可在广电行业的中小型编辑制作网和媒资网中大力推广使用ISCSI设备，实现编辑制作网或媒资网实现低成本、高可用性、高安全、安装和后期维护简单方便优点。ISCSI存储网络的系统结构 iSCSI存储设备对外的接口类型为以太网接口，可通过以太网线直接将iSCSI存储设备连接到以太网交换机。典型的ISCSI存储网络系统结构如下所示：（图1） 在图1中，存储设备和主机都通过以太网线连接到以太网络交换机上，通过IP网络来实现SCSI协议的传输。主机与ISCSI设备之间有三种连接方式：第一种：以太网卡+软件方式。 主机端采用标准的以太网卡，安装Initiator软件，通过Initiator软件将以太网卡虚拟为ISCSI卡，实现主机和iSCSI设备之间的SCSI协议和TCP/IP协议传输功能。这种方式由于采用标准网卡，无需额外配置适配器，因此硬件成本最低。缺点是进行ISCSI包文和TCP/IP包文转换要点主机端的一部分资源。不过在低I/O要求、高带宽要求的编辑制作网环境中，编辑工作站的配置越来越高，协议转换所占用主机资源非常低，根本不会影响到正常工作。 目前国内非线性编辑软件厂商的编辑系统大多基于Windows操作系统平台，网络中的服务器和工作站可采用标准的千兆以太网卡，安装windows操作系统免费的Initiator软件。这种以网卡+软件的连接方式可大降低系统的资金投入。 由于除Windows和Linux之外，其它的操作系统没有免费的Initiator软件，需要投入资金来购买，而该软件的价格一般比较贵。因此如果编辑软件基于Windows和Linux以外的操作系统平台，采用以网卡+软件的连接方式反而变得非常的不划算。此时可采用第三种连接方式。 第二种：硬件TOE网卡实现方式。 在这种方式中，主机采用TOE(TCP/IP Offloading Engine)网卡来连接网络，TCP/IP协议栈功能由TOE卡完成，而iSCSI层的功能仍旧由主机来完成。由于TOE卡也采用TCP/IP协议，相当于一块高性能的以太网卡，所以第二种方式也可以看做是第一种连接方式的特殊情况。 第三种是iSCSI HBA卡实现方式。 使用iSCSI存储适配器来完成服务器中的iSCSI层和TCP/IP协议栈功能。这种方式使得服务器CPU无需考虑iSCSI以及网络配置，对服务器而言，iSCSI存储器适配器是一个HBA设备，与服务器采用何种操作系统无关。该方式性能最好，但是价格也最为昂贵。 后两种方式都需要在主机上安装专门的硬件板卡，而目前TOE网卡和iSCSI HBA的市场价格都比较贵。如果网络中主机数量比较多，那么网络总资金投入不见得会比FC+以太的双网结构低很多，网络的带宽和性能却相比双网结构差了很多。这不符合非线性编辑网络的设计原则。 因此，只有在基于WINDOWS操作平台的中小规模编辑制作网中，存储设备采用iSCSI设备才体现它的优势。ISCSI存储网络的管理和访问控制 基于以上分析，我们建议基于WINDOWS操作平台编辑制作网采用第一种方式来组建网络。 网络中主机和iSCSI存储都通过千兆以太网线连接以太网交换机。主机端安装Initiaor软件将以太网卡虚拟成iSCSI卡,就可以识别到iSCSI设备及iSCSI设备上卷。此时主机会将iSCSI设备当成本地存储设备，对其具有完全的权限。具有完全的权限意味着可通过Windows操作系统的磁盘管理器对iSCSI设备上的卷进行创建分区、格式化、建立文件系统等操作。由于操作系统对所连接设备有独占性，当连接到一个卷时，就会在卷的文件系统中加入自己独有的标识。当多台主机对同一个卷具有创建分区、格式化、建立文件系统等权限时，这个卷的文件系统信息就会发生混乱，引起文件系统损坏，造成卷中所有数据丢失。为了保证文件系统的安全和稳定，就需要通过特殊的软件来协调卷的管理权限，保证管理权限的统一。 目前通常采用方式是在所有主机上安装存储共享管理软件，通过存储共享管理软件来实现存储设备在多主机之间的共享访问。只有负责控制元数据信息传输的服务器，即MDC（MataDate Controller）服务器对共享卷拥有创建分区和文件系统等管理权限，其它主机只有访问权限。这种权限的管理方式与FC-SAN网络结构完全相同。WINDOWS操作系统下，在一台主机上创建分区、格式化、建立文件系统，设置VOLUME，一般采用NTFS文件系统。此时，存储共享管理软件会自动将该主机设置为该卷的MDC服务器，拥有完全管理权限，客户端主机将无法再对该卷进行格式化等操作。在MDC服务器上将卷的属性设置为共享，网络上其它主机映射MDC服务器上的共享磁盘为网络驱动器，以网络驱动器的形式，在MDC服务器的统一管理和协调下访问共享卷，对共享卷进行读写操作。 IP-SAN网络中，主机访问ISCSI设备时的访问方式如下图所示：（图2） 对MDC服务器来讲，共享卷就是本地磁盘，可直接对共享卷进行读写操作。客户端主机对共享卷进行读写访问时，会先向MDC服务器发送一个访问请求，MDC服务器返回该文件路径、block地址等MataDate信息，客户端主机依据获得MataDate信息，通过以太网交换机对共享卷直接进行读写操作。整个访问过程中，客户端主机与MDC服务器之间只小量的MataDate信息交互，数据量非常小。访问数据直接从iSCSI设备中读入，或直接写入到传输到iSCSI设备，并不流经MDC服务器。MDC服务器不会成为整个系统的网络带宽瓶颈，这正是SAN网络与NAS网络的最大区别。 这种共享的访问方式将网络化的带宽压力完全集中的存储设备的端口上，有助于完全发挥存储设备的高带宽性能。如何发挥价格昂贵的存储设备的高带宽性能是非线性网络存储部分设计的关键。对于非线性编辑网络来讲，存储设备的带宽越大，支持工作站数量就越多，系统可实现的功能也就越多，整体的性能价格比也就越高。ISCSI存储系统与FC-SAN存储系统的融合 与Fiber Channel（以下简称FC）一样，iSCSI也属于SAN大家庭中的一员，与FC-SAN具有类似的资料共享方式，两者都是在MDC服务器的管理下进行存储设备共享。FC-SAN和IP-SAN具有类似的数据传输方式，两者都采用Block协议方式来传输数据。FC-SAN和IP-SAN可采用相同的存储系统管理软件如SANergy、StorNext、ImageSAN等。基于以上的相似性，决定了IP-SAN和FC-SAN两种网络可以融合在一个网络里，如下图所示：（图3） 在图3所示的网络环境中，IP-SAN网络和FC网络共用相同的以太网交换机，共用相同的MDC服务器，共用相同的存储共享管理软件。所示主机在同一个MDC服务器的管理下自主访问网络中的FC光纤通道设备和ISCSI设备。 虽然IP-SAN网络中的数据通过以太网络传输，FC-SAN网络中的数据通过FC网络传输。但两个网络中的客户端主机对存储设备进行读写操作时，都会先通过以太网络向MDC服务器发送访问请求来获得文件路径、block地址等MataDate信息，都接受同一个MDC服务器的管理和控制。 因此，ISCSI设备不仅用于非线性编辑制作系统中的单网络结构，其技术特点也决定了ISCSI设备可用于原有双网结构的系统扩容。ISCSI和FC两种网络的融合结构可应用在以下几种非线性编辑制作网络的设计。 1、基于FC存储设备价格方面的考虑，非线性编辑制作网中FC设备只存储高质量素材文件，充分发挥FC存储的高带宽性能。大量的需要长期在线保存的低质量素材文件都可以存储在一台价格相对比较便宜的ISCSI设备上。 2、现有网络系统为双网结构，采用FC设备作为核心存储设备。由于业务量的增加或在线时间变长，FC存储设备的容量明显不足，若再购置一台FC存储设备不仅投资较大，可能还因FC交换机端口数量不足还需要增加FC交换机。此时可只增加一台价格便宜的ISCSI设备就可以实现存储容量的扩充，主机端只需要做一下简单的配置修改。不仅资金投入小，而且运行维护的量也不会增加。 3、非线性网络系统的建设需要分期完成，且初期投资比较小。初期可采用ISCSI设备作为小规模网络系统的核心存储，满足在线编辑制作的需求。后期网络规模增加，投资增加时，若ISCSI设备已不能满足总带宽要求时，可再增加FC存储设备。此时只需要增加FC存储和FC交换机，主机端已安装了存储共享管理软件，因此不需要做大的更改。UIT BS3000在非线性编辑网络中的应用 单网结构和双网结构 众所周知，前几年建设的非线性编辑制作网和媒资系统都采用FC+以太的双网结构，在双网结构中，以太网负责元数据信息的传输，FC网负责视音频大文件的传输，保障高质量视频文件的采集、在线编辑和下载。国内广电行业系统集成商在设计编辑制作网或媒资网时也都会推荐向用户FC+以太的双网结构。 为什么非线性编辑制作网络一定要选择双网结构？主要是因为网络中的编辑工作站中采用了编辑卡。编辑卡在编辑工作站中负责视音频编辑和特技的渲染。前两年,国产视音频编工作站大多采用Matrox公司的DTV卡或Pinnacle公司的Targa3000卡。考虑到硬件成本，编辑板卡上的硬件缓存一般相对较小，大约只能缓存2-8帧的画面，对应的时长相等于2/25-8/25秒。在进行节目上下载或在线编辑时，只要网络带宽出现瞬间的降低，低于编辑制作所要求的带宽时，在工作站端就会出现视频画面闪黑，使得节目的上下载和播出发生问题。这就要求网络系统必须能够长时间地提供一个恒定的高带宽。而单纯千兆以太网络根本无法保证每台工作站在任何时候都能获得一个恒定的、高带宽要求。正是基于以上原因，前几年建设的编辑制作网和媒资系统无论规模大小，都必须采用FC+以太的双网结构，FC网络和以太网络分别传输不同类型的数据，从而每工作站都能获得一个稳定的带宽。 从去年开始，随着CPU+GPU+I/O板卡技术的发展成熟，通过软件方式来实现视音频节目编辑这个长期以来的希望变成了可能。广电行业的软件厂商纷纷开发出了基于CPU+GPU+I/O板卡技术的非线性编辑制作工作站，用软件编解码来代替硬件编辑卡的功能。脱离了硬件板卡的限制，纯软件的工作站除了可以实现更编辑制作功能之外，还可以根据需要增大将系统的缓存。现在大多数非编工作站的缓存都可达到2秒。大容量缓存可以大大降低了网络流量不均衡给非编系统造成的影响，使得通过千兆以太网上进行在线的节目编辑制作和下载变成可能。 同时，随着以太网技术进行一步发展，各种性能稳定、价格便宜的RJ45接口的千兆以太交换机产品投入市场，各大厂商生产的服务器和工作站上也全部使用千兆以太网卡。纯千兆以太网络已经完全可以满足好些总带宽要求相对比小的中小型非编制作系统的节目上下载和在线编辑时的带宽需要，且网络结构简单，资金投入量少，安装调试和维护方便。以纯千兆以太网为网络架构的非线性编辑制作系统或媒资系统在国内已经有很多个成功案例。 UIT BS3000是创新科存储技术有限公司2005年推出的高性能iSCSI存储设备，利用现有IP网络成熟性和普及性的优势，提供在IP网络上应用大容量存储的解决方案。其各方面性能远远越过一般ISCSI设备，同时也是目前在广电行业网络系统应用环境中测试结果最好的一款产品。 2005年，创新科存储技术有限公司分别与国内广电行业最大的几个系统集成商合作，搭建模拟的非线性编辑制作网络环境，对UIT BS3000进行的应用环境下性能测试。所有测试的工作站上都安装非线性编软件，通过实际的非编软件环境来模拟电视台节目制作和媒资系统的应用，力求测试的结果能与实际的应用相符。经过长时间的严格测试，测试结果证实了UIT BS3000的良好性能，得到系统集成商们的认可和好评。 BS3000是创新科存储技术有限公司针对国内广电行业中小型非线性编辑制作和媒资管理系统网络的应用特点而专门设计开发的存储设备，具有高带宽、高可用性、性能稳定可靠、投资少、性价比高，安装调试和管理维护简单方便等特点。高可用性设计 为了满足广电行业系统高安全性的要求, UIT BS3000系列磁盘阵列的所有硬件部分都采用冗余的模块化的设计, 通过双控制器, 双电源模块, 双风扇等。每一个模块部分，包括硬盘都支持热插拔功能，确保任何一个模块部分发生故障时都可以自己切换，并在第一时间对故障模块进行更换和维修。 BS3000的两个控制器模采用Active-Standby的工作方式，每个控制器配备了高性能的双内核64位CPU、高速的HyperTransport I/O总线、一对64位DDR通道、 和1GB的带电池备份的高速DRAM, 并在另一个控制器中保存该DRAM数据的镜像。高级的RAID自动配置功能,包括RAID 10/50支持, 热备盘, 高级的条带算法, 自动重建, 加速重建进程, 扩展设置, 几何转换和已申请专利的介质错误预测和校正。BS3000的冗余设计消除了系统的单故障点, 而使系统的可用性达到99.999%。 BS3000硬件模块如下图所示：（图4）高带宽设计 BS3000控制器模块配备了高性能的双内核64位CPU和高速的HyperTransport I/O总线和一对64位DDR通道，在进行读写访问时，单个控制器可达到60,000 IOPS。每个控制器对外提供3个千兆以太网接口。在IO Meter软件的测试环境下，单台BS3000的3个千兆以太网接口可提供300MB/S的总带宽，在多个国内非编制作和媒资系统软件环境下，单台BS3000的3个千兆以太网接口可提供250MB/S的总带宽。 下表为存储系统总带宽为250MB/S的情况下，中小型非编制作网络带宽及工作站数量对比。考虑到存储设备带宽的20%作为冗余的设计原则，BS3000的总带宽按200MB/S来计算。 素材码率 视频轨数量 工作站总带宽 总工作站数量 25Mb/s 2 6.25MB/s 200/6.25=32 50Mb/s 4 12.5MB/s 200/12.5=16 25Mb/s 2 12.5MB/s 200/12.5=16 50Mb/s 4 25MB/s 200/25=8(表1) 从表1的数据可以看出，BS3000的带宽性能完全可满足目前电视台一般中小型规模的制作网或媒资系统的带宽要求。大容量设计 BS3000存储设备默认有14个盘位，支持250GB、300GB、400GB和500GB SATA1或SATA2磁盘。在安装400GB硬盘的情况下，单个标准的3U的机架中可提供多达5.6TB的存储容量。 当单台BS3000的容量不能满足业务需要时，可通过增加新的BS3000设备来增加总体容量，总容量随着BS3000设备数量的增加而线性增加。 BS3000系统内置的管理软件会自动识别到同一网段中的所有BS3000设备，并默认将所有的BS3000归属到同一个Group，或根据用户的需要划分到多个Group。同一个Group中BS3000可对外提供同一个虚拟的IP地址，对用户来讲，一个组就相当于一个存储设备。强大的管理软件支持容许用户按业务的要求在增加一个Group中的BS3000设备数量。强大的软件管理功能 UIT BS3000不仅能提供高性能、高带宽和大容量的存储空间，在控制器内部还固化了一套强大的管理软件系统，这也BS3000除了性能之外与其它存储设备最大的区别。BS3000内部固化的管理软件系统可实现自动负载均衡,自动快照管理, 自动复制, 卷的克隆, 卷的管理, 存储虚拟化, 多路径I/O等无需额外许可费或者基于主机的应用软件。 管理软件的WEB方面界面如下图所示：（图4） BS3000软件系统的主要功能如下： BS3000的存储管理功能 BS3000系列的磁盘阵列提供了一个基于WEB的存储管理模式，无需专用的管理工作站或服务器，同时还提供了通过SSH或Telnet的基于CLI的管理模式。还有一些标准的功能, 如邮件通知, 系统日志支持, 完全的SNMP监控等。 BS3000磁盘阵列使得管理员能将精力放在服务器与应用上, 由磁盘阵列来管理存储硬件的复杂性，如负载均衡、磁盘优化、RAID设置、内存和网络端口分配等。BS3000的管理软件简化了存储的管理与配置，用户使用一般的IP网专业知识在20分钟内就可以完成对整个存储系统的安装和设置。 创建卷时，完成初始的配置信息设置后，系统将自动开始初始化进程。一般存储设备的初始化进程往往需要2个小时以上的时间，个别设备会需要10个小时以上的时间才能完成初始化进程。而BS3000设备完成初始化只需要的1个小时左右的时间，且在初始化进程中，主机端就可以识别配置的卷，管理员就可以在MDC服务器对该卷进行存储共享管理软件的设置、对共享卷进行创建文件系统、格式化等操作，并完成整个存储共享网络所有主机的设置，并可以对卷进行连通性的读写测试。而一般存储只有在初始化进程完全完成之后才能进行创建文件系统和格式化等操作。 也许BS3000的这种特性对于新建立的存储网络并没有多大的实际意思，但对于一些重要的业务网络来说，对如播出系统，一旦核心存储设备发生故障，就可以在几分钟内完成备用设备的配置和调试，在初始化进程中就可以将故障设备替换下来，以应付正常的节目播出。BS3000完全有能力负担重要系统的应急备份功能。具有无缝升级功能的自动存储管理 BS3000智能化的管理软件系统使网管人员可以在不影响数据可用性的情况下快速和简易地扩展存储容量。 从单个的磁盘阵列BS3000开始，存储容量、性能和网络带宽的需求增加时，通过增加网格存储的单元（即另一台或多台BS3000设备）就可以实现自动的、近似线性地增加存储的容量、性能和网络带宽。当新的BS3000加入网络，管理软件就自动识别该设备，并将新设备归属到同一个Group中，通过一个虚拟的IP地址进行访问。网管人员即可将新增加