基于对象存储的证券公司影像系统电子化改造方案

1、 基于对象存储的证券公司影像系统电子化改造方案 目 录 TOC o 1-3 h z u HYPERLINK l _Toc65177540 1. 证券公司影像电子化需求分析 PAGEREF _Toc65177540 h 3 HYPERLINK l _Toc65177541 2. 证券影像系统电子化改造方案 PAGEREF _Toc65177541 h 4 HYPERLINK l _Toc65177542 3. 影像电子化改造系统存储选择 PAGEREF _Toc65177542 h 6 HYPERLINK l _Toc65177543 3.1. 影像电子化的数据储存 PAGEREF _Toc65

2、177543 h 6 HYPERLINK l _Toc65177544 3.2. 影像文件常用的存储类型 PAGEREF _Toc65177544 h 7 HYPERLINK l _Toc65177545 3.3.EMC 的对象存储系统 EMC ECS 系列 PAGEREF _Toc65177545 h 8 HYPERLINK l _Toc65177546 4. 影像系统在 EMC ECS U400 测试情况 PAGEREF _Toc65177546 h 14 HYPERLINK l _Toc65177547 4.1. EMC ECS 测试内容 PAGEREF _Toc65177547 h 1

3、4 HYPERLINK l _Toc65177548 n 基本功能测试 PAGEREF _Toc65177548 h 14 HYPERLINK l _Toc65177549 n 可靠性测试 PAGEREF _Toc65177549 h 15 HYPERLINK l _Toc65177550 n 安全性测试 PAGEREF _Toc65177550 h 15 HYPERLINK l _Toc65177551 n 性能测试 PAGEREF _Toc65177551 h 15 HYPERLINK l _Toc65177552 4.2. 可靠性测试 PAGEREF _Toc65177552 h 15

4、HYPERLINK l _Toc65177553 4.2.1 ECS 内部万兆交换机故障 PAGEREF _Toc65177553 h 15 HYPERLINK l _Toc65177554 4.2.2. 节点硬盘故障 PAGEREF _Toc65177554 h 17 HYPERLINK l _Toc65177555 4.2.3. 节点整体故障 PAGEREF _Toc65177555 h 19 HYPERLINK l _Toc65177556 4.3. 安全性测试 PAGEREF _Toc65177556 h 20 HYPERLINK l _Toc65177557 4.3.1. 测试方法

5、PAGEREF _Toc65177557 h 20 HYPERLINK l _Toc65177558 4.3.2. 测试步骤 PAGEREF _Toc65177558 h 21 HYPERLINK l _Toc65177559 4.3.3 测试结论 PAGEREF _Toc65177559 h 22 HYPERLINK l _Toc65177560 4.4. 性能测试 PAGEREF _Toc65177560 h 22 HYPERLINK l _Toc65177561 4.4.1. 测试方法 PAGEREF _Toc65177561 h 22 HYPERLINK l _Toc65177562

6、4.4.2. 测试步骤 PAGEREF _Toc65177562 h 22 HYPERLINK l _Toc65177563 4.4.3 测试 结论 PAGEREF _Toc65177563 h 23 HYPERLINK l _Toc65177564 4.5. 整体测试结果 PAGEREF _Toc65177564 h 23 HYPERLINK l _Toc65177565 5. 影像系统电子化改造效果 PAGEREF _Toc65177565 h 24 HYPERLINK l _Toc65177566 6. 总结 PAGEREF _Toc65177566 h 251. 证券公司影像电子化需求

7、分析在日常业务中，证券、期货公司每天会产生大量的影像资料，包括资金开户、身份证明、证券股东账户卡、业务合同（协议）、现金支票、转账支票、会计传票等，对于这些影像资料，如何进行分类、保存、归档和进行高效的查询，一直是一件棘手的事情。长期以来，多数公司对上述影像资料的管理停留在“人工分散处理 + 纸质库房保存 + 人工查询”的阶段。如何有效管理这些信息资料，提高信息的使用效率，建设“集中、统一、规范、高效”的影像资料电子化处理中心已经成为许多公司的一个重要课题。影像资料电子化是指以先进的影像管理技术为基础，配合相关的系统硬件，将纸面的资料转换成电子影像文件，并实现自动建立索引、查询、查阅和存储等功

8、能的一整套技术方案。通过实现影像资料管理电子化，一方面可以提高管理效率、降低管理成本，日常维护和管理仅需要较少的几个人员即可满足需要；另一方面还可以提高信息利用率。无论是远程、异地查询，还是多人信息共享，都可以从容实现，最大程度的实现信息资源的价值。1 ）登记公司检查完电子凭证后，会下发缺、漏、错的开户回报的列表，要求券商重新提交，以保证资料的完整性。登记公司对开户回报业务相关的纸质凭证的电子化管理要求使影像的管理成为一种必须。2 ）很多券商也开始加强资金账户的管理，对资金账户开户、变更等相关业务进行电子化影像管理，提高了对客户资金账户的监管力度，进一步完善客户资料的管理。3 ）实名制的开户逐

9、渐使券商认识到拍摄开户人像的必要性，身份证件时限很长，投资者的长像可能与身份证件上的人像已不相似。开户人像的拍摄合实名制落实的更彻底，减小不必要的法律纠纷。随着券商业务电子化程度的不断提升，证券行业对轻型营业部、虚拟云平台等概念已经熟知，并在其应用方面不断探索。另外，随着证券行业竞争不断加剧，券商和客户之间的协议类型随着增多，协议条款的变化也日趋频繁。在上述环境下，纸质协议将逐渐不能满足证券行业的需求，面临淘汰，主要原因如下：1） 资源浪费：纸质协议签署需一式多联，印刷成本高，为降低印刷成本，需要大量印制。使用纸质协议时，即使协议文字发生微小变化，也需要重新印制，已印刷但未签署的协议即作废，造

10、成资源浪费；使用纸质协议也不符合环保要求。2） 成本高：为保存纸质协议，需要租赁库房并保持适宜的环境，已签署的纸质协议更是要长期保存，仓储成本高；协议印制后需要被分发到各营业部，运输成本高。3） 适应性差：随着证券行业业务创新的不断增多，各券商甚至券商的不同营业部都可能需要印制大量不同版本的纸质协议，而当创新业务还不成熟时，协议内容可能会经常修改，因此纸质协议不适用于创新业务。随着券商业及互联网不断提升及，客户开户量不断提升，为了更合理的利用现有人力资源，以提高工作效率，确保网上开户客户信息的真实性、有效性，客户必须经网上视频见证通过后才能取得相应的数字证书。2. 证券影像系统电子化改造方案柜

11、面业务办理，影像系统、无纸化系统和视频系统包含如下文件：文件内容文件类型文件大小（估算）客户人像JPEG图像约15KB客户身份证TIFF图像约150KB（灰度）协议原始文件PDF文件每页约80KB，按平均2页计算，为160KB；可选择不存储协议原始文件SWF文件约80KB，可选择不存储协议最终文件PDF文件约450KB协议最终文件SWF文件约300KB协议图像文件TIFF图像每页TIF文件约80KB，按平均两页计算，为160KB； 建议由无纸化生成的协议文件不存储签字录像文件AVI视频15秒320*240视频约900KB；见证录像文件MP4视频15秒320240视频约260KB； 40分钟32

12、0240视频约42MB非现场业务办理，影像系统、视频系统需要存储如下文件：文件内容文件类型文件大小（估算）客户人像JPEG图像约15KB客户身份证TIFF图像约450KB（彩色）见证录像文件MP4视频15秒320240视频约260KB； 40分钟320240视频约42MB；影像系统电子化系统架构图：3. 影像电子化改造系统存储选择3.1. 影像电子化的数据储存券商的影像系统大部分使用的是新意客户影像资料管理系统（ E-CIMC ），新意客户影像资料管理系统对影像文件的管理采用数据库（影像信息） + 文件服务器（影像文件存储）方式。数据库采用的 Oracle 数据库，数据存放在磁盘阵列，映像文件

13、的存放路径信息也保存在数据库中。文件服务器用于存放影像文件，券商影像文件的存储早期主要有基于网络的 NAS 存储和基于 FC 的 SAN 存储，挂载在 Widnows 操作系统下，通过 NTFS 方式进行存放访问，文件存储路径不超过 10 层。影像电子化系统中数据存储存储3.2. 影像文件常用的存储类型基于 FC 的 SAN 存储和基于网络的 NAS 存储都属于块存储。块存储可以看作为是裸盘，最明显的特征是不能被操作系统直接访问。可以通过划分逻辑卷、做 RAID 、 LVM （逻辑卷）等方式将它格式化，可以格式化为你所指定的文件系统（ Ext3 ， Ext4 ， NTFS ， FAT32 等）

14、，然后才可以被操作系统访问。常见的 DAS 、 FC-SAN 、 IP-SAN 都是块存储。块存储优点是读写速度快（带宽和 IOPS ），缺点是太过于底层，不利于扩展，不能被共享。对象存储，相对来说是比较新的一种存储。有一种说法是这样的，对象存储一定是分布式存储，因为分布式文件存储可能是分布式存储，而未必是对象存储。常见的对象存储的开源实现有 Ceph 的 RADOS 、 Openstack 的 swift 、 AWS s3 等；常见分布式文件系统有 lustre 、 glusterfs 、 HDFS 等。表面区别：对象存储支持的访问接口基本是 restful 接口，而分布式文件存储提供的是

15、POSIX 兼容的文件操作接口；本质区别：分布式文件存储文件组织方式为目录树，对象存储采用的是扁平的组织方式；对象存储不支持随机读取和写入， put 和 get 都是针对整个文件。对象存储结构：核心是将数据通路（数据读或写）和控制通路（元数据）分离，并且基于对象存储设备（ Object-based Storage Device ， OSD ）构建存储系统，每个对象存储设备具有一定的智能，能够自动管理其上的数据分布。总体上来讲，对象存储同兼具 SAN 高速直接访问磁盘特点及 NAS 的分布式共享特点。券商的影像这类非结构化数据，其特点是单个文件字节小（只有几 KB ）、文件数巨大（几千万到上亿个

16、文件），每年增长量大，传统的 SAN 和 NAS 存储架构已不能很好应对这类数据的访问性能和成本控制需求。而基于其扁平化、拓展性强的结构特点，对象存储成为非结构化数据存储的最佳解决方案。通过对象存储替代传统的 SAN 和 NAS 存储，极大提升了非结构化数据访问和存储的效率。对象存储具有分布式存储的所有优点，灵活的拓展性，元数据的管理；通过其版本管理的强大功能，对象存储有效地规避了人为操作的逻辑错误。在性能方面， SAN 存储在处理结构化数据有着不可代替的地位；小容量非结构化数据共享正是 NAS 存储发挥作用的场景；对于海量非结构化数据，对象存储的性能优势不可比拟。此外，对象存储成本较 SAN

17、 和 NAS 有很大优势，应对海量文件，采用对象存储替代传统集中式存储能节省不小的存储成本，避免了资源浪费。目前，人们需求的数据越来越多，而其中绝大部分都是非结构化数据。在未来几年，非结构化更会呈现指数型增长，对象存储的需求和市场会越来越大，互联网和传统行业都离不开对象存储的发展。3.3.EMC 的对象存储系统 EMC ECS 系列ECS 是 Dell EMC 旗下专为要求大量非结构化数据存储容量、全局访问和云规模经济的下一代存储产品。 Gartner 最近发布了其 2019 年分布式文件系统和 Object Stora ge 魔力象限， DEll EMC 处于领导者地位。作为 Dell EM

18、C 的旗舰对象存储产品， ECS 专为需要大量非结构化数据存储容量，全球访问和云规模经济的下一代应用程序而设计。除了对象协议， ECS 还支持文件和 Hadoop （ HDFS ）协议，使用户能够将来自多个源的数据整合到一个单一的集中存储平台中。新发布的 ECS EX 系列提供了巨大的灵活性，从较小的容量增量开始，到随着需求变化而不断爆发式增长的容量需求。EMC Elastic Cloud Storage (ECS ) 是一种软件定义的云规模对象存储平台，它兼具商用基础架构的成本优势以及传统阵列的可靠性、可用性和可维护性。借助 ECS ，任何组织均可提供可扩展的简单公共云服务，同时拥有私有云基

19、础架构的可靠性和控制力。ECS 在单一的云规模存储平台上为非结构化（对象和文件）工作负载提供全面的协议支持。借助 ECS ，可在单个全局命名空间下轻松管理全局分布式存储基础架构，并能随时随地访问内容。 ECS 拥有灵活的软件定义的体系结构，该体系结构进行了分层，以促进实现无限的可扩展性。每层均可完全抽象、独立扩展、并具有高可用性且没有单点故障。现在，任何组织都可以在自己的数据中心内实现真正的云规模经济性。ECS 利用分布式技术和原生对象存储的设计理念，帮助证券公司较好的满足对于影像文件的访问存储需求。对于未来非结构化数据长期存储、价值利用和挖掘提供有效保障。 一方面，利用 ECS 对象存储的扩

20、展性建立新的存储资源池，降低了初期成本投入和 TCO （ Total Cost of Ownership ），并且解决了传统磁带库性能低下、可靠性不足等问题，为数据全生命周期管理、人工智能等技术在后续业务发展中的实际应用打下了良好的基础。 另一方面，基于 ECS 对象存储提供的 REST 的接口以及哈希计算等方式，大大提高了图片、视频等非结构化数据的检索与访问性能，使得业务办理效率进一步提升，为信息技术对业务的赋能开创了新的天地。在 ECS 对象存储所搭建的面向多数据源的数据湖建成之后，如何实现数据湖与原有存储与之间的互通就是下一个需要解决的问题。换句话说，有了湖、还需要有可以将水（数据）源源

21、不断引入湖里的河流。诸如移动、云计算、大数据和社交等颠覆性技术趋势正在重新定义我们工作和生活的方式，并正在使应用程序的格局发生革命性变化。在客户接受了公共云技术的同时，他们正在继续寻找更有效的体系结构以管理当今超大规模的增长。 EMC ECS 通过采用 EMC ViPR 技术，可以提供完整的超大规模存储基础架构，满足第三平台用户和应用程序的要求。采用 ViPR 技术的 ECS:采用 ViPR 的 EMC ECS 应用装置 是一个完整的超大规模基础架构，为第三平台应用程序提供全面的数据存储。 它在一个平台上为对象和 HDFS 提供通用访问以及数据块协议。 ECS 应用装置 利用 ViPR EMC

22、 的软件定义的平台，可以抽象化、池化和自动化数据中心的底层物理存储基础架构。ECS 应用装置 专为满足移动、云、大数据和社交网络应用程序需求而设计。 它可提供：l 低于公共云的成本l 满足广泛的应用程序需求的全面类型l 无与伦比的存储效率和数据访问组合l 具有强大一致性的任意位置读取 / 写入权限简化了应用程序开发l 无单点故障提高了可用性和性能l 通用可访问性消除了存储孤岛和效率低下的 ETL/ 数据移动流程ViPR 平台l ViPR 控制器 一种自动执行调配任务的 vApp 。 它支持您为一个或多个物理数据中心设置一个存储控制点。l ViPR 服务包括： 对象服务 支持您以对象形式存储、访

23、问和控制非结构化数据，例如映像、视频、音频和在线文档。 您可以使用 Amazon S3 、 Atmos 或 Swift API 来开发应用程序。 HDFS 支持您使用行业知名的 Hadoop 分发软件对存储在应用装置中的数据运行分析。 数据块服务 支持数据块级存储。l 商用平台 使用商用组件构建 ECS 应用装置，以确保经济高效的存储。 基于商用系统的节点管理一组商用磁盘。 在每个节点上安装了名为 ViPR 数据连接结构的软件组件。 它提供本地元素管理器服务并用作分布式群集管理器。硬件规格：ECS 应用装置主要硬件规格l 节点体系结构 Intel x86 服务器 JBOD 直连存储 每服务器最

24、多 60 个磁盘驱动器l 10 GbE 节点网络连接 机架内： 10 GbE HA 网络连接 通过 10 GbE 上行链路到客户网络：最高 80 Gb/sl EMC 40U 机架式解决方案 4 节点和 8 节点配置 高可用电源l 多种存储配置 每机架最多 2880 TB 的非结构化存储 混合工作负载存储 每机架最多 1440 TB 的非结构化存储，外加 120 TB 的结构化存储配置：ECS 应用装置 根据工作负载和存储需求提供多种硬件配置。 ECS 应用装置 支持以下工作负载：l 对象 /HDFS ，对应 U300 、 U1500 、 U3000 型号l 混合（对象 /HDFS 和数据块），

25、对应 M500 、 M1600 型号对象和 HDFS 配置配置节点数量节点与驱动器比例驱动器数量容量U30041:1560360 TBU150041:602401440 TBU300081:604802880 TB软件组件：ECS 应用装置包括四个或更多基于商用系统的节点，其中包括内部磁盘驱动器、 CPU 、内存和网络接口。 节点连接一组磁盘驱动器并进行管理。 EMC 在工厂中安装基于 Linux 的操作系统。 当在数据中心内部署时， ViPR 软件安装在应用装置上。数据连接结构中的每个节点由下图中显示的组件组成。软件层软件层描述基础架构包括操作系统、网络基础架构和任何诊断工具。EMC安装该层

26、，然后才发运到数据中心。数据连接结构用作构成分布式群集管理器的本地元素管理器。 群集是一个从单个站点中的一个机架部署到多个机架的数据连接结构。 数据连接结构负责以下事项： 群集运行状况 数据连接结构汇总特定于节点的硬件故障，并报告群集的整体运行状况。 节点运行状况 数据连接结构监控节点的物理状态并检测和报告故障。 磁盘运行状况 数据连接结构监控磁盘和文件系统的运行状况。它为 ViPR 存储引擎提供了原始、快速、免锁定的读取/写入操作。 它提供有关各个磁盘驱动器及其状态的信息。 软件管理 数据连接结构具有安装和运行服务以及在群集中的节点上安装和升级连接结构软件的工具。ViPR 服务提供数据访问和

27、保护。 在数据连接结构安装期间，为节点分配了存储类型（可以是对象或数据块）。 通过 ScaleIO 软件解决方案实施数据块支持。参考： EMC 技术白皮书 EMC ECS Appliance Specification Sheet EMC ECS Appliance Data Sheet 4. 影像系统在 EMC ECS U400 测试情况为确保 EMC ECS 存储满足影像电子化项目对存储的可靠性、安全性、性能的要求，厂商提供了一台 EMC ECS U400 存储进行实地测试。4.1. EMC ECS 测试内容测试内容如下 :n 基本功能测试u 账户管理测试u 基本对象服务测试 基本对象服务

28、测试 对象周期管理测试 对象法规遵从测试n 可靠性测试u 节点故障 硬盘故障 网卡故障 ECS 内部万兆交换机故障 磁盘柜故障 节点整体故障n 安全性测试u bucket 访问控制n 性能测试下面就可靠性、安全性和性能测试情况做简单一下介绍。4.2. 可靠性测试4.2.1 ECS 内部万兆交换机故障ECS 内部两台万兆交换机采用 MLAG 方式连接。4.2.1.1. 测试方法人为关闭其中一台万兆交换机电源，同时 ping 所有节点的 ip 进行测试。用 cosbench 连接 ECS 进行持续 50% 读和 50% 写压力。4.2.1.2. 测试步骤1 ）使用一台能够连通 EMC ECS 节点

29、的电脑， ping 测试 EMC ECS 所有节点的 public IP ；2 ）关闭其中一台万兆交换机的电源；3 ） Ping 测试无中断出现； cosbench 无中断。4 ）恢复交换机电源连接， ping 同样正常。5 ）断开另外一台，出现 1 个 timeout 。 cosbench 无中断。4.2.1.3. 测试结果测试条目测试结果状态备注说明可靠性测试 （ECS内部万兆交换机测试）通过4.2.2. 节点硬盘故障模拟硬盘故障，观察磁盘中数据是否会被损坏，并确保该对象依然能够被访问。4.2.2.1. 测试方法通过手工认为抽出 disk ，然后检查该 disk 上的数据自动在其他 dis

30、k 上生成。4.2.2.2. 测试步骤1）使用 cosbench 进行数据的上传和下载；2 ）选择一块已经存储了对象数据的磁盘；3 ）将该磁盘从磁盘柜中拔出，模拟磁盘故障；4 ）继续进行 cosbench 的读写操作，无失败；5 ）再同时拔出 3 块盘，等待 5 分分钟后，依旧无读写失败；6 ） EMC ECS 事件日志中将会出现该 disk 故障的信息；7) 磁盘插入后，磁盘自动可用。可替代磁盘的更换测试。4.2.2.3. 测试结果测试条目测试结果状态备注说明可靠性测试 （节点硬盘故障）通过在测试时间段中使用cosbench进行读操作，cosbench会将对应桶中数据轮询多遍，读操作成功率全

31、为100%。4.2.3. 节点整体故障节点故障：直接将节点断电， ECS 正常使用。4.2.3.1. 测试方法通过手工拨出 EMC ECS 节点上的所有网络接口， S3 browser 能够继续使用 EMC ECS 。4.2.3.2. 测试步骤1 ）使用 cosbench 访问 node1 的 ip 对 bucket 进行数据的读写；2 ）拔出 node4 的所有网络接口；3 ） Hardware health 信息中可以看到 RACK 只有 3 个节点，出现一个 offline 的节点；4 ）数据传输不会出现中断；5 ） ECS Event 日志中出现该节点故障信息。对性能和业务的影响为 业

32、务中断时间为 1min （ ops 为 0 ）、 20s （ ops50 ）、 1min30s （ 70% 性能）、节点恢复过程中 1min 性能有剧烈波动。4.2.3.3. 测试结果测试条目测试结果状态备注说明可靠性测试 （节点整体测试）通过4.3. 安全性测试4.3.1. 测试方法安全性测试包括两方面的内容： 1 ）桶中对象的访问控制； 2 ）外网使用的网关控制。Bucket 访问控制在 EMC ECS 中能够对桶进行不同权限设置。从而达到对桶中的对象进行访问控制。本次测试将会选择一个或者两个属性进行测试。对桶进行访问控制设置，所有权限开放，开放只读模式权限。测试工具 S3 browser

33、 及浏览器 ( 浏览器要求同上 ) 。4.3.2. 测试步骤1 ） 使用浏览器登录 EMC ECS ，在 managebucket 中选择已经创建的桶名称；2 ）点击最右边下拉框中，选择 “edit ACL” ，检查该桶的访问属性；默认属性可读写且完全控制：3 ）使用 S3 Browser 对该桶进行读写测试成功；4 ）重复第二步骤，将访问控制权限修改为 read ，表明该桶只能够被读取；5 ）重复第三操作，该桶只能够读取数据。4.3.3 测试结论测试条目测试结果状态备注说明安全性测试通过无4.4. 性能测试4.4.1. 测试方法性能测试采用开源软件 cosbench （版本 0.4.2.c4

34、 ）使用 1 台 ESXi 服务器，建立 4 虚拟机，安装 RHEL7 进行部署测试，其中 1 虚拟机为 controller 和 driver ，另外 3 虚拟机仅仅用作 driver ， RHEL 安装 jre8 运行环境4.4.2. 测试步骤1) 每次通过编辑不同的 xml 配置文件进行以上表格不同的场景测试2) 运行一定时间，各项性能指标稳定后截图记录数据结果3) 评估每次测试时瓶颈所在4) 完成各种需要的不同大小文件的写入测试后，进行相应的读取测试测试 场景和数据 ：测试序号文件大小操作类型并发数文件数容器数吞吐量（op/s）响应时间（ms）带宽（MB/S）12MB写20020002553.63362.18110722MB读20020002564.03353.971128.09634KB写200200022029.9898.677.944KB读200200029973.4