金融业的存储发展与现状.ppt

金融业的存储发展与现状,张红 上海金融学院国际金融研究院 ,2,内容概要,一、存储技术的发展 二、存储技术在金融业中的应用 三、我国金融业的存储发展及现状,3,一、存储技术的发展,20世纪80年代中期：萌芽阶段 20世纪80年代末90年代初：稳定期 20世纪90年代后期至21世纪初期：快速发展期 现状：成熟的转型期,4,萌芽阶段,1984年底，Compaq公司开始开发IDE(ATA-1)接口，并被同行采纳，逐渐成为桌面硬盘事实标准 1985年，IBM公司基于80286的PCAT $4000：内存256KB，软盘驱动器720KB $2000：硬盘20M 原因：DOS3.2对硬盘的支持还不完善，需另装一个专门的软件来控制硬盘 1987年，DOS3.3推出，使得PC可以直接使用硬盘，同时支持1.44MB高密度软盘 1989年3月，E-IDE(ATA-2)标准确立，可支持超过528MB的硬盘容量，并达到16.7MB/s传输速度,5,快速发展期,1997年，奔腾公司牵头推出速度达33MB/s的新型IDE技术，即UltraDMA/33(ATA-4)标准。随后不久，这一技术又演化出了一系列的UltraDMA/66、UltraATA/100甚至UltraATA/133技术 133MHz的PCI总线频率使并行ATA的速度提升遭遇瓶颈 2002年，Intel等公司推出串行ATA技术，即S-ATA标准 ，可以为IDE磁盘提供150MB/s的带宽 近期又推出S-ATAII标准，支持带宽达到300MB/s+。是20年前IDE性能的20倍,6,SCSI技术,1986年，美国国家标准局正式通过SCSI技术标准 SCSI技术从10MB/s、20MB/s、40MB/s一路发展到了Ultra320技术的320MB/s，其速度提升同样也遭遇了总线频率瓶颈 2008年，新一代串行SCSI即SAS产品上市 第一代SAS提供300MB/s的带宽 其后的SAS二代将支持600MB/s的带宽（是20年前SCSI性能的60倍）,7,存储系统结构和应用模式的发展,1988年， RAID（磁盘条带集）概念提出 美国加州大学伯克利分校的David Patterson等三个研究者最早提出RAID，历史性的改变了磁盘存储在主机系统中的使用模式，使应用系统对存储空间容量和性能的要求第一次脱离了实际物理磁盘的限制 1994年，用于存储系统的光纤通道技术诞生 它在空前的提升了存储设备通道性能的同时，也使存储系统连接方式更为丰富,8,20世纪90年代中后期，光纤通道技术催生了SAN 即所谓存储区域网络，使存储系统正式脱离主机和运算系统，标志着存储技术形成一个独立的技术领域 1998年，国际存储工业协会(SNIA)成立 协会成立之初就开始着手制订一系列的技术及协议标准，清晰的界定了存储行业应该涉及的领域以及与相关行业的交互界面。 更加明确了存储技术的独立性,SAN概念及SNIA的成立,9,SAN和NAS,SAN是计算机信息处理技术中的一种架构，它将服务器和远程的计算机存储设备（如磁盘阵列、磁带库）连接起来，使得这些存储设备看起来就像是本地一样 SAN采用光纤通道(FibreChannel)技术，通过光纤通道交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。SAN经过十多年历史的发展，已经相当成熟，成为业界的事实标准。SAN存储采用的带宽从100MB/s、200MB/s，发展到目前的1Gbps、2Gbps 和SAN相反，NAS使用基于文件（file-based）的协议，如NFS、SMB/CIFS等，在这里仍然是远程存储，但计算机请求的是抽象文件中的一部分，而不是一个磁盘块,10,SAN,SAN集中体现了功能分拆的思想，提高了系统的灵活性和数据的安全性 SAN以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有较高传输速率的光通道连接方式，提供SAN内部任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内 在多种光通道传输协议逐渐走向标准化并且跨平台群集文件系统投入使用后，SAN最终将实现在多种操作系统下，最大限度的数据共享和数据优化管理，以及系统的无缝扩充,11,SAN和NAS,存储行业成功的独立以及SAN概念的成功，使一批原本默默无闻的公司迅速成长 2000年元旦，美国Nasdaq股票交易市场新世纪开市的钟声，由EMC公司（存储行业的领头羊）前任CEO，现任董事长Michael Ruettgers敲响 NAS，即所谓网络附属存储 1999年至2000年间，在NetApp、Auspex等公司的推动下，NAS的受认可程度达到了顶峰 SAN与NAS并非对立技术。2001年SNIA建立了共享存储协议标准框架，此后SAN与NAS争论对比之声渐弱，取而代之的是一片融合之声。,12,成熟的转型期,一系列新名词、新概念： 虚拟存储、SRM（存储资源管理）、CIMOM（公共信息模型对象管理器）、ILM（ 信息生命周期管理）、内容寻址等 新的技术和应用模式层出不穷 各公司间的并购和各产品技术间的整合也荡涤着全球存储领域,13,二、存储技术在金融业中的应用,14,数据库是现代银行IT基础设施的神经枢纽 电子信息化系统的安全稳定运行已成为金融机构在市场竞争中的生存基础,其抵抗风险的能力将成为衡量银行竞争力的重要因素之一。 快速增长的金融行业不光面临着市场变化快、产品更新快、营销策略变化快、业务运作变化快等挑战，还面临着信息安全存储和及时访问、信息的集中化存储信息存储整合、信息和数据的安全有效的备份、及时的恢复、信息和数据的归档等技术应用层面的难题。,15,狭义的存储管理,内存管理 内存的分配和去配 地址重定位 保护：防止地址越界、操作越权 共享：节省内存、相互通讯 虚拟存储器 有限的内存空间 大容量的外存,16,广义的存储管理,存储设备的管理 存储系统的管理员通过存储设备管理的工具可以实现对整个存储环境的可视化，并集中地识别、监控和管理所有存储资源，而无须考虑设备类型、厂商品牌、操作系统或网络结构。 存储容量的管理 有效的资源利用要求满足不断变化的容量要求。通过相关工具有效利用资源，监控存储空间并在可能影响业务运行之前识别潜在的存储容量不足。,17,存储性能的管理 存储管理软件具备评价、监控和管理存储系统的性能，帮助管理员确保最佳的性能和数据的可访问性。 存储使用情况的测算和计费 要通过提供存储服务获取利润，IT部门需要利用一种途径来了解与之相关的成本。企业需要一种用来测算存储使用情况的工具以帮助识别过分使用和未充分使用的服务，从而对整个存储成本进行财务分析和决算。存储管理工具也支持自动计费，并将这些成本传递到相应部门,18,虚拟的访问控制和存储分配 当企业数据大量地增长时，对关键数据的集成至关重要 管理员应负责保护数据免受未授权用户访问，并确保已授权的用户可以使用这些数据。而且，他们还需要一种方式，在不中断现有服务的情况下分配新的存储空间来满足客户对容量的要求。集中的访问控制可以保证只有授权的主机才可以访问分配的存储，确保数据完整，避免数据丢失。,19,三种主要存储虚拟化方法（一）,基于主机的虚拟存储 依赖于代理或管理软件，安装在一个或多个主机上，实现存储虚拟化的控制和管理。 优点：不需要任何附加硬件，最容易实现，设备成本最低，目前已经有成熟的软件产品。这些软件可以提供便于使用的图形接口，方便地用于SAN的管理和虚拟化，在主机和小型SAN结构中有着良好的负载平衡机制。 缺点：可扩充性较差，灵活性也比较差，有可能影响到系统的稳定性和安全性,20,三种主要存储虚拟化方法（二）,基于存储设备的虚拟存储 依赖于提供相关功能的存储模块 优点：较容易实现，容易和某特定存储供应商的设备相协调，更容易管理，对用户或管理人员都是透明的 缺点：对于包含多厂商存储设备的SAN存储系统，这种方法的运行效果并不是很好 依赖于存储供应商的功能模块将会在系统中排斥JBODS（简单的硬盘组）和简单存储设备的使用，因为这些设备并没有提供存储虚拟化的功能。 这种方法意味着最终将锁定某一家单独的存储供应商。,21,三种主要存储虚拟化方法（三）,基于网络的虚拟存储 基于互联设备的虚拟化 对称、不对称方式：控制信息和数据走在同一、不同通道上，非对称式比对称式更具有可扩展性 易使用、设备便宜，能够在专用服务器上运行，使用标准操作系统，但需要一个运行在主机上的代理软件或基于主机的适配器，存在异构操作系统间的互操作性问题 基于路由器的虚拟化 在路由器固件上实现存储虚拟化功能。路由器被放置于每个主机到存储网络的数据通道中，用来截取网络中任何一个从主机到存储系统的命令。 性能好、效果佳，比基于主机或基于设备的方法有更好的安全性，不存在异构操作系统间的互操作性问题,22,23,金融网络系统数据发展特点,数据重要性提高：部分应用系统平台下移；统计、报表、分析数据多数在网络上实现；经营对计算机数据的依赖增加。 网络数据大大增加：分布式数据的实现；跨平台数据共享；衍生数据大大增加；硬件价格下降。 时间窗口日趋瓶颈：新业务不断出现；作业时间增加，用于数据管理的时间减少；自动后台作业的需求增加。 网络数据管理繁锁：多平台混杂；物理位置的分散；多种备份策略并存；存储设备多样。,24,数据存储管理解决的主要问题,数据管理难以制度化，数据丢失现象难以避免 数据分散在不同的机器、不同的应用上，安全性得不到保障 运行着的系统使维护人员寸步难离 业务人员工作效率下降 存储媒体管理困难 历史数据保留困难 数据管理的特殊要求,25,金融业数据存储管理需求（1）,应用数据的全自动备份：减少系统管理员的工作量；增加备份效率、压缩备份时间；使数据备份工作形成制度化、科学化；消除备份过程因操作不当导致的严重损失；生成远程保留的为灾难恢复目的的介质。 对介质的有效管理：增加软件对介质存储的限制，防止读写操作错误；保留介质内容的电子记录；对数据形成分门别类的介质存储，使数据管理更加细致、科学；自动校验介质，确保介质上的数据安全无误。 实现数据的集中管理：按备份服务器形成数据中心，对各种应用系统及其它信息数据形成集中的备份，减少每个应用业务人员的工作负担，免除客户端备份的投资；形成数据管理策略，保证数据的安全性。,26,金融业数据存储管理需求（2）,实现数据的自动恢复：业务人员可容易地自动恢复文件的误删除；维护人员可以自动恢复损坏的整个文件系统。 建立历史数据归档：保留大量历史数据到电子介质，为商业竞争和企业发展保留第一手分析和历史资料；有规范的归档，清除系统中被占用的空间以保证主机处于运行状态; 实现数据的分级存储管理（HSM） 防毒安全备份管理,27,金融业数据存储管理方法,网络数据备份管理 核心应用业务系统数据、非核心业务系统数据、其它应用类非数据库数据、操作系统及应用软件数据 网络数据灾难恢复 数据分级存储管理 防毒安全备份管理 软件与硬件选择,28,金融业的灾难备份,1993年美国世贸中心大楼发生大爆炸，大楼内350家企业中约有200家企业因无法获取重要的信息而倒闭、消失 根据Gartner Group的相关调查统计，在“911”事件的两栋大楼中，共有1200家公司，其中仅400家公司执行了灾难恢复预案，而大多数公司因为没有建立灾难恢复系统，数据损毁、丢失，导致业务无法恢复，最后只能宣布倒闭 美国德克萨斯州大学的调查显示 6%的公司可以在数据丢失后生存下来 43%的公司会彻底关门 51%的公司会在两年之内消失,29,美国明尼苏达大学的调查,一般公司如果在灾难过后两个星期内无法恢复完全信息系统的使用 75%的公司业务将会完全停顿 43%的公司将无法开业 对于依赖信息系统进行日常运作的金融、保险和制造业而言，他们对于系统停机的最大可忍受时间分别是2天、5.6天和4.9天，而金融业在此期间所遭受的损失将高达日营业额的50%。,30,VISA“迁都”,2003年初，VISA通过迁都建立起了全球第一个智能光网容灾存储网络 “911”事件后，英国金融服务管理局颁布了多项法令，要求或者建议“所有金融机构制定严格的业务连续性计划，尤其注重于备份空间、IT服务的联合使用、人员调度和灾难恢复等方面。” 惠普和思科为其共同设计了一个能够在网络发生故障时迅速恢复的基于光纤网络的智能容灾SAN,31,光网技术的使用,金融业最早、最大规模地使用光网技术 相比其他行业，他们要在一个集中的点上，管理全国乃至全球极大的交易数据 需要瞬间数据访问、高安全性和异地存储等功能 金融机构对于灾后恢复时间的容忍度也是所有行业中最小的 利用光纤，数据能够以光速传输，因而不存在任何延时,32,思科独创的VSAN技术,VSAN是思科仿造IP网中的VLAN创造出来的，叫做虚拟存储网络系统 与VLAN类似，VSAN允许存储管理员在一个通用物理基础设施上创建多个逻辑SAN 每个VSAN运行自己的网络服务集，实现虚拟网络矩阵间的绝对分区 各个不同厂家的系统可以在VSAN中独立运行互不干扰，通过VSAN连接到思科的存储网络中，同时可以实现业务分组管理与故障隔离,33,三、我国金融业的存储发展及现状,2000年前：无序、分散 多个厂家的设备与系统并存，这些系统难以兼容；各个部门的数据管理要求各不相同，等等 2000年后：数据大集中 各家银行的数据中心、灾备中心建成投入使用 在信息时代，实现数据大集中，建设高效、统一的数据平台是银行业的必然选择 数据大集中可以使得银行业发展初期数据分散、客户资源割裂的状态得到改变，提升银行的管理水平，并增强业务开发能力和服务创新能力，有利于银行业务产品创新、电子渠道建设、管理决策支持等,34,数据大集中后存在的问题,高耗能，电费成本居高不下，导致很多数据中心建得起，用不起 IT环境的管理和维护费用太高，数据中心的运行成本不断攀升、管理日益复杂等 在过去5年间，数据中心的用电密度增加了5倍多，成本是今天乃至明天一台服务器的2倍 由此，在计算中需要花费更多的电力去冷却。数据中心的散热开支上升到占数据中心电费的6070%，全球大约85%的数据中心过度供应超过一倍以上。,35,灾难备份的问题,数据大集中后，银行数据中心的数据传输流量和技术风险也相对集中 不少数据中心设计时，没有预见到火灾、战争、地震等极端小概率事件，一旦数据中心出现问题，将导致银行所有分支机构、营业网点和全部业务处理停顿，或造成客户重要数据的丢失，带来无法估量的损失 2001年的“911”、2003年的非典、2004年东南亚海啸、2006年“台湾海峡“地震、2008年初中国南方大面积冰雪灾害、2008年5.12汶川大地震、病毒、黑客攻击等,36,其它问题,建筑物设计难以适应新技术趋势 原有的数据中心建筑，每平方米承重500公斤，新出现的高密度小体积“刀片服务器”，要求建筑物承重每平方米达到1.5吨，导致很多数据中心大楼刚刚建好，就已经落伍 数据中心规划功能单一，无法满足整合业务需求 许多常规数据中心均构建在成本高昂且孤立的信息技术之上。在这种技术环境中，服务器和存储性能得不到充分利用，服务器和存储设备的数量却不断增加,37,绿色金融和新一代数据中心,2008年2月25日，中国国家环保总局（现环境保护部）正式推出“绿色证券政策”，至此，“绿色信贷”（2007.7.30）、“绿色保险”（2008.2.18）和“绿色证券”等由银行、保险、证券组成的“绿色金融防护林”初步形成 虚拟化、整合、绿色节能、安全、自动化，是新一代数据中心的发展方向 “绿色节能”成为数据中心的主要诉求 集约化、外包化、追求规模效益，成为数据中心的必然趋势,38,评估绿色数据中心的量化指标,虚拟化电力成本计算器 虚拟化是提高数据中心效率的一个重要手段。采用虚拟化技术不但可以降低硬件购置成本，还能减少硬件的供电容量和制冷容量。虚拟化电力成本计算器可以更直观地说明，实现服务器虚拟化后，数据中心到底能够减少多少物理基础设施，节约多少电力成本。,39,数据中心效率计算器 可以对数据中心进行概要性描述，并根据数据中心的关键指标，计算出相应的效率及电力成本 当用户输入供电和制冷系统的详细配置后，此工具可以通过三维效率模型展示计算的结果，包括数据中心的效率值，以及不同的数据中心设计及运行条件对数据中心效率及电力成本的影响。 资本支出计算器 主要用途是定义关键物理基础设施的参数，并根据这些参数计算出资本支出。通过确认负载、冗余、密度及电源/冷却等系统特性，可以预测机房所需的机架数量、地板空间以及总体基建成本,40,供电规模计算器 定义IT负载的基本特性，并能计算出支持此负载需要多少电力输入。具有交互的特性，使得用户可以通过更改服务器及存储系统的负载特性，对假定情况进行测试，然后计算出总负载，并最终得到相应的电力需求情况 InRow遏制选择器 对于绿色机房来说，制冷是十分重要的一环。根据用户在机房设备布局上的偏好以及机房空间的限制条件等，InRow遏制选择器可以生成机架式和行级制冷配置的典型解决方案。 InRow遏制选择器可以指导用户构建一个高效的制冷架构，包括机房中的设备应如何摆放以及如何更充分地使用机房空间等。InRow遏制选择器可以为用户提供一个