基于新型存储介质的存储系统与技术国家科技支撑计划可行性研究报告

密级：国家科技支撑计划课题可行性研究（论证）报告（试行）项目名称(编号) ： 基于新型存储介质的存储系统与技术 课题名称(编号) ： 项目组织单位： 课题申报单位： 课题负责人： 起止年限： 2课题信息表项目名称(编号) 基于新型存储介质的存储系统与技术课题名称(编号)名 称单位所在地 省（区、市） 代码通讯地址 邮编单位类别 事 业型研究单位 大专院校 其他事业单位 转制为企业的科研院所 企业 代码课题申报单位单位主管部门 代码序号 单 位 名 称其他主要参加单 位姓 名 戴文军 性别 男 女 出生年 年工作单位学 历 博士 硕士 学士 其他职 称 高 级 中级 初级 其他课题负责人办公电话 移动电话课题组人数 88 人 高级 2 人 中级 21 人 初级 42 人 其他 23 人起始时间 2013 年 6 月 终止时间 2014 年 12 月经费预算 440 万元，其中国拨经费 220 万元。3课题可行性研究报告编写提纲、课题概述本课题所涉及的系统和技术是国家中长期科学和技术发展规划纲要 （20062020 年）重点领域的核心技术，是纲要提出的优质发展主题“海量存储”的重大方向；同时，本课题也是国家 “十二五”科学和技术发展规划的重点发展内容。国外很早就开始进行磁存储介质设备的研究工作，随着半导体存储芯片集成密度的增加以及相关技术的不断发展，到上世纪末本世纪初，国外对大容量固态存储器的研究进入了高速发展时期，其研制出来的产品无论是在容量、速度还是功耗、安全性等方面都了很大的提高，成为第二代大容量固态存储器。目前，第三代大容量固态存储器正在发展之中。随着固态存储技术的发展，目前已经在笔记本电脑及大型主机等领域得到应用。商业领域也已经涉及到金融、电信、医疗、 电力、航空、 邮电等行业。 传统企业存储厂商的产品也在积极地通过固态存储来提高效率。随着固态存储器技术的成熟和成本的降低，基于新型存储阵列的存储系统已经逐渐开始推广和使用。与国外相比，我国也开始了由磁记录设备向固态存储器设备的过渡，但是我国在高速大容量存储技术方面还相对落后，而且我国的存储技术的研究主要集中在存储系统的方案实现上，对核心技术的研究、产品和开发相对滞后，在大容量固态存储系统应用方面，我国存储厂商也很早就展开了研究和推广工作。在上述背景下，本项目实施的目标是对本产业的技术、产品、市场进行深入调研和未来发展进行研究，形成存储产业的产业规划路线图，研制基于新型存储介质的高性能、高可靠、低能耗的混合存储系统，支持系统容量可达 100TB，IOPS 可达 200 万。4本项目的主要任务包括：1 对本产业的技术和市场进行深入的调研，分析和预测市场需求和技术发展趋势，并对产业链的结果进行分析，形成本产业的规划路线图；2 针对新型存储介质的特性进行共有技术的优化改进，并对关键技术进行攻关，实现基于新型存储介质的高端存储系统。课题预期成果和考核指标为：1 完成存储产业产业发展路线图2 研制完成基于新型存储介质的存储设备，支持新型存储介质和传统机械硬盘混合使用和主存混合，支持智能数据流动;3 支持 RAID 等多种数据冗余技 术，容错多块存储介质故障;4 支持虚拟化及自动精简配置，实现资源统一管理和按需分配；5 具有高效的热设计和冗余容错技术，能够实现部件的热交换；6 具有完全自主知识产权的硬件、软件和组装结构;7 系统性能指标：a) 系统容量 100TBb) IOPS 200 万本课题经费支出预计 440 万元，其中申请从专项经费获得的资助 220万元，研究单位自筹经费 220 万元。为保证项目正常实施，各参与单位将提供必要的资金、场地、设备、环境等必须条件。在资金支撑方面，联盟企业主营业务收入总额高达 3240 亿元。联盟企 业利润总额达 165 亿元，占全行业主营业务收入比例的 98%。在基础设施方面， 联盟组织成员合作单位之间共建了 5 个研发机构，通过课题合作、产业 上下游不同构建了 3 个以企业为主体的成果转化平台，联合成员单位各技术团队开展了 19 项合作研发，互惠互利，共赢发展。在产业链支5撑方面，联盟的 27 个单位主体来源于企业、学校、研究所等产业链的创新主体。其声音和发展趋势基本代表了我国存储业界的发展状况。、课题需求分析1.项目确定的课题目标与任务的需求分析国家中长期科学和技术发展规划纲要 （20062020 年）将“信息产业”做为重点发展领域，并特别指出，本领域的重点发展思路为“ 突破制约信息产业发展的核心技术，掌握集成电路及关键元器件、大型软件、高性能计算”。本课题所涉及的系统和技术是当前制约整体 IT 产业发展的核心技术、关键技术。所涉技 术的突破将极大推动当前以数据为中心的应用模式的信息产业。另外，新型存储 介质的应用将打破传统的存储架构和应用模式，也是我国赶超国际的绝佳机遇。同时， 纲要将海量存储做为当前的优先发展主题，新型存 储介质的存储系统也是海量存储发展的重大方向。本课题也是国家“十二五 ”科学和技术发展规 划的重点发展内容。 规划中指出，要大力培育和发展战略性新兴产业，包括下一代信息技术，并进一步指出，重点“ 推动下一代互联网、新一代移 动通信、云计算、物联网、智能网络终端、高性能计算的发展，实施新型显示、国家宽带网、云计算等科技产业化工程” 。存储系统是互联网、通信、云计算、物联系网、智能网络终端等发展的基础设施。如果没有高性能、高可靠、低功耗的存储系统的支撑，上述产业的发展将遭遇瓶颈。同时， 规划在前沿技术发展要求中将“ 海量数据处理”、 “ 海量存储与服务环境”明确为重点研究内容。本课题所涉的技术均在该领域。云计算、移动设备和互联网构筑的时代存储系统将面临巨大的挑战。未来将有 40 多亿人和数百亿台连接设备共享及传输数据，并且这些设备将远远超出人们熟悉的智能手机、平板和个人电脑范畴，它们还包括大量的其6它智能设备和传感器。全球每年的 IP 流量已超过 1ZB(相当于 10 亿 TB)。随着人们和企业在各种移动设备上产生和消费数据，云应用将呈现显著的增长。人 们的存储需求包括照片、视频以及通过电子邮件、视频、图片共享网站、社交网络和协作工具进行存储或传送的各种信息。这些数据不只是被存储在云中，为了改善数据性能、可用性安全性，它们还要被复制。因此，数据中心面临着诸多压力，需要提高输入/ 输出性能，减少延迟时间，加快对用户视频和大数据分析等各种应用的响应速度。当前，计算能力不断提升，单节点计算能力和集群计算能力正迅猛发展，超级计 算机的运算能力记录不断被刷新；网络设备设施的性能也不断提升，8Gb 的 FC 网络、万兆以太网已经成为企业级主流应用，而更快的网络速率也正在推出；而存储设施发展则相对滞后，据统计，19962011 年，CPU 性能增长 175 倍，而硬盘性能仅增长 1.3 倍，存储性能成为了整个信息产业发展的瓶颈，影响了云计算应用的进一步普及。随着新型存储介质技术的发展，新型的存储介质在性能上的优势使其成为了信息产业的“救世主” ，成为信息产业发展的重要推动力。同时， “新型存储介质存储系统”也是建立节能减排数据中心的需要。当前无论国际还是我国均大力提倡“低碳经济 ”，以“节能、高效、经济” 为核心的绿色浪潮正席卷整个 IT 产业，绿色也逐渐 成为引领 IT 产业下一代革命的创新潮流。美国能源之星数据表明，存储设备每降低 1 瓦功耗，数据中心整体功耗会降低 2 瓦。在低碳目标的引导下的 IT 环境，存 储技术的基础理论和关键技术趋向以降低能耗为导向、构建环境友好型系统方向发展，其发展和应用将会给人类生活和生产的各个领域带来深远的影响。新型存储介质的存储系统是构建节能型数据中心的重要手段。长期以来，磁盘由于需要执行大量机械操作而始终是现代计算机系统7的瓶颈。虽然磁盘的容量一直在快速扩展，但其性能和 CPU、内存之间的差距却越来越大。存储系统的性能也因此受制于磁盘而无法获得根本突破。SSD 的应用给存储系 统带来了重大变革。 SSD 基于 flash 存储数据，消除了机械运动，从而使得随机访问性能比磁盘提高将近 2 个数量级; SSD 的可靠性也比磁盘有大幅提高，与此同时其能耗也大幅降低，SSD 在存储系统核心领域均能发挥重要作用。2.课题解决的主要技术难点和问题分析基于新型存储介质的存储系统，由于新型存储介质成本较高，通常在存储系统中，混合原有存储介质，构成混合存储系统使用，而混合存储系统，如何让价值高的数据高概率地存储在新型存储介质中，关键技术以及难点技术包括数据增量扫描技术、基于多指标的数据分级策略、在线迁移中的一致性保证技术、数据自动迁移存储技术。在线迁移中的一致性保证技术数据不可避免地要在不同存储介质上进行数据迁移，数据迁移可分为升级迁移和降级迁移。升级迁移是指数据由慢速存储介质设备或低一级存储设备往新型快速存储设备或高一级的存储设备迁移，降级迁移正好相反。但由于迁移目的不同，这两种迁移有不同的特征，对于降级迁移来说，很可能在迁移的过程中并不会有 I/O 请求发 生；但对于升级迁移来说，迁移几乎是发生在 I/O 最密集的时候，如何保证 在迁移过程中，尽可能减小迁移进程对前台 I/O 的影响，这是分级存储系统 需要解决的问题之一。目前可以采用读写锁来保证数据一致性，以数据块为调度粒度来减小对前台 I/O 性能的影响。迁移进程为当前数据 块申请读写锁，以保证迁移进程与写操作进程之间的数据一致性。数据自动迁移存储技术8数据需要在线迁移，这就需要考虑数据移动对前台 I/O 负载的性能影响。数据自动迁移技术是指最大限度的降低数据迁移动作本身对计算结点的 I/O 性能影响，且对前端透明，它根据前台 I/O 负载的变化，来调整数据迁移速率，使得数据迁移动作本身对存储系统的 QoS 的影响非常小，同时使得数据迁移任务能够尽快完成。数据自动迁移存储涉及的主要技术有：数据迁移的速率控制与调度、数据迁移对应用的延迟隐藏、文件访问块位置序列预测，等。在实际应用中，当数据信息达到迁移触发条件时，数据迁移结点自动迁移数据，从而实现数据信息的降级或升级存储，如数据升级迁移对用户的延迟隐藏技术使得应用程序感受不到数据升级迁移的延迟，并使整个存储系统的性能与最高性能级别的存储设备相当。基于多指标的数据分级策略混合存储系统采用的存储方式与选择的存储设备（不同存储介质）的依据是数据的重要性、访问频次等多个指标。多指标的数据信息分级策略，是指根据基于数据的生命周期、上次访问时间、大小、数据信息的关联性等多个参数对数据的价值进行分级；如果数据一创建就能预测其访问特性进而给出相应级别，将能够减少不必要的迁移颠簸。因为数据分级变化意味着数据要在不同级别的存储设备间迁移，以保证合适的数据在合适的时间存放在合适的存储级别上。增量扫描技术在一个文件数为 10 亿级的大规模文件系统中，选择数据存储管理操作的候选对象可能是非常耗费资源的，一般须扫描整个文件系统的名字空间。而每秒大约能扫描 5000 个文件，扫描 10 亿个文件大约需要 27 小时。现有的数据分级存储管理方案一种是集成到文件系统之中，一种是存在于文件9系统之外。无论是哪一种，能够获得文件访问情况并利用这一特性，大幅度减少文件扫描规模，减少维护文件访问信息的开销是非常重要的。一个包含 20 万个文件的文件系统，每天只有不到 1%的文件被访问。随着文件系统规模增加，访问百分比还会下降。因此，通过增量扫描技术，周期性增量扫描系统元数据，来获得文件信息与文件访问情况，如本周期内所有被访问文件的访问统计(包括访问次数和文件大小) 、总访问热度等信息；通过增量扫描技术，元数据服务器不必扫描整个文件系统，只需定期获取近期访问过的文件信息（所谓增量，就是只扫描周期内的被访问文件，未访问的文件不需要扫描更新），这样就可大大减少维护文件访问信息的开销。、现有工作基础与优势1.国内外现有技术、知识产权和技术标准现状及预期分析1 国外技术发展现状国外很早就开始进行磁存储介质设备的研究工作。国外最早开始研制大容量固态存储器的是美国宇航局喷气推进实验室（JPL）和 TRW 公司，90年代初就采用 DRAM 为美国国家航空航天局（ NASA）的飞船设计制造了实验性的固态存储器。随着半导体存储芯片集成密度的增加以及相关技术的不断发展，到上世纪末本世纪初，国外对大容量固态存储器的研究进入了高速发展时期，其研制出来的产品无论是在容量、速度还是功耗、安全性等方面都了很大的提高，成为第二代大容量固态存储器。目前，第三代大容量固态存储器正在发展之中，第三代大容量固态存储器主要采用 flash 作 为存储介质，存储容量高达 TB 级，存储速率也达到了 Gbps 级，代表的有 CALCULEX 公司研制的模块式固态存储器，采用高密度的 Flash 作为存储介质，克服了磁记录设备 无法适应恶劣的空间环境的10缺陷。整个系统由电源模块、控制器模块和存储罐构成，其中控制模块有可选择的备份，每个存储罐的电源单独提供，以保证完全独立工作，并降低功耗。固态存储器在早期主要用在军用嵌入系统中，或者高性能计算的研究实验室中。随着固态存储技术的发展，目前已经在笔记本电脑及大型主机等领域得到应用。商业领域也已经涉及到金融、电信、医疗、电力、航空、 邮电等行业。传统企业存储厂商的产品也在积极地通过固态存储来提高效率。2008年年初，EMC 宣布在其 Symmetrix DMX-4 高端