存储技术概论-存储技术发展

存储概论 存储是什么 信息记录方式的改变 甲骨文 商代 时间跨度 3000年 蔡伦造纸 东汉 时间跨度 1900年 爱迪生发明电影机时间跨度 110年 硬盘时间跨度 50年代 信息传递和使用方式的改变 生产和生活方式的改变 广义的存储 包括一切信息记录方式 信息记录的根本目的 是信息的跨时间传递 信息存在的三种状态 在信息数字化背景下 网络承载数据的跨空间传播 存储承载数据的跨时间传播 网络和存储 构成数字化信息世界的时空结构 计算的本质是数据的形式转化 人 机 设备 设备间的数据形式转化 是信息处理环节 因此 数字信息世界的基础设施由三大部分组成 计算 网络和存储基础设施决定上层建筑 应用 应用所能实现的方式 实现能力 可用性 可靠性 决定于基础设施 理查德 诺兰信息化阶段论 起步扩展控制集成管理成熟 初级阶段中级阶段高级阶段 业务发展推动IT变革 IT CMM5 IT CMM4 IT CMM3 IT CMM2 业务焦点 组织内经验与知识共享 创造新的业务模式 IT CMM1 业务焦点 决策支持 战略工具 全球化资源整合 业务焦点 资源业务协同 快速响应需求 业务焦点 财务监管 办公电子化 业务焦点 个人业务信息化 变革动力 手工工作繁琐易错业务扩张困难 变革动力 财务贪污 信息贪污区域员工管理 变革动力 用户响应迟缓官僚主义本位主义加剧 变革动力 企业战略决策缺乏依据IT风险严重影响业务 IT就是业务 IT就是核心竞争力 IT产品化 IT功能化 IT系统化 IT集成化 IT资源化 IT行业发展阶段 摩尔定律 3 000 1 000 100 10 0 1970 1980 1990 2000 2010 2020 用户数量 百万 2005 2010 数据的摩尔定律 人类每18个月产生的信息量 是人类之前全部信息量的总和 科学美国人 年文章硬盘的Kryder sLAW 密度每年翻一番 IT发展30年 人类过去30年的IT发展 大致经历了三个时期 1 以大型机为核心的时代时间 大致1980 1990年关键词 计算中心上机纸带穿孔2 以PC为核心的时代时间 大致1990 2000年关键词 计算机房 PC 电脑 超频 DIY3 以网络为核心的时代时间 大致2000 2010年关键词 Internet 上网 网络中心4 以数据 信息 为核心的时代时间 2011 关键词 数据中心 云计算 IT架构的变迁 集中式计算 集中式存储 分布式计算 分布式存储 H T模式Host Terminal主机 终端模式 C S B S模式Client ServerBrowser Server客户 服务器模式浏览器 服务器模式 架构变化和数据膨胀带来的数据管理问题 分布式计算提升了系统的整体计算能力分布式存储则增大了数据丢失的风险和管理的困难解决问题的办法是实现网络化的集中存储 集中式存储 分布式计算集中式存储 与直接附加存储相比 网络存储就每兆数据总体拥有成本而言节省0 47美元 麦肯锡和美林公司 优点 统一架构 统一标准 统一平台 降低数据管理难度 降低TCO 数据管理内容 升级 扩容 维护 调整 备份 容灾等等 网络存储的两种主要应用方式 存储方式的变迁 磁带 纸带 机内硬盘 DAS 盘柜 磁盘阵列 为了集中 通信协议 SCSI FCoE FC1G 4G 8G iSCSI 服务器连接存储 DCEE16G 40G 100G 存储介质连接 SCSI ATA FC SATA SAS SAS2 0 集中之后 存储产品架构设计 当鸡蛋都装在一个篮子中 集中之后 数据访问与数据管理 EDM LAN Linux Windows SRDF SymmetrixDMX1000 Symmetrix8000 Web服务器 NAS 数据集中后面临的应用需求 双机热备是存储最典型的基础应用之一 也是存储独立于服务器的开始 双机热备的基本技术要求之一 是双机共享同一个磁盘空间 主服务器 备份服务器 磁盘阵列 心跳线 LAN 双机软件 双机热备 主机 备机 服务器高可用 双机热备 服务器集群 集群技术 主机 主机 主机 集群服务器 磁盘阵列 LAN 集群是三台以上服务器并行工作 由集群软件完成工作任务在服务器之间的分配和数据交换 集群在很长一段时间内发展缓慢 原因是对应用依赖性大 成本高昂 主机虚拟化 Vmware HyperV等 无意中打开了一扇服务器低成本集群的大门集群同样要求共享存储设备 对存储系统的性能和可靠性具有更苛刻的要求 容灾与业务连续 BC 在所有停机中断中 87 为计划停机 只有13 信息不可用是由真正的故障造成的 FIND SVPSurvey 备份 恢复测试升级修订维护数据提取 上载 数据中心移动 整合购并欧元转换灾难测试用户和操作员培训 扩展 增长分布数据工作负荷分担工作负荷平衡报告生成批处理 硬件故障软件故障程序错误人为错误 电源故障空调故障通信故障设备丢失 火灾 洪灾 暴风雨 地震病毒 恶意行为威胁 恐怖活动 计划内停机 计划外停机 用户需要预防的IT系统潜在灾难 所有引起系统非正常停机的因素大致可分为三类 一 自然灾难 飓风 龙卷风 雷击 地震 海啸 洪水等 二 基础设施灾难 硬件损坏 机房进水 火灾 电源中断 电力故障 建筑倒塌等 三 软故障 渐变式灾难 病毒 误操作 软件BUG 人为破坏 黑客等 人为错误 应用软件故障 计算机病毒 场地灾害 系统软硬件故障 32 44 3 7 14 source Ontrack adataavailabilityserviceprovider 集中之后 对存储设备要求 数据安全性RAID 写缓存镜像 缓存保护 快照 备份 容灾 业务连续性无单点故障 磁盘组在线扩展 逻辑卷在线扩展 在线升级 自动精简配置 性能顺序读写 随机读写 并发IO 持续带宽 分级存储 动态部署 兼容性支持各种操作系统平台 AIX Solaris Irix Hp UX Linux Win 支持各种应用系统 Oracle Exchange Notes SqlServer Sybase 可管理性设备可管理 数据可管理 总结 1 存储的本质是数据管理任何存储问题 都应该转化为存于其上的数据问题来看 数据管理的目的是在任何时候提供可用数据2 应用是推动存储发展的根本动力 而不仅是技术本身任何时候与客户交流存储需求 都要落实到应用需求来看 而不是设备需求 数据多了就要集中 集中就要求设备具备五方面特性 数据集中后就要备份 备份之后就需要容灾用户在进行存储系统规划时 必须充分考虑到存储为什么集中 以及集中之后必将面对的各种问题 并预备相应的解决措施 如果仅仅看到数据容量 而忽略这些问题 那么整个IT系统都存在巨大的数据丢失 数据不可用 系统宕机的风险 3 存储下一步发展的趋势是智能化存储随着数据量的膨胀和数据类型 数据应用的多样化 包括云计算的大规模应用整合架构 对存储的数据管理能力提出了前所未有的高要求 普通的 磁盘阵列 无法满足真正的数据中心或云计算需求 云 就是以服务的方式提供一切IT资源 从CPU 内存 硬盘这样的物理资源到软件 信息 服务的软资源 概念分析案例 云与云存储 PlatformasaService SoftwareasaService Servers Networking Storage Metering Monitoring Billing SaaS PaaS IaaS Multi Tenancy Security Middleware 协作应用 商务应用 CRM ERP HR 虚拟化 调度 扩展 共享 ServicesManagement J2EE ApplicationEncapsulation hadoop InfrastructureasaService 行业应用 JavaRuntime Ajax Deployment Web2 0ApplicationRuntime HighVolumeTransactions Database ITFoundation DataBase 产品方案 游戏 搜索 邮件 信息发布 共享应用 共享软件功能组件 共享基础设施资源 云的经济学本质 是以信息交换为基础的全局性资源配置 云是IT技术供应过剩的标志 是IT建设进入全社会信息集成阶段的标志 例子 电力 水 电话 网络 电话 邮件 网页 云时代的到来 意味着 1 用户从关心具体产品的具体技术细节 到关心业务应用 IT的投入产出比2 厂商从追求技术创新到追求技术整合 提供一站式服务 从超额利润到规模效益 3 云提供一种建设思路 99 的标准化与1 的个性化 概念分析案例 云与云存储 云计算概念对于今天行业用户的意义 1 云今天能够落地的业务模式 虚拟化数据中心 非实时业务的标准化应用前者解决基础设施复用 降低采购和管理成本 后者解决应用的一致性和标准化 实现管理的标准化 2 中国的现实管理模式 决定了中国大量部署的将是私有云 行业 区域 企业 政务云 桌面云将会是主要应用方向 3 云的后面 是计算环节对IT基础设施统治力的大幅下降 网络和存储将得到前所未有的关注和投入 4 云的安全性问题 可管理性 可定制性三大问题是制约云发展的主要瓶颈 概念分析案例 云与云存储 宏杉的观点 1 存储重要性提升 2 数据集中是云的必然结果 存储超越常规磁盘阵列概念 对系统的性能 可靠性 动态部署要求大幅提升 3 宏杉产品的设计理念 完全基于云时代数据中心的数据应用和数据管理特点 云存储目前的实现主要是采用廉价硬件 构建低安全 海量数据存储池的方法 典型应用 视频监控存储 网盘 搜索引擎 视频服务云存储目前仅适合于存储海量 重要性不高 允许一定的数据丢失的非结构化数据 完全不适合商业计算环境 宏杉的方向 首先是面向大中型数据中心开发适合商业计算的存储系统 在计算环境逐步云化的过程中 逐步实现面向云环境的存储资源动态部署和数据高可用 实现面向商业计算的 云存储2 0 其次 兼顾低端非结构化业务应用需求 提供MS1000和iDSM平台组合 提供初级云存储产品 服务器 硬盘式的所谓 云存储 方案 必将面对的问题是数据丢失和数据管理的困难 为解决数据安全 从软件层面进行高冗余数据分布 带来巨大的能耗 软件成本 管理成本 云存储是什么 概念分析案例 互联网与物联网 互联网 连接的终端对象是人 可看做是人与人之间的联网 人与人之间的联网 除了信息交换之外 还需要情感交流 需要声 色互动 因此信息的格式和载体丰富多彩 物联网 连接的终端对象是物品 是物与物之间的联网 也可看做是机器之间的联网 机器与机器之间的联网 只关注信息的交互 强调的是数据的准确性和兼容性 信息的格式和载体简单 高效 物联网 互联网 物联网与互联网的区别 31 传统思维下的视频监控方案 物联网思维下的视频监控方案 物联网的本质是物与物之间联网 以设备为主体 自动完成绝大部分信息传输 处理和存储工作 人的作用是对物联网进行管理和分析物联网的后端严格上说 同样是一个云计算中心 或者数据中心 是一个更加智能 更加海量化的数据中心物联网的关键 不在具体设备技术 而是设备与设备间通信 管理的标准制定和落实 物联网辨析 市场格局 全球存储市场 500亿左右 中国存储市场 13亿左右 低端 中端 高端 低端产品 DAS 单控存储 价格在 5K以下 占10 15 中端产品 双控存储 32G缓存以下 价格在 5k 100k 占60 65 高端产品 多控制器系统 64GB缓存以上 价格在 100k以上 占20 25 市场格局 按连接类型分类 SAN产品占70 75 其中FC SAN60 以上 IP SAN15 NAS产品占10 左右DAS产品10 左右 各种不同协议将在较长一段时间内共存 市场格局 全球存储排名 2011年第二季度全球外部磁盘存储系统工厂收入前五大厂商 单位 百万美元 来源 IDC全球磁盘存储系统季度追踪报告 2011年9月2日 EMC 28 左右市场份额 最大的专业存储厂商IBM 14 左右 Netapp 13 左右 HP 11 左右Hitachi Dell均为8 左右 其它厂商合计不到18 市场格局 国内存储排名 国内存储市场排名前五位的是IBM EMC HP Dell H3CiSCSISAN市场排名前五位的是 H3C UIT Dell HP EMC数据来源 IDC中国外部磁盘存储市场季度跟踪报告 2009年第四季度 市场格局 国内存储排名 低端市场排名前五位的是 IBM Dell 华赛 HP和H3C 中端市场排名前五位的是 IBM EMC HP H3C Netapp 迟到的存储自主创新 网络 传输H3C华为中兴锐捷 服务器 PC联想浪潮曙光华为 2010年中国存储市场约100亿 全球存储市场500亿美金其中国外品牌占90 以上市场 合资品牌6 左右 自主品牌OEM产品2 左右 剩下2 自主产品全部是低端监控配套单控产品 一 中国IT建设20多年历程 刚从初级阶段迈入中级阶段IT建设初级阶段标志产品 PC2010年中国PC市场共销售5000万台 已超越美国成为全球第一大市场IT建设中级阶段标志产品 网络2010年中国网络市场180亿左右 约为北美市场15 思科在纽约州的销售额约等于整个中国市场销售额IT建设高级阶段标志产品 存储 应用 2010年中国存储市场100亿左右 约为北美市场8 二 存储在三大IT基础设施支柱中具有非常特殊的性质 技术和经验门槛高计算与网络严格意义上都是数据的过程处理 而存储既包含过程处理 又包含了结果处理 存储在高性能要求之外 具有严格的稳定性 可靠性 业务连续性和数据安全性要求存储是三大部件中标准化最差 标准最混乱 私有化最严重的一环 存储到今天仍然以硬盘作为基础介质 用一个机械部件作为数字系统的核心部件 非常少有 另一个例子是磁带库的机械臂 存储是一个后台设备 缺乏直观的应用体验 没有业务需求 没有长期运营维护经验 对存储的重要性和问题感受不深 事实上 据统计 70 以上的系统性能问题与存储系统有关 中国存储技术自主创新迟到的因素 今日宏杉 40 宏杉科技面向云计算环境 从高端入门级到低端 从硬件到软件全部自主研发 推出MS1000 3000 5000三个系列产品 入围中央政府采购网 中直机关采购网宏杉科技是国家十二五电子政务规划起草单位之一 是国家电子政务内网方案起草和评审专家单位已申报18项国家专利 多项软件著作权 受到国家 双软 认定宏杉科技目前是SNIA 国际存储工业协会 唯一一个中国内资企业投票会员 是IEEE 国际电子电器工程师协会会员 宏杉科技现有230名成员 其中研发人员180人 在全国已建立10个办事处 年底前建立25个办事处 覆盖全国各地 宏杉科技推出全新一代产品以来 迅速获得国家各部委认可和采用 目前包括国办 水利部 国家人口委 科技部 交通部已在部署宏杉产品 MacroSAN面临的全球性行业机遇 41 精 全 小 大 IBM HP Oracle DELL CISCO EMC Netapp Equallogic LeftHand 3PAR Isilon LSI MacroSAN 被收购 ISV SI群体 大而全 一站式 整体解决方案会成为后十年的业界主流 然而 世界永远不是一极化的 与此同