分散+集中存储方案---大.doc

XX 视频监控存储系统视频监控存储系统 解决方案解决方案 北京同有飞骥科技有限公司 2010 年 X 月 XXX 视频监控存储解决方案 1 目录目录 第第 1 章章前言前言 1 第第 2 章章XX 用户单位 系统现状 用户单位 系统现状 2 第第 3 章章需求分析需求分析 3 第第 4 章章现有存储模式比较现有存储模式比较 5 4 1传统的 DVR 直接存储 5 4 2DAS 直连模式 5 4 3先进的存储局域网络 SAN 结构 6 4 4IP 存储网络 6 第第 5 章章解决方案解决方案 8 5 1设备选型 8 5 2解决方案 10 5 3设备配置 12 第第 6 章章方案分析方案分析 13 6 1监控专用存储系统 充分满足性能要求 错误 未定义书签 错误 未定义书签 6 2同时提供 IP SAN 和 NAS 错误 未定义书签 错误 未定义书签 6 3高可扩充性 错误 未定义书签 错误 未定义书签 6 4数据存储的高可靠性和可用性 错误 未定义书签 错误 未定义书签 6 5高性价比 错误 未定义书签 错误 未定义书签 6 6极易管理 全中文 错误 未定义书签 错误 未定义书签 6 7易于扩展为备份容灾系统 错误 未定义书签 错误 未定义书签 第第 7 章章关键产品的介绍关键产品的介绍 15 附录附录 公司介绍公司介绍 错误 未定义书签 典型案例典型案例 错误 未定义书签 XXX 视频监控存储解决方案 1 第第 1 章章前言前言 监控技术从上个世纪80年代进入我国以来 随着安防需求的急剧增加和安防 行业的飞速发展 从技术层面上来看 已经经历了多个不同的发展阶段 随着计算 机技术的发展和网络的普及 目前 视频监控已经发展到了网络多媒体监控存储系 统 新一代视频监控管理系统与前几代视频监控系统的根本区别在于 其不再局限 于简单地完成对视频信号的处理 传输 控制 其核心乃是对基于IP网络的多媒体 信息 视频 音频 数据 提供一个综合 完备的管理控制平台 网络多媒体监控系 统以网络为依托 以数字视频的压缩 传输 存储和播放为核心 以智能实用的图 像分析为特色 并与报警系统 门禁系统整合到一个使用平台上 引发了视频监控 行业的一次技术革命 迅速受到了安防行业和用户的关注 网络多媒体监控管理系 统 可以广泛用于多媒体视讯调度指挥 网络视频监控和网络会议 多媒体网上直 播 网络教学 远程医疗等各个方面 网络多媒体监控系统由网络多媒体监控管理平台和前端信息采集设备组成 其 核心是网络多媒体监控管理平台 网络多媒体监控管理平台集计算机网络 通信 视频处理 流媒体 和自动化技术于一身 是视频 音频 数据和图示一体化的解 决方案 兼备网络视频监控 视频会议 视频直播等功能 具有超大规模组网能力 是构建于LAN Internet网络之上 支持多种传输方式的综合多媒体业务管理平台 其应用已远远超出监控本身所涵盖的内容 磁盘阵列存储设备负责对前端采集的视音频数据信息进行存储的部分 它结合 网络视频服务器将通过网络传输过来的视音频压缩数据以媒体流的形式集中存储在 磁盘整列中 它在视频监控 网络教学 IP视频会议 视频直播及视频点播等方面 都有广泛的应用 数据信息的全集中存储方式要求磁盘阵列必须提供足够的可靠性 和稳定性 可以满足监控系统平台的性能要求和持续写入要求 XXX 视频监控存储解决方案 2 监控视频存储系统是整个监控系统工程的重要组成部分 XXX 视频监控存储解决方案 3 第第 2 章章XX 用户单位 系统现状 用户单位 系统现状 描述用户环境及实际需求 添加内容后 记得从新更新目录 添加内容后 记得从新更新目录 XXX 视频监控存储解决方案 4 第第 3 章章需求分析需求分析 在整个监控系统中 前端监控部分经DVR DVS设备采集模拟监控信号进行编 码压缩 或者由IP Camera直接采集数字监控信号 然后通过局域网由各监控分中 心视频管理服务器来分别统一管理和存取各监控子系统视频数据 并由分布式集中 存储系统来存储相关监控数据 根据用户的网络和实际应用情况 对视频监控存储系统的建设要满足如下需求 高性能高性能 由于有多路摄像头数据并发持续写入 考虑以后摄像头的增加 并且同时有多 路服务器可能读取数据 所以需要高性能处理的存储系统 存储系统要采用业内技 术先进 性能优良 工作稳定的存储设备 要保证在实施后相当一段时间内能够充 分满足用户的使用需求 海量存储空间海量存储空间 该项目共XX路视频 要求录像保存XX天 视频码率以XX计算 总容量 路数x码率M Sx3600秒x24小时x保存天数 1024 G 要求对所有视频数据进行集中存储 这就要求存储设备必须提供足够海量的存 储空间 集中式共享集中式共享 采用数据分布式集中存储模式 实现数据和存储空间的分布存储 统一管理 使数据和空间的管理 备份非常方便 数据可靠性数据可靠性 数据高度集中的系统 数据的安全是第一位的 系统的可靠性原则应贯穿于系 统设计 设备选型 软硬件配置到系统施工的全过程 保证在单点或多点故障的情 XXX 视频监控存储解决方案 5 况下 系统能够持续运行 并能在线的恢复正常 通常情况下 采用盘阵列技术来 提高数据的可靠性 只有可靠的系统 才能发挥有效的作用 可扩展性可扩展性 随着监控范围的扩大 摄像头数据量的增加和存储天数延长 存储系统的可扩 展性尤为重要 良好的扩展性可以保证业务的连续性 网络化网络化 监控中心建设网络化完善 容易进行数据集中存储 采用网络化的设备扩容更 灵活 施工难度小 并且便于远程监控 维护简单 网络化架构有助于实现互联互 通 实现视频资源的共享 易用性易用性 系统的操作应具有灵活简便 人机界面友好 易于掌握的特点 操作人员能够 方便物进行使用及维护 使整个系统的功能得以最大实现 系统增值服务系统增值服务 配合备份软硬件环境 系统可以增加备份 容灾的功能 进一步提高可靠性 保护用户数据 XXX 视频监控存储解决方案 6 第第 4 章章现有存储模式比较现有存储模式比较 4 1 传统的 DVR 直接存储 DVR是目前见常用的视频监控数据存储方式 它用设备内置的IDE硬盘存 放视频数据 DVR一般有四个IDE接口 可以接8块硬盘 该模式有以下特点 1 价格低廉 简单易用 适合于小规模监控环境 2 硬盘顺序工作 减少硬盘损耗 但检索与回放性能较差 3 硬盘非冗余模式工作 数据容易丢失 4 分布式存储 DVR 存储空间不能直接实现共享 5 单设备容量有限 随着监控规模的扩大 管理 维护比较困难 4 2 DAS 直连模式 传统的DAS监控存储架构中 存储和监控客户端使用DAS直联的方式存取 录像数据 使用一台PC机作监控客户端 同时具有一台网络视频服务器来转发 视频流 多台存储设备通过级联方式挂接在视频服务器后 如下图所示 传统监控存储架构缺点 传统监控存储架构缺点 XXX 视频监控存储解决方案 7 存储直联 使得存储利用率不高 存储容量不能共享 存储扩展性差 不利于后期扩容 线缆距离有限 不利于部署 数据查询效率低 不利于快速调取需要的数据 网络带宽不便于扩展 需要中断应用才可以实施 所有存储设备都需要有视频服务器进行管理 会造成系统性能瓶颈和 单点故障 4 3 先进的存储局域网络 SAN 结构 存储局域网络SAN是目前最为先进的海量数据存储架构 是建立在服务器 集群和存储设备之间的网络 给服务器集群提供集中式的共享的存储空间 便 于管理 SAN的优点可归纳为下几点 SAN存储系统扩展性好 升级能力强 投资保护性好 存储系统支持数据集中式管理 相关业务数据存储系统或全部的应用 数据存储系统合并为统一的存储系统 采用开放式的体系结构 支持多种系统平台的接入 亦即实现跨平台 操作 提供包括存储介质 接口设备及连接链路的冗余支持 向网络客户端和应用服务器提供高效可靠的数据存储服务时 同时对 应用系统的运行效率和网络的速度不会产生明显影响 4 4 IP 存储网络 传统的存储网络多采用光纤通道 FC Fibber Channel 的方式 整个系统 包括每个服务器端的光纤通道卡 光纤线 光纤通道交换机等 每片光纤通道 卡以及每个光纤通道交换机端口的价格是普通千兆以太网的10至20倍以上 加 上光纤的铺设在中国大部分地区不普及 整个系统的建设费用非常昂贵 IP SAN是近些年来新兴的网络存储技术 它希望用TCP IP以太网替代光纤 通道网络 IP SAN的好处在于 使用以太网络 保护了用户现有的投资 以太 网系统造价低 以太网是成熟的技术 具有良好的兼容性 以太网络可以扩展 XXX 视频监控存储解决方案 8 到远端 便于系统的做远程的容灾备份 以太网上现有的软件也可以直接使用 例如IP SAN可以直接加上IP sec软件 以达到存储网络加密的目的 千兆以太 网络的广泛使用 也使得IP SAN的性能得到提高 总之 采用IP SAN存储网络 可以达到好兼容性和最高的性能价格比 iSCSI协议是IP SAN中最为流行的协议 是IP存储的典型代表 利用IP SAN技术构建监控架构如下图 采用IPSAN存储方案的优势 a 低成本实现监控数据的集中化存储和统一管理 可靠而稳定 b 存储设备与视频服务器 监控客户端可以建设存储区域网络 共享性 良好 c 传输带宽更灵活 存储区域网络可以建设成百兆或千兆网络 能够最 大程度的满足前端客户机的存储压力需要 d 存储系统扩展性强 后期扩容方便 e 录像数据查询效率高 可以实时地调出需要的数据 f 可靠性极好 多台存储共用时彼此之间是相互独立的 避免单点故障 XXX 视频监控存储解决方案 9 第第 5 章章解决方案解决方案 5 1 设备选型 5 1 1 大型监控系统对存储设备的需求大型监控系统对存储设备的需求 平安城市项目作为典型的视频监控存储应用模式具备一切通用监控存储项 目的要求 但是由于其应用要求的特殊性又具有以下特点 1 读写响应性能要求高 读写响应性能要求高 对监控系统而言 存储设备的并发读写性能是衡量 其应用能力的关键指标 并发读写能力考验存储设备对视频数据的读写带宽的 支持能力 保证多路视频同时写入存储设备是不会丢帧 多个用户访问存储设 备时的数据读取响应能力 对平安城市而言 大量的视频数据要进行集中存储 对存储设备并发码流支持能力的要求很高 2 高清视频支持能力 高清视频支持能力 高清化是视频监控行业不可阻挡的必然趋势 目前已 经出现了 4Mbps 6Mbps 甚至 10Mbps 码流的高清视频 随着图像采集技术和 视频编解码技术的发展 必将出现更高码流的视频 因此 存储设备的选型必 须考虑高清视频的支持能力 3 设备安全运行能力设备安全运行能力 对于平安城市项目而言 数据安全性不言而喻 同时 平安城市监控系统是 7 24 365 的长时间不间断的运行 这就对存储设备的稳定 性提出了很高的要求 4 设备维护性 设备维护性 长时间的数据持续读写 个别设备的故障在所难免 如何能 够在设备故障时及时得知报警信息 及时判断故障点 及时维护是用户关心的 问题 要求设备具有良好的维护性以保证故障维护的方便 快捷 5 节能性 节能性 平安城市应用系统 大量存储设备的长时间不间断运行 能源消 耗巨大 在保证系统正常运行的同时降低能源消耗即是响应国家节能减排的号 召同时也是降低总体运行成本的有效途径 6 应用灵活性 应用灵活性 对于大型视频监控系统 NAS 功能的支持可以使用户在个 别服务器故障时配置前端摄像头 将采集的视频直接存储至 NAS 设备 进一步 提升系统的业务持续性 同时 NAS 功能的存储也可以丰富应用 在公安内部 可以建立共享空间 分享心得 共享成长 XXX 视频监控存储解决方案 10 7 设备集中管理 设备集中管理 对于平安城市级别的监控存储项目 必然需要大量存储设 备 众多设备的集中管理是方便用户管理 提升用户使用体验的重要功能点 所以对于多台存储设备使用的项目而言 设备集中管理软件不可或缺 总之 针对平安城市这一特殊的应用环境 对存储设备而言提出很高的要 求 在设备选型时要尽量考虑全面 以满足用户对整体系统的高要求 保证业 务持续性 5 1 2 存储设备选型存储设备选型 针对以上应用需求 建议采用同有飞骥的 NetStor iSUM420G3 作为存储设 备 该设备具有以下优点 IP SAN 产品 嵌入式控制器架构 非 X86 服务器架构 内部连接采用 Cable less 无线缆设计 支持 NAS 功能 RAID 级别 0 1 1E 3 5 6 10 30 50 60 级别 专用的 RAID6 校验芯 片 控制器采用 64 位存储专用芯片 内部集成 1MB 带有奇偶校验功能的 SRAM 支持 72 小时锂电池 Cache 断电保护 4 个千兆 iSCSI 主机通道 3U 高度 单机容纳 16 颗硬盘 最大可扩展到 112 硬盘 标配冗余电源 冗余风扇 支持 MAID2 0 硬盘休眠技术 支 持风扇智能调速 支持磁盘容量强制匹配功能 支持 Cache 定时强制刷新功能 支持分布式元数据存储 Metadata 存档 在箱体的每一块磁盘 支持 146 300 400 450 600 GB SAS 磁盘 支持 500 750 1000 1500 2000GB SATAII 磁盘 支持 Windows NT Windows 2000 2003 Linux HP UX IBM AIX Sun Solaris 和 Netware 等操作 系统 具备自动介质巡检功能 支持坏扇区自动检测与修复 S M A R T 功能 支持全局 局部 箱体热备援磁盘 支持自动后台 Raid 重建 支持在 线容量扩展 及 RAID 级别在线迁移 支持 RS232 WebGUI CLI SNMP OPAS 管理方式 XXX 视频监控存储解决方案 11 支持针对 File Server Video Stream Transaction Data Transaction Log Other 不同应用的系统自动优化功能 支持 USB 自动日志和配置信息导出 USB 自动软件升级和系统重设等 操作 支持定时开关机和 Wake on lan 及 Wake on sas 远程唤醒 5 2 解决方案 整个监控存储系统分为 21 个派出所监控分中心对 2450 路视音频数据进行 集中存储 整个系统设置一个总控制中心 约有 300 路数量摄像机视频信息需 要上传至总控制中心做集中备份 XXXX 视频监控项目信息如下 监控分中心 21 个 总控中心一个 前端摄像头 2450 个 视频码率 D1 格式 保证 25 帧 秒以上 视频码率以 1 5Mb 计算 录像保存时间保存 30 天 要求采用各派出所分散集中存储模式 XXX 视频监控存储解决方案 12 我们从系统的兼容性 稳定性与可靠性角度出发 并且考虑到保护已有的 投资 选择了基于 IP SAN 架构的数据存储方案 方案中主要采用北京同有飞 骥的存储设备 XXXX 存储系统 配合以太网交换机来完成 考虑到本监控系统 应用所存储数据较为重要和特殊 建议磁盘阵列采用 RAID 5 HotSpare 冗余 机制 以进一步保障存储数据的完整性和存储系统得持续运行 本设计方案是基于模块化 可扩展的 SAN 解决方案 它对企业的业务系统 能够提供无缝的存储解决方案 方案投资不高 在原有的设备得到合理利用的 前提下 基于网络的数据存储服务性能得到明显提升 业务数据实现了有效的 汇集和管理 实现了性能和价格的最优组合 采用各监控中心集中存储模式 通过分散的网络将各地的视频监控数据实 现集中存储和集中管理 iSCSI分散 集中式存储方案特点 先进的 IPSAN 网络架构 采用监控中心集中存储模式 将前端 视频资源就近存储和管理 有效的规避了网络带宽压力过大及网络不稳定 问题 对于重要监控点的重要数据采用一级中心存储的策略 充分利 XXX 视频监控存储解决方案 13 用网络的延展性 有利于对重要监控点的重点监控 同时 一级中心还可 以随时调用分控中心的监控数据 保证调看无盲点 RAID 技术与多种硬件冗余保证系统的高可靠性 磁盘故障不 会影响数据的继续访问 设备故障率降低 减少了维护成本 容易损坏 的磁盘被集中在中心 机房环境保证的设备的可靠性 冗余电源也减少了 故障率 设备管理 维护简单 磁盘的更换无需断电 也无需开启设备 机箱 可以实现带电热插拔 且换盘时也完全不影响数据的访问 存储集 中统一管理 无需管理每个前端存储 提高了客户服务质量 提高了系统响应时间 由于数据集中 存储在中心服务平台 当有客户请求时 无需在通过外部网络去前端提取 数据 这样使客户的数据访问路径减半 客户请求响应时间更短 服务质 量更高 高的可扩展性 存储可以实现按需分配 存储容量可以根据监 控规模的发展和增长来动态增长 例如 如果所有监控内容的保存时间从 1 个月提升到半年 如果采用集中存储方案 只需在网络中增加更多的存储 容量 而其他的部分都无需改变 就可以解决这个问题 存储的增值服务业务 基于网络化的存储 还可以提供数据的 磁带备份和光盘备份功能 通过这些功能来进一步提高服务质量 设备配置 以 XX 派出所为例 每路每天存储容量为 1 路 1 5Mb s 3600s 8bit 24 小时 1024 15 82GB 115 路 D1 视频流存储 30 天容量需求为 115 路 30 天 15 82G 1024 53 3TB XXX 视频监控存储解决方案 14 考虑到该 115 路视音频通道属于重要摄像点 所存储数据较为重要和特殊 建议磁盘阵列采用 RAID 5 冗余机制 以进一步保障存储数据的完整性和存储 系统得持续运行 XXX 视频监控存储解决方案 15 第第 6 章章 方案分析方案分析 本设计方案是基于模块化 可扩展SAN解决方案 具有业务连续性等特性 它对监控系统的业务系统能够提供无缝的存储解决方案 为监控存储提供系统 高效 高可靠性 高可用性支持 方案投资不高 可以把基于网络的数据存储 服务性能得到明显提升 业务数据实现了有效的汇集和管理 实现了性能和价 格的最优组合 方案具有如下特点 6 1 监控专业存储系统监控专业存储系统 本存储系统针对监控应用的特点对存储系统进行了优化 监控应用是一种 以写为主的存储应用 实际上是以大码流的多并发写为主的一种存储应用 因 此 在写性能 写的高并发和写的高稳定度方面 同有飞骥的存储设备采用专 业的控制器架构 具有良好的并发读写支持能力 同时支持针对流媒体的优化 功能 满足用户对读写性能的要求 6 2 高清视频支持高清视频支持 本存储系统针对高清视频监控应用的支持能力良好 iSUM420G3经过测试 证明对3Mbps 6Mbps甚至更高清晰度码流的支持能力良好 完全满足项目对 高清视频监控的应用要求 同时 IP SAN架构 具有灵活性强和扩展能力强的 优势 用户可将标清与高清视频混合存储 以达到降低数据传输和存储压力的 目的 保证负载均衡 提升系统稳定性 另外 用户对现有系统进行高清化升 级或者扩容均可以通过存储设备的横向扩容实现 6 3 同时提供同时提供 IP SAN 与与 NAS 监控存储方案是对现有的存储进行集中管理和存储 针对服务器的数据存 储 工业界上一般是采用SAN的架构 使用iSCSI协议 提供真正的高性能的 块级数据访问 实现了对服务器本地磁盘的扩展 从而提高数据存储的可靠性 可扩展性 和高性能 对于某些对性能要求不高的文件在用户之间的共享应用 XXX 视频监控存储解决方案 16 可以采用NAS的存储 由于同有的存储产品同时提供IP SAN和NAS的功能 所 以可以同时满足平安城市监控存储在这两方面的需求 6 4 高扩展性高扩展性 同有的产品采用先进的IP SAN架构 所以可以实现存储容量的高可扩充性 在应用发展 存储需求增长 现有容量不足的情况下 可以简单的购买更多的 存储设备联入交换机即可 支持设备级和卷级在线扩展 在提高容量的基础上 也同时提高了性能 而且支持对多个存储设备的集中统一管理 6 5 数据高可靠性数据高可靠性 方案中 数据存储可采用RAID 5 热备盘技术 一个RAID组出现硬盘坏 RAID技术可以保证数据不丢 而且存储服务无需中断 热备盘可保证对故障盘 在线进行及时替换 保障业务的可持续运行 同时 同有的iSUM420G3还支持 智能介质扫描 数据预先迁移功能 用户可定制化的对硬盘进行坏块扫描 并设 置一个数值 当硬盘坏块数达到该数值时启动该硬盘到热备盘之间的数据预先 迁移 进一步提升系统的安全性 6