清远监控容灾方案

视频存储容灾视频存储容灾 解决方案建议书解决方案建议书 监控系统视频存储容灾解决方案 目目 录录 1 概述概述 4 2 需求分析需求分析 4 2 1 存储现状 4 2 2 现有存储方案的不足 5 2 2 1 监控时间无法锁定 影响治安案件侦破 5 2 2 2 前端DVR硬盘容易损坏 造成数据丢失 6 2 2 3 存储容量不足 6 2 2 4 画面效果不理想 6 2 3 需改进的需求 6 2 3 1 锁定监控时间功能需求 7 2 3 2 存储设备容灾功能需求 7 2 3 3 大数据量存储功能需求 7 3 视频录像容灾服务器解决方案视频录像容灾服务器解决方案 8 3 1 改造前的清远电信全球眼监控系统 8 3 2 分布式存储备份解决方案 8 3 2 1 方案说明 8 3 2 2 清远电信监控点方案分析 10 3 2 2 1 DVR 设备硬盘容量扩容 10 3 2 2 2 添加视频录像容灾服务器 11 3 2 2 3 视频录像容灾服务器性能分析 11 3 2 3 方案主要解决的问题 12 3 2 4 视频录像容灾服务器主要功能 13 3 2 4 1 告警信息监听功能 13 3 2 4 2 DVR 设备管理功能 13 3 2 4 3 视频录像文件管理功能 14 3 2 4 4 视频录像功能 14 3 2 5 系统部署 15 监控系统视频存储容灾解决方案 3 2 6 方案特点 16 4 主要设备参数介绍主要设备参数介绍 17 4 1 产品信息 17 4 2 产品特性 17 4 3 参数说明 18 监控系统视频存储容灾解决方案 1 概述概述 中国电信清远分公司目前使用的全球眼监控系统的数据保持采用了 DVR 本 地存储和上传中心机房两种形式 随着监控系统的进一步使用 逐步发现在应 用当中存在一些不足 并且已经部分影响了系统更好的发挥作用 因此在此基 础上 本方案提供了配套升级的解决方案 可以采用最少的费用保障系统有效 运行并为后续升级提供可靠的保证 2 需求分析需求分析 2 1 2 1 存储现状存储现状 中国电信清远分公司全球眼系统目前使用的治安监控系统总共建设了约 90 个摄像头 共有 DVR20 台 视频数据记录采用 DVR 本地存储 DVS 集中上传 至中心机房存储 中心机房设置一台集中存储器 其储存容量为 16T 存储视 频码流多数为 512K 且基本上采用 CIF 格式存储 或存储视频码流全部为 2M 全部采用 D1 格式存储 512k 肯定是 CIF 的 D1 的肯定是 2M 你根据实 际情况写一个 由于建设的时间关系 DVR 的硬盘容量跟据 DVR 连接的前 端摄像头数量配置 大部分以一个摄像头配置一个 250G 硬盘为准 DVR 存储现状 以博爱小学监控点为例 该小学内设有 DVR 一台 监控摄像头 6 个 内置 250G 6 1500G 1 5T 硬盘 按以上配置计算 一路监控图像一天的存储容量为 存储容量 每点每秒数据流量 x 3600 秒 x 24 小时 0 512 x 60 秒 x 60 分 x 24 小时 42GB 此为按照 512K cif 格式路线计算 目前一台 DVR 设备的存储容量 1 5TB 支持 6 路监控图像 监控系统视频存储容灾解决方案 录像存储天数为 1500 42x 6 5 9 天 7 天 2 2 2 2 现有存储方案的不足现有存储方案的不足 数据存储功能是视频监控系统最重要的功能之一 它有利于后期调查取证 实现视频数据的快速回放 通过采取包括电子监控的存储功能 可以多方位的 记录下各个监控点的事件发生过程 为日后事件回放提供最直接的证据 视频监控对存储需求有如下几个特点 1 对存储的容量需求弹性比较大 存储容量的多少随着画面质量的提高 画面尺寸的增大 视频路数的增加都会成倍的增加容量需求 2 对存储的可靠性要求高 存储系统需要能够满足长时间的大吞吐量连续 数据读写 基于上述特点 结合上文的存储现状 在中国电信清远分公司全球眼监控 系统运行到目前 已经发现一些需要改进的需求 2 2 1 监控时间无法锁定 影响治安案件侦破监控时间无法锁定 影响治安案件侦破 现有的视频录像数据的保存部分节点小于 7 天 如果超过这个保存时间 则视频录像数据会被新的视频录像数据给覆盖 就很有可能出现所需视频录像 数据被覆盖丢失的情况 从而影响案件的侦破工作 同时 为了获得作案人入 站的信息 需要调出所有监控点距离作案时间之前某段时间内的录像 由于监 控点数量众多 90 个 所以调查录像的周期往往长达半个月时间 如果查询 的视频录像接近保存时限 或者由于查询的录像量比较大 需要花费长时间进 行查看 而往往在调查过程中 前端 DVR 录像已经覆盖了所需调查的录像资料 影响的案件侦破 2 2 2 前端前端 DVR 硬盘容易损坏 造成数据丢失硬盘容易损坏 造成数据丢失 目前的前端 DVR 设备基本都是采用内置的 IDE 硬盘或者 DVR 设备专用 硬盘来存储视频数据 而根据硬盘的质量参数可以预见 在运行一段时间后 监控系统视频存储容灾解决方案 容易出现硬盘损坏故障 通常情况下损坏率占整个系统的 6 8 左右 如果 缺少容灾功能 一旦发生硬盘损坏 则会丢失大量视频数据 一旦此段时间该 地点发生治安案件 将无法查阅录像进行侦破 2 2 3 存储容量不足存储容量不足 数据保存周期短 目前监控图像数据以 CIF 格式仅能保存 7 天左右以后便 自动覆盖 2 2 4 画面效果不理想画面效果不理想 CIF 格式的路线画面效果在观察大范围图像时尚比较清晰 但是在将图像 放大后的效果并不理想 特别是在案件侦破时对于人脸识别 细节动作 仪器 设备等总要信息的录像效果不够清晰 2 3 2 3 需改进的需求需改进的需求 根据中国电信清远分公司全球眼监控的整体规划 将陆续采用高清的 D1 格式 已有的低于 D1 格式的视频点将在以后的扩容中逐步升级到 D1 格式 监 控录像存储的时间为 15 天至 30 天不等 结合上文的存储现状分析 发现中国 电信清远分公司全球眼监控系统关于存储的一些需要改进的需求 2 3 1 锁定监控时间功能需求锁定监控时间功能需求 通过视频录像锁定 确保所需要的视频录像数据在使用过程中不会由于覆 盖而导致丢失 以确保侦察工作能顺利进行 2 3 2 存储设备容灾存储设备容灾功能需求功能需求 由于设备是需要 7 x24 小时不间断运行 这样不但对视频录像的稳定性提出 了严格的要求 而且 对视频录像存储设备来说 由于需要对硬盘进行长时间 的连续读写操作 因此 对于整个系统 容灾功能是十分必要的 监控系统视频存储容灾解决方案 对于 DVR 硬盘损坏的问题 从目前技术层面来看 符合硬盘寿命规律 尤 其是长时间连续对硬盘的读写操作 这是监控系统的特点 对硬盘的损坏尤其 严重 因此 该问题不属于硬盘质量问题 需要对 DVR 设备进行实时监控 并 制定预防措施通过存储设备容灾功能来保存视频数据 使系统能够持续长时间 正常运行 2 3 3 大数据量存储功能需求大数据量存储功能需求 从目前需求情况来看 前端 DVR 覆盖录像是 DVR 固化的程序 且由于设 计时间先后不同 DVR 录像时间也不尽相同 因此 解决 DVR 覆盖问题的方 法主要有两个 1 增加 DVR 录像时间 以满足案件侦破需要 但此方案由于无法预 知案件调查所需的时间 因此难以有效满足需求 2 增加存储设备 对前端 DVR 进行录像备份 由于可以估算案件调 查所需的时间段 因此采用额外的存储设备是比较可行的解决方案 目前市场上主流的 DVR 一般最多能支持 8 个 IDE 硬盘 每个硬盘容量理 论上最高支持 2000GB 而实际上目前市场上单个 IDE 硬盘容量最大为 1000G DVR 专用硬盘最大为 750G 仅依靠扩充 DVR 自身硬盘容量难以满足系统大数据量存储功能需求 而且 数据安全得不到有效保证 因此 建议 增加因此 建议 增加 DVR 设备的硬盘容量 并增加配置高性能 可靠性 设备的硬盘容量 并增加配置高性能 可靠性 配置数据保护功能的硬盘阵列作为配置数据保护功能的硬盘阵列作为 DVR 的附加存储备份是比较可取的方案 的附加存储备份是比较可取的方案 3 视频录像容灾服务器解决方案视频录像容灾服务器解决方案 3 1 3 1 改造前的清远电信全球眼监控系统改造前的清远电信全球眼监控系统 目前清远电信全球眼监控系统的系统网络拓扑图如下 监控系统视频存储容灾解决方案 模模拟拟信信号号 模模拟拟信信号号 专专网网 模拟摄 像机 监监控控终终端端 监监控控终终端端 DVR 模拟摄 像机 模拟摄 像机 模拟摄 像机 DVR 模拟摄 像机 某某局局监监控控点点 电电视视墙墙 控控制制键键盘盘 视视频频分分配配器器 模模拟拟信信号号 模模拟拟信信号号 模拟摄 像机 模拟摄 像机 模拟摄 像机 模拟摄 像机 模拟摄 像机 某某局局监监控控点点 电电视视墙墙 网网管管服服务务器器 网网监监控控服服务务器器 监监控控中中心心 数数字字矩矩阵阵 DVR DVR 电电视视墙墙 控控制制键键盘盘 视视频频分分配配器器 目前中国电信清远分公司全球眼监控系统的视频录像数据基本在每个站点 DVR 所在的监控室采用 DVR 本地存储方式进行存储 3 2 3 2 分布式存储备份解决方案分布式存储备份解决方案 3 2 1 方案说明方案说明 根据本方案第 2 章节的分析结果 我公司在多年专业存储技术的基础上推 出针对监控市场的视频录像容灾服务器 作为这种专门的录像存储服务器设备 通过分布式存储备份解决方案可以有效解决目前清远电信监控系统中存在的问 题 分布式存储备份解决方案是基于我公司的 PTS80ID 基础上的解决方案 整 个设计的总体思路是利用硬盘阵列高可靠 数据冗余的特点 在每个站点 DVR 所在的监控室中接入一台 PTS80ID 视频录像容灾服务器 改造后的网络拓扑图 如下 监控系统视频存储容灾解决方案 模模拟拟信信号号 模模拟拟信信号号 专专网网 模拟摄 像机 监监控控终终端端 监监控控终终端端 DVR 模拟摄 像机 模拟摄 像机 模拟摄 像机 DVR 模拟摄 像机 某某局局监监控控点点 电电视视墙墙 控控制制键键盘盘 视视频频分分配配器器 模模拟拟信信号号 模模拟拟信信号号 模拟摄 像机 模拟摄 像机 模拟摄 像机 模拟摄 像机 模拟摄 像机 某某局局监监控控点点 电电视视墙墙 网网管管服服务务器器 网网监监控控服服务务器器 监监控控中中心心 数数字字矩矩阵阵 DVR DVR 电电视视墙墙 控控制制键键盘盘 视视频频分分配配器器 视视频频录录像像容容灾灾服服务务器器 增增加加设设备备 视视频频录录像像容容灾灾服服务务器器 增增加加设设备备 容容灾灾管管理理服服务务器器 由于与 DVR 设备是存放在同一个网段 使得网络通信不是瓶颈 能在最快 的时间内把 DVR 设备数据安全地转移 监控系统视频存储容灾解决方案 3 2 2 清远电信监控点方案分析清远电信监控点方案分析 模模拟拟信信号号 模模拟拟信信号号 模拟摄 像机 光端机 DVR 光光纤纤 光端机 模拟摄 像机 模拟摄 像机 光端机 光光纤纤 光端机 模拟摄 像机 电电视视墙墙 控控制制键键盘盘 视视频频分分配配器器 视视频频录录像像容容灾灾服服务务器器 模模拟拟信信号号 模拟摄 像机 光端机 DVR 光光纤纤 光端机 模拟摄 像机 DVR 清远电信监控点拓扑图 3 2 2 1 DVRDVR 设备硬盘容量扩容设备硬盘容量扩容 DVR 设备硬盘容量扩充设备硬盘容量扩充 以博爱小学监控点为例 1 台 DVR 设备 支持 6 路监控图像 以 D1 格式 保存 15 天左右视频录像数据以后便自动覆盖 一路监控图像一天的存储容量 2 3600 24 169G 则所需存储的数据容量为 D1 格式的视频流按 2Mbps 计算 每点每秒数据流量 x 总路数 x 3600 秒 x24 小时 x 天数 2 x 6 x 3600 x 24 x 15 15187 5 GB 15 TB 监控系统视频存储容灾解决方案 因此 建议 因此 建议 对对 DVRDVR 设备的硬盘容量扩充到设备的硬盘容量扩充到 15TB15TB 从而满足系统升级后所 从而满足系统升级后所 需要的本地存储容量 需要的本地存储容量 添加视频录像容灾服务器 在博爱小学监控点增加一台视频录像容灾服务器 其功能 在博爱小学监控点增加一台视频录像容灾服务器 其功能 1 监控 DVR 设备的运行情况 2 当 DVR 设备的硬盘出现损坏的时候 视频录像容灾服务器不但接管该 DVR 设备的视频录像而且要以最快的速度备份该台 DVR 设备中的所有 视频录像数据 3 录像锁定功能 3 2 2 2 3 2 2 2 视频视频录像容灾服务器性能分析录像容灾服务器性能分析 以一般所监管的 DVR 设备的硬盘容量的 10 20 进行容灾存储计算 可 以估算 视频录像容灾服务器所需要的存储大小范围为 最小 15T 10 1 5T 最大 15T 20 3T 而根据其功能二 当某台 DVR 设备的硬盘出现损坏的时候 视频录像容灾 服务器不但接管该 DVR 设备的视频录像而且要以最快的速度备份该台 DVR 设 备中的所有视频录像数据 因此其存储空间理论上大于等于一台 DVR 设备的存 储容量 15T 当需要视频锁定功能操作时 由于汇聚点的所有监控点间会存在关联性 因此 一般是需要对该汇聚点中所有监控点的某个时间段 一般需要以天来计 算 的视频录像进行锁定操作 就相当于一台视频录像容灾服务器提取所监管 的 DVR 设备某个时间段的视频录像数据 这个时间段不能太短 否则不能体现 出视频录像锁定功能 以 1 天例 需要保存容量 每点每秒数据流量 x 总路数 x 3600 秒 x 24 小时 x 1 天 2x6 x 3600 x 24 x 1 1012G 1T 由于视频录像容灾服务器需要随时接管 DVR 设备的录像功能 并且要有足 够的容量来进行视频录像的锁定功能 监控系统视频存储容灾解决方案 因此 取一个适中值 建议视频录像容灾服务器的实际可用存储容量为 2 6T 考虑到采用 RAID 数据保护和磁盘格式化等的容量损失情况 所配磁盘物 理容量只有 70 可用 所以实际所需的磁盘容量约为 2 6T 70 3 8TB 我公司的 PTS80ID 视频录像容灾服务器的磁盘容量为 4TB 满足系统需求 3 2 3 方案方案主要解决的问题主要解决的问题 这种设计方案主要解决以下需求 扩展扩展 DVR 录像时间录像时间 通过扩充 DVR 设备的磁盘容量 满足了 D1 格式 15 天存储的系统基本 需求 加上视频录像容灾服务器的备份容量 通过系统设置 可以实 现视频录像保存时间的可扩展性 理论上可以增加该节点所有视频监控线路的视频录像数据 7 天的保存 时间 实现实现 DVR 的在线式录像备份设备的在线式录像备份设备 视频录像容灾服务器将时刻保持对所有 DVR 的监控 视频录像容灾服 务器将时刻监控 DVR 的状态 一旦发现 DVR 出现硬盘故障 视频录 像容灾服务器将立即接管 DVR 的录像信息 直接将 DVR 的录像存储 在视频录像容灾服务器中 同时 通过网络将未损坏的 DVR 录像资料 转移到视频录像容灾服务器中 从而避免 DVR 设备再出现问题 导致 录像数据的损失 一旦更换了新的 DVR 视频录像容灾服务器将录像 控制权转移到 DVR 实现录像锁定实现录像锁定 视频录像容灾服务器具有录像锁定功能 一旦发生案件 可以通过监 控平台发送指令给视频录像容灾服务器 视频录像容灾服务器可以从 DVR 中直接将定制时间段的录像拷贝到服务器中 并进行锁定操作 同时可提供给平台调用这段录像资料 通过监控平台可以发送指令对 监控系统视频存储容灾解决方案 锁定录像进行解锁 3 2 4 视频录像容灾服务器主要功能视频录像容灾服务器主要功能 视频录像容灾服务器功能图如下 视频录像容灾服务器功能图 3 2 4 1 3 2 4 1 告警信息监听功能告警信息监听功能 实时监听网络端口 如果收到 DVR 设备的告警信号 则立即通知管理服务 器 并同时触发视频录像监控权转移命令和视频数据迁移功能 3 2 4 2 3 2 4 2 DVRDVR 设备管理功能设备管理功能 监管 DVR 设备的各自状态 DVR 设备的配置信息 硬盘状态信息以及录 像状态信息 进行轮循方式的指令查询 并把所查询的结果上报到管理服务器 以及修改 DVR 设备的相关参数 视视频频录录像像文文件件管管理理功功能能 设设备备管管理理功功能能 告告警警信信息息监监听听功功能能 视视频频录录像像 功功能能 视视频频容容 灾灾服服务务 器器 视视频频录录像像锁锁定定功功能能 视视频频数数据据迁迁移移功功能能 视视频频录录像像监监控控权权功功能能 录录像像回回放放功功能能 监控系统视频存储容灾解决方案 3 2 4 3 3 2 4 3 视频录像文件管理功能视频录像文件管理功能 接收容灾管理服务器的指令 对视频录像容灾服务器中的视频录像文件进 行管理操作 如清理视频录像文件 上传视频录像文件等 3 2 4 4 3 2 4 4 视频录像功能视频录像功能 1 视频录像锁定视频录像锁定功能功能 视频录像容灾服务器接收容灾管理服务器的命令 根据所要求的监控点以 及时间段 向对应的 DVR 设备发起视频录像文件迁移指令 把对应的视频录像 文件迁移到视频录像容灾服务器的硬盘中进行保存 当视频录像数据使用结束 后 进行解锁操作 使得这些文件可以进行删除 以腾出存储空间 2 2 视频录像监控权功能 视频录像监控权功能 当 DVR 设备发出硬盘预警信息 视频录像容灾服务器立即发出接管 DVR 视频录像控制权命令 并开始实时接收 DVR 设备的实时视频录像数据流 保存 在本地硬盘中 并能定时向容灾管理服务器告警和通报情况 3 3 视频数据迁移功能 视频数据迁移功能 当 DVR 设备发出硬盘预警信息 视频录像容灾服务器在进行接管 DVR 视 频录像控制权的同时 也触发该功能 查询 DVR 设备中最早的视频录像文件 从当前下达命令的时间为标记 按录像时间的后先顺序 先迁移录像时间最早 的文件 再到后一点的文件 最后是下达命令的时间为标记前的视频录像文件 把文件迁移到视频录像容灾服务器的硬盘中 并能定时通知管理服务器当前迁 移的进度 4 4 录像回放功能 录像回放功能 根据容灾管理服务器的需求 根据所要求的监控点以及时间段 向该监控 点所在的 DVR 设备发起视频录像文件点播指令 如果查询结果是没有数据 则 再查询视频录像容灾服务器的硬盘 如果没有则返回无数据信号 有数据则回 放给用户 根据指令所指定的时间段 把 DVR 设备中对应的视频录像文档以视 频播放的格式传送给视频录像容灾服务器 监控系统视频存储容灾解决方案 3 2 5 系统部署系统部署 从设计图上可以清楚的知道 本方案对于整个系统的改造最为简单 仅仅 在前端 DVR 的交换机部分通过网线接入一台视频录像容灾服务器即可完成整个 系统的硬件部分连接 每台视频录像容灾服务器仅需占用一个交换机端口和一个 IP 地址 经调查 现有的监控系统中交换机端口和 IP 地址资源均满足需求 具体 IP 地址的分配 可与清远电信分局协商进行统一规划 清远监控的中心机房在哪里 如果有中心机房 就只需要一台容灾管理 服务器 放在中心机房就够了 如果没有 就每个地方选一个点放容灾管理服 务器 监控地点 监控点总数 个 部署设备 英德市电子监察视频监控共 15 个 行政服务中心3 交警大队3 社保局2 交通局2 公安局1 工商局1 国税局1 国税局1 地税局1 容灾管理服务器 1 台 视频录像容灾服务器 1 台 清新县环保监控共 33 个 艺强人造饰品有限公司 2 清新县顺景染织厂 4 清新县鸿基染织有限公司 4 容灾管理服务器 1 台 视频录像容灾服务器 1 台 清新飞龙氧化铁有限公司 2 广英水泥厂 2 先导稀有金属 3 镇宇染织 3 视频录像容灾服务器 1 台 新绿环境 3 冠龙纺织 4 双汇食品 2 普科电路板 2 视频录像容灾服务器 1 台 监控系统视频存储容灾解决方案 森叶纸厂 2 市区环保监控共 11 个 半环营业厅 1 城中路营业厅 1 1 城中路营业厅 2 1 英德英洲营业厅 1 英德百花营业厅 1 博爱小学 6 容灾管理服务器 1 台 视频录像容灾服务器 1 台 阳山白莲环保监控1 个 容灾管理服务器 1 台 视频录像容灾服务器 1 台 3 2 6 方案特点方案特点 分布式存储备份解决方案具有简单 高效 投入少等特点 而视频录像容 灾服务器对于硬盘具有完善的保护机制 因此整个系统具有很高的推荐意义 总体来讲 分布式存储备份解决方案具有如下特点 结构简单 对整个系统运行没有任何影响结构简单 对整个系统运行没有任何影响 本方案对于整个系统的改造简单 仅仅在前端 DVR 的交换机部分通过网线 接入一台视频录像容灾服务器即可完成整个系统的硬件部分连接 对原有系统 运行没有任何影响 本地分布连接 不占用系统主干带宽 不影响整体系统性能本地分布连接 不占用系统主干带宽 不影响整体系统性能 由于与 DVR 设备是存放在同一个网段 使得网络通信不是瓶颈 能在最快 的时间内把 DVR 设备数据安全地转移 而且不占用系统主干带宽 不影响整体 系统性能 实施灵活 可分布实施实施灵活 可分布实施 本方案支持集中备份结构的视频监控系统 也支持分布式视频监控系统 可以根据客户需求合理部署本系统 只要是在网络内均可以实现集中或者分布 式部署方式 IP 存储方式 具有良好的扩充性存储方式 具有良好的扩充性 本方案采用扩充性非常强的 IP 存储结构 不仅具有良好的稳定性 而且具 有良好的扩充性能 可以随时插入存储阵列进行扩容 而不需要影响整个系统 运行 监控系统视频存储容灾解决方案 RAID 冗余技术 热备盘机制 数据高度可靠冗余技术 热备盘机制 数据高度可靠 本方案采用的阵列具有成熟技术的阵列技术 拥有各种高级硬盘保护技术 包括 RAID 5 冗余技术 热备份盘技术 可以在损坏一个硬盘的情况下仍然保 持工作状态 做到不间断容错运行 10 20 备份 整个改造代价很小 备份 整个改造代价很小 整个设计方案基于廉价的 NAS 存储结构 在此基础上增加容灾机制 因此 有效降低平安城市的建设成本 对于通常的光纤阵列 本方案可以减少至少 10 的投资成本 并且增加了光纤阵列没有的容灾功能 由于涉及对