（微电子学与固体电子学专业论文）实时多媒体存储系统设计.pdf

杭州电子科技大学硕士学位论文 摘要 安防产业发展迅速，嵌入式硬盘录像机已经得到越来越广泛的应用，作为视频安防核心 技术之一的存储技术的发展显得极为重要。通用文件系统具有通用性特点，不受使用平台限 制，方便功能扩展，因此本文基于通用文件系统设计了嵌入式硬盘录像机的实时多媒体存储 系统。该存储系统实现了视频录像机本地存储和网络存储两大模块，支持录像存储和抓图存 储等功能，具有更好的移植性和可扩展性，满足了市场的需要。 本论文首先从视频编解码技术、软硬件技术、存储技术三方面介绍了嵌入式硬盘录像机 的发展历程。然后从嵌入式硬盘录像机的硬件结构、软件结构、基本功能以及平台软件的编 译环境等方面介绍了嵌入式硬盘录像机的结构信息，详细阐述了嵌入式硬盘录像机的特点。 针对嵌入式硬盘录像机数据存储持续时间长，数据传输量大，数据访问量低，数据存储 周期短等特点，本论文设计了嵌入式硬盘录像机存储模块软件库，该软件库采用c c + + 编程 语言以及l i n u x 相关系统调用实现，所属嵌入式应用层库。从数据存储位置分，软件库可分 为本地存储模块和网络存储模块；从层次架构分，软件库可分为存储介质管理模块、远程目 录管理模块、工作目录管理模块、文件监控模块、数据库模块、媒体文件模块、索引文件模 块、文件查询模块以及f t p 服务端模块。 为方便集中管理本地存储介质分区、格式化等操作，论文设计了存储介质管理模块。在 网络存储模块中相对应设计了远程目录管理模块，实现远程目录的登录、挂载等功能。论文 规定一个本地分区或者一个远程目录对应一个工作目录，论文在存储介质管理模块和远程目 录管理模块的基础上设计了工作目录管理模块，实现了工作目录类型切换、循环覆盖等功能。 为实现文件1 0 读写与文件信息存储异步操作，提高数据存储效率，在工作目录管理模块的基 础上论文设计了文件监控模块和数据库模块，文件监控模块监控文件的创建、读写等事件， 将监控到的事件信息发送到数据库模块中存储，同时，数据库模块提供了基于数据库的文件 快速查询接口。在文件监控模块和数据库模块基础上，论文设计了媒体文件模块，负责完成 文件的读写、文件上电修复、抓图索引信息存储等工作。为支持录像跳帧回放功能，论文设 计了帧索引模块，存储了录像文件中的i 帧信息。同时，论文设计了文件查询模块，支持基 于文件目录的录像查询功能和基于索引的抓图文件查询功能。最后，论文提供了精简的功能 接口，供上层用户接口调用。 最后，对本系统进行了功能测试和系统性能测试。经测试，本系统实现了存储相关基本 功能，在性能方面，在分辨率为c i f 、码流1 0 2 4 k b s 编码格式下，1 6 通道录像，c p u 不高于 3 0 ，8 通道录像、抓图，c p u 不高于2 5 ，完全可以满足嵌入式硬盘录像机的存储需求。 关键字：嵌入式d v r ，文件系统，本地存储，网络存储，软件库，视频安防 杭州电子科技大学硕+ 学位论文 a b s t r a c t s e c u r i t yi n d u s t r yh a sd e v e l o p e dr a p i d l y b e c a u s eo ft h ew i d e l yu s e do fe m b e d d e dd v r ，t h e v i d e os e c u r i t ys t o r a g et e c h n o l o g ya st h ec o r et e c h n o l o g yo fd v rb e c o m e sm o r ea n dm o r e i m p o r t a n t t h es t a n d a r df i l es y s t e mh a sg e n e r a lc h a r a c t e r i s t i c s ，a n dn o tt oc o n s i d e rt h eu s e o ft h e p l a t f o r m ，e a s ye x t e n s i o n s s ot h i sp a p e rd e s i g nt h er e a l t i m em u l t i m e d i as t o r a g es y s t e mb a s e do n t h eg e n e r a lf i l es y s t e m t h es t o r a g es y s t e mi sc o m p o s e dw i t ht h el o c a ls t o r a g em o d u l ea n dt h e n e t w o r ks t o r a g em o d u l e ，s u p p o r tf o rv i d e os t o r a g ea n ds n a p s h o ts t o r a g ea n dh a sb e t t e rp o r t a b i l i t y a n ds c a l a b i l i t y f i r s to fa l l ，t h i sp a p e rd e s c r i b e st h ed e v e l o p m e n to fe m b e d d e dd v rf r o mt h ev i d e oc o d e c t e c h n o l o g yt os o f t w a r et e c h n o l o g y a n dt h e ni n t r o d u c et h ea r c h i t e c t u r eo fe m b e d d e dd v r f r o m h a r d w a r ea r c h i t e c t u r et ob a s i cf u n c t i o n s t h ed a t as t o r a g eo fe m b e d d e dd v rh a sl o t so ff e a t u r e s ，s u c ha sl o n gd u r a t i o no fd a t as t o r a g e ， d a t at r a n s m i s s i o nc a p a c i t y , l o wd a t aa c c e s sa n dl o wl i f ec y c l e s ot h i sp a p e rd e s i g n st h es t o r a g eo f l i b r a r yt oa c h i e v et h e s ef e a t u r e s t h i sp a p e ru s ec c + + l a n g u a g et od e s i g nt h el i b r a r ya n dt h e p o s i t i o ni nt h ee m b e d d e ds y s t e mi sa p p l i c a t i o nl a y e r p o i n t sf r o mt h ed a t as t o r a g el o c a t i o n ，t h e s t o r a g el i b r a r yc a l lb ed i v i d e di n ol o c a ls t o r a g em o d u l ea n dn e t w o r ks t o r a g em o d u l e ；a n dp o i n t s f r o mt h el e v e lo fa r c h i t e c t u r e ，t h es t o r a g el i b r a r yc a l lb ed i v i d e di n t od i s km a n a g e m e n tm o d u l e ， r e m o t ed i r e c t o r ym a n a g e m e n tm o d u l e ，w o r kd i r e c t o r ym a n a g e m e n tm o d u l e ，f i l ew a t c h e rm o d u l e ， d a t a b a s em o d u l e ，m e d i af i l e sm o d u l e ，i n d e xf i l em o d u l e ，q u e r yf i l em o d u l ea n df t ps e r v e rm o d u l e i no r d e rt of a c i l i t a t et h ec e n t r a l i z e dm a n a g e m e n to fl o c a ld i s k s ，t h i sp a p e rd e s i g n sd i s k m a n a g e m e n tm o d u l et oc o m p l e t ed i s kp a r t i t e ，f o r m a t a n ds oo n a n dt h er e m o t ed i r e c t o r y m a n a g e m e n tm o d u l ei su s e dt oa c h i e v e t ol o 西no rm o u n tt h er e m o t ed i r e c t o r y t h i sp a p e rp r o v i d e s al o c a lp a r t i t i o no ro n er e m o t ed i r e c t o r yc o r r e s p o n d st oaw o r k i n gd i r e c t o r y a n dt h i sp a p e rd e s i g n s t h ew o r kd i r e c t o r ym a n a g e m e n tb a s e do nt h ed i s km a n a g e m e n ta n dr e m o t ed i r e c t o r ym a n a g e m e n t m o d u l e st ot h es w i t c ho ft h et y p e so fw o r kd i r e c t o r y , l o o pc o v e r a g ea n do t h e rf u n c t i o n s t h ef i l e w a t c h e rm o d u l ea n dd a t a b a s em o d u l ea c h i e v et h ea s y n c h r o n o u so p e r a t i o n sb e t w e e nd a t as t o r a g e a n dt h ei n f o r m a t i o no ff i l e m e a n w h i l e , t h ed a t a b a s em o d u l ep r o v i d e sf a s tq u e r yi n t e r f a c eb a s eo n t h ed a t a b a s e i no r d e rt oa c h i e v et h ef u n c t i o n so ff i l e sr e a do rw r i t e ，r e p a i r , i n d e xf i l es t o r g a ef o r s n a p s h o ts t o r a g e ，t h i sp a p e rd e s i g m st h em e d i ad i l em o d u l eb a s e do nt h ed a t a b a s em o d u l ea n df i l e w a t c h e rm o d u l e t os u p p o r tv i d e op l a y b a c ks k i p p i n g , t h i sp a p e rd e s i g n sf r a m ei n d e xm o d u l e , s t o r a g e if r a m eo fv i d e o m e a n w h i l e ，t h ep a p e rd e s i g nt h eq u e r yf i l em o d u l e , s u p p o r tf o rr e c o r df i l e q u e r ya n ds n a p s h o tq u e r y f i n a l l y , t h ep a p e rp r o v i d e ss i m p l ei n t e r f a c e sf o rt h eu p p e r u s e r st oc a l l 杭州电子科技大学硕士学位论文 f i n a l l y , t h ep a p e rt e s t st h es y s t e mf u n c t i o n sa n dp e r f o r m a n c eo ft h es t o r a g el i b r a r y a f t e rt h e t e s to fs t o r a g el i b r a t y , t h el i b r a r yr e a l i z e st h eb a s i cf u n c t o n so fd 之s t o r a g e ，a n di nt e r m so f p e r f o r m a n c e s ，i nt h er e s o l u t i o no fc i f , 1 0 2 4 k b ss t r e a me n c o d i n gf o r m a t ，c p ui sn o th i g h e rt h a n 3 0 w h e n16c h a n n e l sr e c o r da tt h es a m et i m e ，a n dc p ud o e sn o te x c e e d2 5 w h e n8c h a n n e l s r e c o r da n ds n a p s h o ta tt h es a m et i m e s ot h es t o r a g el i b r a r yf u l l ym e e tt h es t o r a g en e e d so f e m b e d d e dd v r k e y w o r d s ：e m b e d d e dd v r ，f i l es y s t e m ，l o c a ls t o r a g e ，n e t w o r ks t o r a g e ，s o f t - w a r el i b r a r y ， v i d e os e c u r i t y i i i 杭州电子科技大学硕士学位论文 1 绪论 1 1 研究背景及其意义 中国安防产业经过三十多年的不断发展，已经形成了种类齐全、技术先进的新兴产业体 系。在“十一五”期间，我国国民经济取得了持续快速的发展，在政府部门大力推动以及“平 安城市”、“2 0 0 8 奥运会”、“上海世博会”等大型项目或者活动的带动下，我国安防产业在安 防产品制造、工程设计实施及服务业均获得了长足的发展与进步，形成了广泛的市场运用、 相对完整的产业链形式和高度成长性的热门行业。在此期间，中国安防行业成功克服了世界 金融危机带来的影响，圆满的完成了“十一五”规划的各项主要任务，无论在发展速度，还 是在经济效益上取得了很好的成就。 与之前相比，中国安防产业具有几个鲜明的特剧1 , 2 1 ： 1 ) 产业实力大为增强，结构布局逐渐趋于合理 截止到2 0 1 0 年，中国从事安防产业的企业已经达到2 5 0 0 0 家左右。整个安防行业的总产 值达到了2 3 0 0 多亿元，其中安防电子产品的产值比重占了4 3 左右，另外安防行业工程和相 关的服务体系产值比重占5 3 ，其他方面占了4 左右。整个安防行业的增加值已经达到8 0 0 多亿元，是2 0 0 5 年的1 8 倍，年均增加达到了2 3 以上。其中，安防电子产品发展较快，年 均增加2 5 左右，到2 0 1 0 年年底，安防电子各类产品有视频监控系统、出入口控制系统、防 盗报警和其他类别组成。其中，视频监控系统占了整个安防电子产品的5 5 的比重。 随着安防产业的不断发展以及市场的广泛应用，行业内部种类逐渐增多，形成了集科研 开发、生产制造、施工集成以及销售服务为一体的完整产业连体系。并形成了三大地域性产 业集群，即以电子安防产品生产企业集聚为主的“珠三角”地区，以高新技术和外资集聚为 主的“长三角”地区，以集成应用、软件、服务企业集聚为主的“环渤海”地区。 2 ) 市场应用不断向深度、广度扩展，进出口贸易增快 我国国民经济的不断快速发展带动了整个安防行业的发展，尤其是在国家大力推进“平 安城市”的建设背景下，安防行业已经和一些传统的领域如金融、交通、政府、部队、教育、 卫生等领域展开深入合作。市场应用已经逐步从大型城市为中心，向全国二三线城市以及农 村扩展。另外在全球市场经济开始出现回暖时，绝大多数的安防企业成功度过了金融危机， 进出口贸易开始呈较快趋势发展。 3 ) 科技创新能力增高，市场秩序开始好转 随着计算机技术、网络技术以及视频编解码技术的不断发展，为安防企业的创新带来了 机遇，安防产业已经逐渐的向数字化、集成化、网络化、智能化方向发展。另外整个安防行 业已经逐步适应了市场体制的要求，探索出具有安防特色的发展体系，为制定出整个安防行 业在安防产品、系统软件、平台应用功能的一系列政策做出了重大的贡献。 杭州电子科技大学硕士学位论文 虽然中国安防产业有了较大的发展，但是与国外相关行业相比，仍有较大的差距，具体 表现在：( 1 ) 多数企业规模偏小，入门门槛不高。( 2 ) 竞争方式不当，竞相压价，造成了市场的 混乱。( 3 ) 大多数企业没有自主的知识产权，缺乏自主研发能力，研发周期普遍较长。另外一 个制约我国安防行业发展的重要因素是没有专门针对视频安防行业的软件平台，如操作系统、 文件系统等方面。 2 0 1 1 年是“十二五”第一年，为了实现安防行业的快速可持续发展，整个安防行业已经 制定出在“十二五”末期实现产业规模翻一番的目标。因此安防行业在国家行业中的比重将 会逐渐加大，为国民经济的发展以及全面建设小康社会做出重大的贡献。因此为了加快安防 产业的发展，克服企业研发周期较长，提高企业研发能力，研发出一套专门针对视频安防行 业的软件体系显得非常迫切。而嵌入式硬盘录像作为视频安防领域一个主要发展方向，势必 需要经过发展来满足市场应用的需求。 本课题正是在这个大的背景下，设计和阐述了嵌入式硬盘录像机的存储软件的策略和具 体实现，并在此方案上加以论证。 1 2 嵌入式硬盘录像机发展历程 自从上个世纪末以来，伴随着计算机技术、网络技术以及图形图像处理技术的发展与普 及，引发了数字化监控的热潮。目前市场上主要有两种视频监控产品：p c 机卡式视频录像机 与嵌入式视频录像机。而随着p c 机卡式硬盘录像机因其稳定性不足和复杂的操作性，使得 在这两方面性能突出的嵌入式硬盘录像机得到了快速的发展，渐渐有取代p c 机卡式视频录 像机的趋判3 a , 5 j 。 作为如今视频监控产品的主要发展方向，嵌入式d v r ( d i g i t a lv i d e or e c o r d e r ) ，又叫嵌 入式硬盘录像机，目前向着网络化、平台化和智能化发展。另外表1 1 列出了嵌入式硬盘录 像机采用的主要技术方案以及这些技术的功能作用，结合嵌入式d v r 发展方向和采用的主要 技术方案，本文从四个方面探究潜入式d v r 的发展历程。 表1 1 嵌入式d v r 主要技术方案以及作用 采用技术方案 方案功能 负责嵌入式d v r 采集的视频源按照规定的编码格 视频编解码算法式进行编码形成尉定码流，或者对已经完成编码 的码流进行解码t 作 为嵌入式d v r 提供硬件平台和软件平台，如设计 软硬件技术 好电路模块和搭建好完成的嵌入式操作系统环境 为嵌入式d v r 提供网络功能，如f t p 、流媒体传 网络技术 输等 负责将已经完成编码的码流数据进行管理存储， 硬盘管理技术 以及管理硬盘，如硬盘休眠、唤醒等功能 2 杭州电子科技大学硕士学位论文 1 2 1 视频编解码技术及其发展 全球安防产业已经进入数字高清时代。要支持高清，除了必备的高清采集传感器外，还 需要有完善稳定、效率高的图形图像编解码算法的支持。因此，作为嵌入式d v r 核心技术之 一的视频编解码技术一直是各大厂家竞相发展的技术。 目前世界上有两个负责视频编解码算法标准化的组织，一个是v c e g ( v i d e oc o d ee x p e r t g r o u p ) 组织，一个是m p e g ( m o t i o n p i c t u r ee x p e r tg r o u p ) 组织，这两个组织为视频编解码 技术的不断进步做出决定性的贡献。其中，v c e g 小组制定的视频压缩标准主要是面向单一 矩形视频对象，追求的是更高的压缩效率。而m p e g 小组制定的标准主要是基于多个音视频 对应的视频压缩标准，追求的互联网上多媒体的应用。另外是在2 0 0 0 年v c e g 小组与m p e g 小组联合成立了j v t ( j o i nv i d e ot e a m ) 小组。 随着数字技术和多媒体技术的不断进步，v c e g 组织与m p e g 组织先后退出了不同领域 应用的视频编解码标准，表1 2 列出了这两个组织推出的各种视频压缩标准，如表1 2 所示： 表1 2 视频压缩标准表 标准名 制定小组制定年份 h 2 6 1 v c e g 组织1 9 9 0 年 m p e g lm p e g 组织1 9 9 2 年 h 2 6 2v c e g 组织1 9 9 2 年 m p e g 2 m p e g 组织1 9 9 5 年 h 2 6 3v c e g 组织1 9 9 6 年 m p e g _ 4 m p e g 组织1 9 9 9 年 h 2 6 4 v c e g 组织2 0 0 3 年 其中，h 2 6 3 标准还未制定出就因h 2 6 2 标准出色的性能使得h 2 6 3 标准还未制定出就 被抛弃了。随着j v t 小组的成立，v c e g 组织与m p e g 组织加强了合作，如m p e g 组织在 j 小组推出的h 2 6 l 标准的基础上，制定了m p e g 4a v c 标准。 其他标准还有r e a lv i d e o 、q u i c kt i m e 、w i n d o wm e d i at e c h n o l o g y 。在2 0 0 3 年1 1 月2 8 日，中国数字音视频编解码技术标准工作组根据国际开放型规则推出了适用于中国音视频产 业的需求的a v s 标准。 目前在嵌入式d v r 中应用的主要协议有m p e g 一2 、m p e g 一4 和h 2 6 3 、h 2 6 4 。根据这些 协议的实际应用情况，表1 3 列出了这些协议的优缺点，如表1 3 所示： 表1 3 压缩标准优缺点表 标准名优点缺点 针对1 5 m b p s 以下数据传输率的存 适用范围有限，主要是针对 m p e g 1 储媒体而设定的，压缩比高v c d 和m p 3 而制定的 目标是为高级工业标准的图像质量适用范围有限，主要是针对 m p e g 2 和更高的传输率d v d 和h d t v 而制定的 m p e g _ 4 目标是交互式多媒体通讯制定的压基丁二对象的编解码实现难度 3 杭州电子科技大学硕士学位论文 缩标准，提高了压缩质量，应用范很大，针对目标不适于矩形图 围逛，传输要求低形处理 基于i s d n 上的视讯电话与视频会适用于基于口网络的压缩标 h 2 6 1 议的视频压缩标准准，适用范围有限 压缩效能很高，更高的提升画质，整体没有h 2 6 4 简洁，不太成 h 2 6 3 低码率 熟 注重适用，技术成熟，有更高的编 算法复杂度很高，占用资源很 h 2 6 4 码效率，更加注重编码和信道的处 理搭配，压缩比比m p e g - 4 高 多 随着全球安防产业的发展潜力越来越吸引各大厂家的眼球，而视频编解码技术标准的制 定，像德州仪器( t i ) 公司、国内的海思半导体公司以及台湾的智源半导体公司纷纷重视该 领域的标准实现，投入大量资金进行研发视频编解码标准的解决方案。目前市场上主要采用 三种解决方案：基于专用芯片结构的解决方案、基于a r m + d s p 结构的解决方案和基于x 8 6 平台的解决方案。表l - 4 列出了各种不同方案的优缺点： 表1 4 三种解决方案的优缺点 采用方案典型芯片优点缺点 专门面向的是视频压缩处理能力，无法进行软件升级，若硬件进 s o c + a s i cc x 2 4 1 8 故使用成本低廉，便于快速开发使行升级则对应的编解码器都 用需要进行升级，浪费资源 具有可编程性，基于单个应用开发 的i p 能够得到重复利用，并且支持 a r m + d s pn v p l l l 4 功耗得不到有效解决，比较大 不同的压缩标准，从而进行软件开 发，外设非常丰富，便于开发 x s t e a m 系提供服务比较丰富，如丰富的应用 基于x 8 6 平台成本比较昂贵，不利于推广 列程序，使得开发周期缩短 由表1 4 所示，s o c + a s i c 解决方案由于成本方案相对其他两种解决方案低廉，故在市场 上占有一定的份额，但是由于采用这种方案软件定制灵活性低，不利于实现特定的软件定制， 市场上份额占有率不高，且这种专有的视频编解码处理芯片一直被特定厂家垄断，所以不利 于市场的推广与安防产业的发展。而基于x 8 6 平台的解决方案因其昂贵的成本，使许多厂家 望而却步，只能在特定场合适用。而a r m + d s p 解决方案虽然功耗方面一直短腿，但是因其 设计开发的灵活性、成本的低廉性和嵌入式技术的发展，使得该方案迅速得到多数厂家的认 可，这也是嵌入式硬盘录像机能够占领视频安防市场半壁江山的主要原因。目前市场上采用 这种方案主要是将a r m 内核与相应标准，如h 2 6 4 ，嵌入到一个芯片中，然后加上想用的外 围模块构建出相应的c p u 处理芯片。如海思系列h 1 3 5 2 0 与t i 公司的d m 3 6 5 芯片就是将a r m 内核与h 2 6 4 编解码器嵌入到同一个芯片中的。 除了采用构建芯片来完成视频编解码标准的解决工作，还有就是根据标准通过软件技术 来完成标准的实现，即软实现，对应的是硬实现。软实现仅仅采用相应的软件平台来完成视 4 杭州电子科技大学硕士学位论文 频编解码标准的实现，但是这种方案实现和维护都很困难，设计周期相对硬实现长，且这种 方案占用大量系统资源，因此这种方案基本上很少有厂家进行采用与开发。 1 2 2 软硬件技术及其发展 如同视频编解码技术一样，软硬件技术的发展与应用使得视频录像机不断得到快速进步。 数字技术的不断发展，使得视频录像机从模拟录像机时代步入数字化录像机时代。嵌入式技 术的应用催生了嵌入式硬盘录像机的出现。本节从软件和硬件两方面介绍视频录像机的发展。 1 ) 硬件技术的发展 视频安防的发展史同时也是视频清晰度的发展史。从一开始的只有c i f 分辨率的采集度， 然后是d 1 分辨率的清晰度，到现在的1 0 8 0 p 的高清时代，视频采集摄像头采用的专用传感 器也越来越精准，工业级传感器的出现促使着视频安防产业进入高清时代，目前已经出现了 专业级的c c d 摄像头和c m o s 级别的视频摄像头。 嵌入式技术的推广使得a r m 内核可以与许多外设设备嵌入到同一片芯片中，这就使得 成本得到有效控制。另外嵌入式微处理器从8 位地址总线发展到3 2 位、6 4 位地址总线，速 度越来越快、结构越来越稳定。而且在实际应用中，只保留和嵌入式应用紧密相关的功能硬 件。这就使得在功耗方面和资源占用方面大大降低，使得嵌入式技术在视频安防行业快速得 到推广。 硬盘等存储设备的采用使得视频录像机可以保存更为长久的录像数据，而且数据存放更 为安全，不易丢失。硬盘现在容量已经从开始的几m b 字节，发展到现在的t b 字节为单位， 已经足够分辨率为d 1 ，进行3 2 路长达一个月的录像。在嵌入式硬盘录像机中主要采用的s a t a 接口的硬盘。另外，u s b 设备与s d 卡的发展，为嵌入式d v - r 的存储带来了许多选择。 2 ) 软件技术的发展 伴随着计算机技术的不断发展，结合嵌入式硬件的发展，嵌入式操作系统也不断得到发 展。嵌入式内存容量的不断加到使得嵌入式系统可以运行在其上面。嵌入式操作系统主要分 为两种，实时操作系统和非实时操作系统。实时操作系统已经从简单走向成熟，具有代表性 的实时操作系统有v x w o r k s 、q n x 、w i n c e 等。这些实时操作系统因其具有良好的工业标准， 得到许多商用企业的青睐。但是由于这些实时操作系统很多是采用的收费体制，且在系统可 扩充性上与一些非实时操作系统有所缺点。常用的非实时操作系统主要有u c l i n u x 和嵌入式 l i n u x ，u c l i n u x 是l i n u x 裁剪得来的，主要是面向没有内存管理单元的设备。嵌入式l i n u x 因其采用的是开源体制，且内核具有可裁剪性，丰富的a p i 接口，以及在任务调度和系统稳 定性方面性能特别优异，使得目前大多数厂家都在采用嵌入式l i n u x 操作系统。 1 2 3 网络技术及其发展 嵌入式d v r 其中的一个主要发展方向是网络化、平台化。嵌入式l i n u x 出色的网络功能 使得嵌入式d v r 突破了“数据资源孤岛”这个限制，因为网络设计的初衷就是为了实现资源 共享，因此网络技术的使用可以使嵌入式d v r 录像资源实现异地存储和统一管理，并且一些 杭州电子科技大学硕士学位论文 应用协议的使用，如f t p 协议、流媒体协议等，扩充了嵌入式d v r 的功能。 目前在嵌入式d v r 中，根据网络协议扩充的功能主要有：f t p 实现图片上传功能、基于 w e b 的实时录像浏览、下载与设备操作功能、采用流媒体协议的流媒体服务器功能和录像机 集中管理平台( c e n t e rm a n a g e rs y s t e m ) 等。 1 3 存储技术相关介绍 在嵌入式d v r 中，完成视频编码，然后经过自定义格式处理形成的码流，除了输出到 t v 进行实时预览，很重要的一部分就是要存储到存储介质中或者传输到网络上，一般存储介 质采用的是硬盘。存储到存储介质中叫做本地存储【6 】，通过网络传输到相应的服务器中存储， 这就是网络存储。 1 3 1 本地存储技术 当针对硬盘读写等操作的驱动安装完毕后，就可以对硬盘进行读写操作了。但是也仅仅 是将数据写到了硬盘中，目前用得到硬盘一般是通过将l b a 偏移扇区地址通过c h s 转换器 查找到指定的扇区进行读写，没有记录该数据对应的信息，比如这段数据是属于哪一个文件、 何时写。这就需要文件系统来管理和索引数据【7 ，8 1 。 文件系统式操作系统重要组成之一，文件系统定义比较广泛，其中文件的含义就有广义 和狭义之分。狭义的说，“文件”是指“磁盘文件”，进而可以是有组织有次序的存储于任何 存储介质中( 当然也包括内存) 的一组数据。广义的说，l i n u x 前身u n i x 在设计之初就一直 秉承一个原则，即一切皆文件，外部设备也是文件，因此综合说起来，文件系统有三种不同 含义，如表1 5 所示： 表1 5 文件系统的不同含义 含义举例 在l i n u x 中常片j 的文件系统有e x t 3 、c r a m f s 一种特定的存储管理格式文件系统，w i n d o w s 系统下的f a t 3 2 、n t f s 文件系统等 按特定格式进行“格式化”磁盘分区完成后，进行了e x t 3 格式化，这 的一种存储介质 个分区就是这种存储介质 具体是倾向于在存储介质中用来管理存储 一种实现机制数据的一种实现机制，现在常说的文件系统 就是这种含义 在嵌入式d v r 中，目前常用的嵌入式l i n u x 系统支持多种文件系统，如c r a m f s 文件系 统、v f a t 文件系统。不过迄今为止，还没有一个通用的文件系统是专门针对视频安防行业而 设计的。所以现在从事视频安防行业的公司采用的存储方案主要分为两种：一种是针对视频 存储的特点而专门研发设计的私有文件系统，另外一种是采用通用的文件系统，在通用文件 系统基础上进行开发设计出存储管理方案。根据这两种解决方案在市场上的应用情况，表1 - 6 列出了这两种解决方案的优缺点，如表1 - 6 所示： 6 杭州电子科技大学硕士学位论文 表1 6 各种存储解决方案优缺点对比表 解决方案优点缺点 专门针对视频存储要求而设计，一因专门针对面向视频存储，故嵌 私有文件系统般不会产生磁盘碎片，利用率高，入式操作系统不支持私有文件 解决方案自带存储缓冲机制，占用极少系统系统，可扩展性不高，设计研发 资源，磁盘损坏率低，读写性能高 比较困难。需要长期进行维护 基于通用文件 本身具有通用性，嵌入式操作系统容易产生磁盘碎片，一般通用文 系统设计存储 支持在其本身进行设计开发，减少件系统设计的簇或者块大小比 了研发难度和设计周期，具有很强较小，影响系统写性能，占用系 管理解决方案 的扩展性 统资源比较大 从表1 - 6 可知，在嵌入式d v r 中，采用私有文件系统解决方案虽然一方面使得嵌入式操 作系统系统资源利用率得到提高，提高整体系统性能，另一方面能够保证磁盘碎片影响低和 高利用率，也能够保证磁盘的低损坏率，不过研发设计私有文件系统解决方案对公司整体的 研发能力是一个比较大的考验，且会加长产品的整体研发周期，后期也会浪费大量的人力用 于维护私有文件系统，目前市场上只有少数几家公司具有研发私有文件系统的能力，如浙江 大华技术有限股份公司生产的产品采用的都是私有文件系统解决方案。其他大多数厂家都是 采用基于通用的文件系统设计存储管理方案，便于维和和减少产品研发成本。 本课题设计的本地存储模块是基于通用文件系统而设计的存储管理解决方案，并能够支 持私有文件系统分区，从而支持私有文件系统解决方案。 1 3 2 网络存储技术 网络技术的发展为嵌入式d v r 的发展注入了新的活力。随着视频安防领域的发展潜力渐 渐被各大厂家所发现，越来越多的厂家，包括从事网络技术的公司投入到视频安防领域发展， 这就促使了视频安防技术与网络技术的结合，催生了大量产品，具有代表性的是网络摄像机 ( i p c ) 。图1 1 所示，是我国“十一五”期间网络存储产品的销售数量。数字表明网络存储 产品仍旧是一个相当有潜力的市场【9 1 。 图1 1 网络存储产品销售数量以及销售额 经过多年的发展，目前针对网络存储技术( n e t w o r ks t o r a g e t e c h n o l o g i e s ) 的解决方案主 要有三种，分别是直接附加式网络存储d a s ( d i r e c ta t t a c h e ds t o r a g e ) 、网络存储设备 - n a s ( n e 咐o r ka t t a c h e x ls t o r a g e ) 和区域存储网络s a n ( s t o r a g e 心e an e t w o r k ) 。本节 将分别介绍这几种网络存储解决方案 1 0 , 1 1 , 1 2 】。 7 杭州电子科技大学硕士学位论文 1 ) d a s 网络存储解决方案 d a s 网络存储，又叫直连式存储，是一种通过特定接口，如s c s i 接口，直接与服务器 端建立连接的一种网络存储技术。这种技术的输a 输出( i o ) 请求直接发送到存储设备，并且 依赖于服务器端，存储设备端仅是服务器本身硬件的叠加，技术方案的实现不需要任何操作 系统的支持。图1 2 是d a s 一种典型的应用结构： b e r v c r 图1 - 2 一种典型d a s 结构图 目前，d a s 存储方案的适用环境主要是应用的场景必须有存储系统直接连接到应用服务 器或者当服务器端在地理位置上比较分散，通过另外两种解决方案串联起来比较困难时，这 时选择d a s 存储方案是适用的。不过根据图1 2 可知，d a s 的服务端与存储设备端是一一对 应的关系，因此这种解决方案不利于集中管理和资源共享，在整体方案实现和维护时，工作 繁琐而又重复。因此后期维护成本比其他两种解决方案高。 2 ) n a s 网络存储解决方案 n a s 存储方案是一种将独立分散的数据集中在同一个设备，进行集中化管理的一种技术 方案。因此n a s 存储设备也叫做网络存储器，这种存储设备主要包括存储器件和内嵌的操作 系统应用软件，以数据为中心，将存储器件与服务器端分离，集中管理数据，能够有效释放 带宽、提高性能和降低成本。 n a s 存储方案主要基于局域网( l ) ，在l a n 上有自己的一个节点，无需应用服务器 的干预，可直接在网络上进行数据存储。目前，n a s 主要采用的协议主要有n f s 、c i f s 、f t p 和哪等，并且还支持多种操作系统。图1 3 是目前n f s 存储方案的一种典型应用结构： 杭州电子科技大学硕士学位论文 图1 - 3 一种典型n a s 应用结构图 由图1 2 和图1 3 所示，n a s 存储方案相对d a s 存储结构实现了资源共享和数据的集中 管理，表格1 7 列出了d a s 与n a s 这两种解决方案的不同点，如表1 7 所示： 表1 7d a s 与n a s 不同点 不同点 n f sd a s 基于w e b 开发的软硬件集合于 核心技术 一身的i p 技术，部分n a s 实现硬件实现r a i d 技术 r a i d 技术 完全支持跨平台文件共享，支持不具备文件共享功能，仅支持某几 支持操作平台 所有的操作系统种操作系统 安装简捷，即插即用，安装时问设置r a i d 时比较简单，不过连接 安装 很短服务器时设置冗余复杂 独立的w e b 优化操作系统，无没有独立的存储操作系统，需要服 操作系统 需服务器进行干预务器端操作系统支持 集中式数据管理，支持跨平台式分散式数据管理，维护时需要奔波 存储数据结构 文件管理功能，降低维护成本于各个服务器之间，维护成本高 管理简单，基于w e b 的g u i管理较为复杂，需要服务器端操作 数据管理 界面管理起来一目了然系统支持 自带多种协议的软件支持，支持没有自身管理软件，需要针对特定 软件功能 多种功能，支持日志文件系统的操作系统另行设计 可在线进行存储设备的自由增增加新的存储设备时，需要对服务 扩充性 加 器端进行宕机 集成本地备份软件，可实现无服 数据备份与灾务器的网络数据备份，即使服务可将数据备份对应的服务器端，对 难恢复器遭到破坏，用户仍可进行数据多名服务器的数据备份较难 存取 价格低，不需要用户购买第三方 价格较适中，不过需要购买操作系 总拥有成本软件，后期维护成本很小，降低 统的管理软件，总得拥有成本高 总的拥有成本 冗余电源、多风扇、热插拔、背板 硬件结构 冗余电源，热插拔，多风扇 化结构 杭州电子科技大学硕士学位论文 从表1 7 可知，随着用户数据量的爆炸式递增和区域的增多，除去特定场合下必须要用 d a s 结构外，n a s 因其优异的跨平台数据管理功能和低廉的总拥有成本赢得了大多数公司的 青睐，现在n a s 存储方案基本已经取代了d a s 存储方案。 本课题设计的网络存储模块实现类似n a s 存储方案，采用n f s 、c i f s 、f t p 这三种网 络协议，利用常用p c 机来替代存储设备和服务端，实现了录像数据的集中存储和管理。 3 ) s a n 网络存储解决方案 随着互联网和网络技术的高速发展，现代信息系统的数据呈现爆炸式增长，数据的安全 性和可持续工作性问题影响着现代网络存储领域的发展。在s a n 网络存储技术出现之前，所 有的解决方案都是采用服务端管理和传统网络传输，随着服务器安全性被人们越发的重视和 传统网络数据传输容易受到攻击和传输环境的影响的缺陷，s a n 网络存储技术应运而生。 s a n 网络存储技术真正实现了完全独立于服务器网络系统，采用高速光纤存储网络，采 用s c s i 一3 协议将存储系统网络化，真正实现了高速共享存储，这种技术摆脱了以前存储作为 服务器附属设备的历史，在速度、安全性、跨平台共享性能方面具有优异的特性。 在s a n 存储网络中，主要设备包括光纤通道交换机和光纤通道卡。其中，光纤通道交换 机在逻辑上是s a n 存储网络的核心，连接着主机和存储设备，可以根据应用的不同专门定制 这种交换机。而光纤通道卡是高性能的连接标准，主要用于服务器之间的数据通信。具有连 接设备多、c p u 占用低、可扩展存储容量和高传输速率的优势。图1 - 4 所示是一种典型的s a n 网络应用结构图。 图l _ 4一种典型s a n 结构图 与n a s 存储结构相比，s a n 存储结构除了构建结构不同外还具有更多的特点，如表l 一8 列出了s a n 和n a s 的主要不同点： 1 0 杭州电子科技大学硕士学位论文 表1 8s a n 和n a s 的不同点 不同点s a nn a s 采用高速光纤传输网络，传输采用传统网络传输，传输速率受 传输速率 速率大，受网络环境约束小 到带宽大小和网络环境影响 支持多种协议，如n f s 、c i f s 、 应用协议 采用