（通信与信息系统专业论文）图像处理与嵌入式系统usb网络驱动的研究与实现.pdf

图像处理与嵌八式系统u s b 网络驱动的研究与实现 摘要 2 1 世纪是多媒体的世纪，多媒体技术必将加速计算机和通信服务进入家庭和 社会各个方面的进程，给人们的生活、工作和娱乐带来深刻的革命。多媒体信息 的传输技术与数字处理技术是多媒体技术的两大组成部分，本文正是在多媒体信 息的传输与数字处理领域，围绕几个实际项目课题，作了一些具体的研究和尝试。 本文共分三大部分。第一部分主要是针对数码相机的感光胶片扫描图像，提 出了一套图像处理系统方案，并对全自动处理作了进一步探讨。第二部分主要是 为了实现摄像机中的多媒体数据能够自由方便地通过网络访问，研究并实现了摄 像机嵌入式系统下的u s b 网络驱动程序，并对系统的效率和稳定性作了优化设 计。第三部分阐述了一套利用流媒体技术构建的远程教学系统，并对系统中用户 认证与计费跟踪插件的开发设计作了重点的说明。 a b s t r a c t t h e2 1 s tc e n t u r yi st h ec e n t u r yo fm u l t i m e d i a t h em u l t i m e d i at e c h n o l o g yw i l l a c c e l e r a t et h ep r o g r e s so fc o m p u t e ra n dc o m m u n i c a t i o ns e r v i c e se n t e ra l lr e s p e c t so f t h e f a m i l y a n ds o c i e t y , a n db r i n ga d e e p r e v o l u t i o nt o p e o p l e sl i f e ，w o r k a n d a m u s e m e n t t r a n s m i s s i o n t e c h n o l o g y a n d d i g i t a lp r o c e s s i n gt e c h n o l o g y o f m u l t i m e d i ai n f o r m a t i o na r et w om a j o rc o m p o n e n t so ft h em u l t i m e d i at e c h n o l o g y t h i st h e s i sh a sm a d es o m ec o n c r e t er e s e a r c ha n d a t t e m p tr o u n d s e v e r a la c t u a lp r o j e c t s j u s ti nt h e f i e l d so f t r a n s m i s s i o na n d d i g i t a lp r o c e s s i n g o fm u l t i m e d i ai n f o r m a t i o n t h i st h e s i sc a l lb ed i v i d e dt ot h r e em a j o rp a r t s t h ef i r s tp a r th a sp u tf o r w a r da s c h e m eo fi m a g e p r o c e s s i n gs y s t e m f o rt h ef i l mi m a g e ss c a n n e db yad i g i t a lc a m e r a ， a n da l s om a d ef u r t h e rr e s e a r c ho fa u t o m a t i c p r o c e s s i n g i nt h es e c o n dp a r t ，t h eu s b n e t w o r kd r i v e ru n d e rt h ee m b e d d e ds y s t e mo ft h ec a m e r ai s d e v e l o p e di no r d e rt o m a k ei tp o s s i b l et h a tt h em u l t i m e d i ad a t ai nt h ec a m e r ac a nb ea c c e s s e di ni n t e r n e t f r e e l y a n dc o n v e n i e n t l y a n dt h e e f f i c i e n c y a n ds t a b i l i t yo ft h e s y s t e ma r e a l s o o p t i m i z e d i n t h et h i r d p a r t ，ar e m o t ee d u c a t i o ns y s t e mb a s e d o ns t r e a mm e d i a t e c h n o l o g yi s r e a l i z e d a n dt h ed e v e l o p m e n to ft h eu s e ra u t h e n t i c a t i o na n db i l l i n g p l u g - i n i sd e s c r i b e de s p e c i a l l y 第1 页共5 9 页 蹬像处理与嵌入式系统u s b 网络驵动的研究与实现 前言 2 1 世纪的人类社会是信息化的社会。以信息技术为主要标志的高新技术产业 在整个经济中的t e 重不断增长，多媒体技术及其产品是当今世界计算机和通信产 业发展的新领域。世界上许多国家，对多媒体技术的研究和应用都给予了极大的 重视，并投入了大量人力、物力，开发先进的多媒体信息技术及相关产品，试图 占领庞大的多媒体市场。因此，2 1 世纪也可以说是多媒体世纪，多媒体技术必 将加速计算机和通信服务进入家庭和社会各个方面的进程，给人们的生活、工作 和娱乐带来深刻的革命。 多媒体信息的传输技术与数字处理技术是多媒体技术的两大组成部分。它们 彼此之间也是互相促进、紧密联系的，比如多媒体图像压缩技术和图像增强技术 就极大推动了多媒体信息传输技术的发展。本文正是在多媒体信息的传输与数字 处理领域，围绕几个实际项目课题，作了一些具体的研究和尝试。 本文共分三大部分。第一部分主要是针对数码相机的胶片扫描图像，提出了 一套图像处理系统方案，并对全自动处理作了进一步探讨。第二部分主要是为了 实现摄像机中的多媒体数据能够自由方便地通过网络访问，研究并实现了摄像机 嵌入式系统下的u s b 网络驱动程序，并对系统的效率和稳定性作了优化设计。 第三部分阐述了一套利用流媒体技术构建的远程教学系统，并对系统中用户认证 与计费跟踪插件的开发设计作了重点的说明。 第4 页共5 9 页 图像处理与嵌入式系统u s t b 网络驱动的研完与实现 第一部分感光胶片扫描图像的处理 第一章感光胶片扫描图像处理系统总体方案的设计 1 1 数字图像处理概述 现代社会是信息社会，信息的前提是数字化。所谓“数字化技术”就是能 在“不损失任何内容、精度、质量或强度的情况下，复制、记录、转换和转译大 量信息”的技术。从模拟到数字，人们越来越切身感觉到科技进步带来的好处： 程控数字交换机的出现，使得人们拨打长途电话时不再需要人工转接，并且通话 质量也有明显改善；c d 唱盘逐渐替代了磁带；v c d 逐步替代了录像带；数字手 机不可避免地取代模拟手机。可视电话、d v d 影碟机、数码相机等最新的数字 化产品不断涌现，数字化正在改变着人们的生活和工作观念。 与模拟图像相比数字图像有以下优点： 1 、清晰度高 现在的计算机技术可以将一幅模拟图像数字化为足够大的二维数组，即可以 用足够多个象素去组成它，在真彩条件下，每个象素可以用2 4 比特数据即一千 六百多万种颜色去表示，这样组成的图像质量可与彩色照片相媲美。 2 、处理方便 由于数组图像是组数据，我们可用计算机进行任意修改，可以放大、缩小、 改变颜色、复制或删除某一部分，或将图像毫无损失地通过网络进行远程传输等。 3 、重复性好 模拟图像如照片，即便使用非常好的底片和相纸，也会随着时间的消逝而褪 色、发黄，而数字图像在光盘中存储上百年后，再用计算机重现时也不会有丝毫 的改变。 4 、易于存储 随着现代计算机存储技术的发展，计算机外部存储设备新产品不断涌现，存 储量的极限几乎年年翻番，可以说现代技术对于海量数据存储提供了无限可能， 例如现在一块中等容量的计算机硬盘就可轻易存储上万张高清晰度真彩色图片， 而同等数量的模拟图像如以照片等传统形式进行保存，即便可能，也是十分困难 第5 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 的，而且不易管理。 5 、即拍即现 以往要把图像拍摄下来，并用完一卷胶卷后，再把胶卷拿去冲洗，无法立刻 看到效果，而且需要长时间等待及支付底片和冲洗费，一旦在胶卷冲洗过程中出 现问题，很难再在相同条件下拍摄同样的照片。而利用数字摄像技术得到的数字 图像在拍摄后数秒内就可呈现，而且可以连续拍摄多张图像，以便从中选取一张 效果最好的进行存储。 所谓图像处理，就是对图像信息进行加工以满足人的视觉心理和应用需求的 行为。数字图像处理是指利用计算机或其他数字设备对图像信息进行各种加工和 处理。它是一门新兴的应用学科，其发展速度异常迅速，应用领域极为广泛。数 字图像处理的早期应用是对宇宙飞船发回的图像所进行的各种处理。到了7 0 年 代，图像处理技术的应用迅速从宇航领域扩展到生物医学、信息科学、资源环境 科学、天文学、物理学、工业、农业、国防、教育、艺术等各个领域与行业，对 经济、军事、文化及人们的日常生活产生重大的影响。 数字图像处理包含了这么几类重要的处理形式：点运算、代数运算、几何运 算等。 1 ) 点运算 在图像处理中，点运算是简单却很重要的一类技术，它们能让用户改变图像 数据占据的灰度范围，但它不会改变图像内的空间关系。 a 1 线性点运算 此时变换函数为o u t = a * i n + b ，其中i n 为输入点的灰度值，o u t 为相应输 出点的灰度值。显然，如果a = l 且b = 0 ，只需将i n ( x ，y ) 复制到o u t ( x ，y ) 即可。 如果a l ，输出图像的对比度将增大。若a l ，则对比度将减小。若a = l 而b l = 0 ， 操作仅使所有像素的灰度值上移或下移，其效果是使整个图像在显示时更亮或更 暗。如果a 为负值，暗区域将交亮，亮区域将变暗，点运算完成了图像求补。 b 、非线性单调点运算 它的变换函数是非减灰度变换函数它们处处有着有限的正斜率。这类函 数保留了图像的基本外貌，但并不限于线性运算。g a m m a 校正就是一种非线性 单调点运算。 第6 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 2 ) 代数运算 代数运算是指对两幅输入图像进行点对点的加、减、乘或除计算而得到输出 图像的运算。可用于图像降噪、运动检测等。 3 ) 几何运算 几何运算的例子就是平移、旋转等，需要做空间变换和插值运算。它可用于 几何校正、地图投影等。 1 2 课题任务描述 正因为数码图像有如此多的优点，数码相机和数码冲印技术应运而生，成为 了人们生活中的新宠。然而面对已有的成千上万的传统胶片，如果能将胶片扫描 进电脑进行数码存储和数码冲印，则对照片颜色饱和度、清晰度和反差的调整十 分方便，更有助于解决传统冲印难以解决的瑕疵，如底片褪色、曝光不足、红眼 等，把彩色照片放成黑自更是易如反掌。于是，胶片扫描与处理技术逐渐成为了 数码领域的研究热点。 目前，市场上主要的胶片扫描设备是专业的胶片扫描仪，价格比较昂贵。如 果能利用用户已有的数码相机扫描胶片，即使图像质量无法与专业扫描仪相比， 但由于无需购买额外的扫描设备，对普通消费者来说无疑还是具有相当大的吸引 力的。采用镜头扫描得到的胶片图像具有一定的特殊性，需要专门的图像处理软 件对图像进行调整。本项目正是针对一款数码相机的镜头扫描功能，进行专门的 调整处理，以期得到较好的图像效果。 如图1 - 1 所示，胶片经数码相机附带的扫描装置扫描后，输入计算机作进一 步的图像处理，从而得到较好的正片输出。本项目就是要针对这种情况设计出一 个专门的图像处理软件，在计算机上对胶片图像进行调整处理。 图1 - 1 胶片扫描图像处理系统图 第7 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 1 3 系统总体方案的设计 胶片本身带有片基色罩( 由于胶片采用的是有机染料工艺，所以胶片并不是 我们想象中单纯透明的白色，而是有色的，如同有一层颜色笼罩在上，称为色 罩。) ，而且不同厂家的片基底色是不同的，再加上胶片本身的曝光宽容度很大， 一般能过曝两档，所以扫描胶片时，不能像普通照片那样通过标准色片来进行扫 描的校正。在扫描胶片后，用户需要人工进行胶片的调整，如对扫描图像，进行 色彩上的校正( 色相变化) 、曝光上的校正( 亮度层次) 及色彩饱和度的加工， 这样才能全方位满足用户的需要。 1 3 1 系统需考虑的主要因素 1 、黑电平调整 在胶片图像中，黑电平往往是一个大于0 的值，在图像处理中，需要把黑电 平调整到o 。简单的说，就是把r g b 都减去黑电平的值。 2 、黑斑校正 由于c c d 像素敏感性与空间位置有关，再加上扫描时采用的背景光可能不 均匀，这样得到的胶片图像就有可能产生黑斑效应，即整个图像中出现大面积暗 斑或色斑的现象。因此，需要对图像中部和四角进行不同程度的补偿。 出于简单考虑，校正因子采用了二维抛物面模型，从中部向四周平滑增减。 k 学) 2 + ( y 一学) 2 1 四角的补偿值最大，设为m a x _ z ，代入上式，求得口一 4 x m a x z 。w 。i 。d 。t 。h 。2 。+ 。h e 1 i g 。h 。t 2 所 啪- 丽4 x m a x _ zx 卜警) 2 + ( y 一半) 2 1 。c 船- ， 根据图像的宽、高和自己定义的四角补偿值，就可以通过式卜l 求出图像中 各个位置的补偿值。 式卜1 在三维坐标系下如图卜2 所示。 第8 页共5 9 页 图像处理与嵌八式系统u s b 网络驱动的研究与实现 图1 - 2 黑斑校正补偿函数图 3 、g a m m a 校正 由于光信号与电信号之间通常并不是线性的关系，所以由c c d 镜头扫描的 胶片图像需要进行g a m m a 校正。这里又有两种g a m m a 校正要分别进行处理： 一是亮度g a m m a 校正，另一个是r g bg a m m a 校正。 亮度g a m m a 校正将对图像的亮度信号进行单独的校正。当g a m m a 值大于1 时，图像的暗区层次被压缩，亮区层次得到加强；相反，当g a m m a 值小于1 时， 图像的暗区层次得到加强，亮区层次被压缩。 r g bg a m m a 校正则可以调整图像的色彩层次，g a m m a 值大于1 时，图像的 色彩将变得更鲜艳，g a m m a 值小于1 时，色彩将显得更暗淡些。图1 3 显示 了一条g a m m a 曲线，此时g a m m a 值大于1 。 图1 3 g a m m a 曲线图 4 、白平衡调整 简单地说白平衡就是无论环境光线如何，仍然把“白”定义为“白”的一种 功能。颜色实质上就是对光线的解释，在正常光线下看起来是白颜色的东西在较 第9 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 暗的光线下看起来可能就不是白色，还有荧光灯下的“白”也是“非白”。对于 这一切如果能调整自平衡，则在所得到的照片中就笼正确缝以“自”为基色来还 原其他颜色。 由于扫描得到的胶片图像数据中绿色分量采样点较多，所以可以以绿色分量 为基准，调整红色和蓝色分量，进行白平衡处理。调整公式如下所示，为线性变 换，包括一个乘性因子和一个加性因子。 n e w r g a i n r o l d r + a d d i t i o n r n e w b - g a i n bxo l d b + a d d i t i o n b 5 、亮色增益控制 在扫描过程中，亮色信号有可能受到衰减，所以有必要进行相应的亮色增益 调整，这里也是一个线性变换。 6 、色度基带裁减 对零点附近的色度信号作归零处理，以达到降噪目的。 1 3 2 系统方案设计图 综合考虑以上所述的各因素，胶片扫描图像的处理系统采用了如图1 - 4 所示 的设计方案。 胶片 黑电平 黑斑亮度负正 白平衡 较正 线性 翻转 调整 图像一调整 r g b补偿 -。-_一。_。_。 。陌 。冈网风v 笆一至广l 笙广l 笙广。 同网网厂乙nc r 一 图1 - 4 系统方案设计图 鹕1 0 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 1 3 3系统主要技术指标 在设计结果中，系统应符合以下主要技术指标： 1 、按照方案设计图的步骤一步步实现，采用向导模式，可前后跳转； 2 、各步骤调整的结果可在客户区中预览； 3 、图像的直方图可见； 4 、原始图像可见，用于比较； 5 、各步骤的参数可由转移曲线表示出来； 6 、可以支持r a w 格式图像数据，也可支持b m p 、j p g 格式： 7 、客户区显示的图像可存储。 第1 1 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 第二章感光胶片扫描图像处理系统的实现 2 1 图像处理软件的开发设计 由于c + + 语言在灵活性和运行速度上都有着相当的优势，所以本软件将采用 v i s u a lc + + 来设计。在c + + 中，类的概念十分重要，所以最重要的就是先设计一 个合适的图像类。 2 1 1 图像类的设计 个类包括属性和方法。下面分析该图像类应该包含哪些主要的属性和方 法。 1 、主要属性 1 ) 图像数据所占用的内存空间旬柄。 2 ) 图像的宽、高、色深、调色板等。 2 、主要方法 1 ) 构造器( 包括默认构造、复制构造、二次构造等) 、析构器。 2 ) 载入与存储，支持b m p 、j p g 格式。 3 ) 像素直接访问，包括读写。 4 ) 图像显示。 5 ) 图像处理，包括亮色分量和r g b 分量的线性调整、g a m m a 校正、黑斑 校正、反转、直方图统计等 2 1 2 用户界面设计 由于所设计的图像处理软件很大程度上只是一个功能演示版，所以对用户界 面并不要求很美观，设计原则主要是直观方便。设计思路基本如下所述： 1 ) 鉴于图1 4 所示的系统方案设计图，软件将采用用户向导的形式，引导用 户一步步地去设置各处理步骤的参数。各步骤的参数处理效果可预览可重置，并 且各步骤还可自由前进一步、后退一步、跳跃到最前、跳跃到最后等。另外各步 骤还可显示输入输出转移曲线。 2 ) 提供图像加载、存储功能，支持b m p 、j p g 、r a wd a t a 等格式，其中 对j p g 格式的支持主要依赖于i n t e lj p e gl i b 的功能。 第1 2 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 3 ) 提供一个原始图像窗口，以便与处理结果进行比较：提供一个直方图窗 口，可以很直观方便地显示出各处理步骤的直方图变化。 4 ) 提供参数加载、存储功能，有利于对类似图像的处理时参数可再用，甚 至可能进行批处理。 5 ) 当鼠标位于客户区显示的图像上时，将在状态栏显示该像素的位置与r g b 信息，方便用户使用。 2 1 3 图像格式介绍 1 、c c d r a w d a l a 格式 数码相机中的c c d r a w d a t a 是一个逐行扫描的图像数据文件。图像尺寸 为2 0 4 8 1 5 4 8 ，每个像素仅保留一个r g b 分量，用2 字节表示，其中有效位是 1 0 b i t ，也就是说，可以表示1 0 2 4 个分量层次。具体排列见图2 1 。 图2 - 1c c d r a w d a t a 格式 2 、b m p 格式 b m p 文件由文件信息头、位图信息头、颜色信息和图像数据四部分组成。 文件信息头结构含有b m p 文件的类型、文件大小和位图起始位置等信息。 位图信息头数据用于说明位图的尺寸等信息。颜色表用于说明位图中的颜色，它 有若干个表项，每一个表项是一个r g b q u a d 类型的结构，定义一种颜色。位 图数据则记录了位图的每一个像素值，记录顺序是在扫描行内是从左到右，扫描 行之间是从下到上。 位图的一个像素值所占的字节数与色深有关：对黑白二值图像，8 个像素占 1 个字节；对2 5 6 色图像，1 个像素占1 个字节；对2 4 位真彩色图像，1 个像素占 3 个字节。w i n d o w s 规定一个扫描行所占的字节数必须是4 的倍数( 即以l o n g 为单位) ，不足的以0 填充。 第1 3 页共5 9 页 图像处理与嵌入式东统u s b 网络驱动的研究与实现 2 2 关于全自动处理的进一步探讨 根据图1 - 4 设计的胶片扫描图像处理系统软件需要用户进行手工的参数设置 与调整，它考虑到了胶片扫描过程中的各种影响因素，进行相应的补偿。从原理 上来说，这种做法是比较有针对性的。但如何快速有效地对胶片图像进行自动处 理，这仍然值得进一步探讨。 用不同品牌的胶片拍摄一些专用的标准测试图像，一步步地进行补偿调整， 可以得到针对某品牌的一组参数，相对而言，这样得到的参数比较精确，也比较 有说服力。最终如果能将这组参数转化为一个数据转移表，利用查表法由原始胶 片图像数据得到处理后的合适正片图像数据，那处理速度将得到极大的提高，是 最好不过的了。然而，这样一组参数，对该品牌的所有胶片图像是否会具有通用 性呢? 由于项目时间所限，不可能去测试大量的数据得到某品牌的调整参数，只 能从另外的角度来粗略考察这个问题。 首先，将同品牌的一组胶片冲印出正片，扫描进电脑。然后借助m a t l a b 工具 比较胶片和正片图像，进行统计平均，可以粗略得到一组r g b 的转移曲线，如 图2 2 所示。 图2 2 r g b 转移曲线示例 将这些曲线进行一阶逼近，可以得到一组简单的一阶转移曲线，考察富士、 柯达、乐凯三种常用胶片，有以下近似结果，如图2 - 3 所示。 图2 - 3r g b 一阶转移曲线示例 第1 4 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 然后利用这组曲线对一系列胶片图像进行处理，可以发现，尽管效果并不是 都很理想，但至少对同品牌的胶片而言，效果是值得肯定的，具有一定的通用性。 考虑到这只是一个相当粗略的测试，所以如果采用胶片扫描图像处理系统软件对 标准测试图像进行大量的仔细测试，相信可以找到一组参数，处理效果肯定要好 得多。 另外，在研究过程中，还发现当图像的色彩比较丰富时，对r g b 三分量分 别进行直方图均衡处理，可以得到比较好的处理效果。当然，图像色彩较少时效 果就不尽如人意了。由于时间关系，对此没有进一步深入研究。 2 3 图像处理软件最终实践结果 最终设计界面如图2 - 4 所示。 图2 - 4 胶片扫描图像处理系统软件界面图 第1 5 员共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 第二部分基于嵌入式系统的u s b 网络驱动 的研究与实现 第三章课题提出与任务描述 3 1 网络摄像机系统简介 数码产品的网络化是当前技术发展的必然趋势，让数码相机、数码摄像机成 为网络设备以提供丰富多彩的网络服务，已成为众多数码产商的研究重点。正是 在这种形势下，索尼、松下、j v c 、长信嘉等国内外众多数码产商纷纷推出了各 自的网络摄像机产品。 网络摄像机是带有内置w e b 服务器和相关网络协议的数字摄像和录音设备， 通过直接与以太网相连，网络摄像机提供了一种方便且成本低廉的实时图像和声 音采集和传输的方案。在指定i p 地址后，用户可通过标准w e b 浏览器观看和收 听网络摄像机传送过来的图像和声音，具有相应权限的用户甚至可以通过浏览器 远程控制摄像机的云台，从而得到需要的画面。网络摄像机可应用在安全监控系 统、交通监控、视频会议等场合，具有极大的市场潜力。 1 、安全监控系统 将网络摄像机安装在家庭中，用户可以在其他地方通过i e 、n e t s c a p e 等 网络浏览器访问它，观看家中的情况，并通过软件来控制观察的角度。保安也可 以通过安装在小区关键位置和楼道里的网络摄像机观察情况，保证小区安全。在 宽带纷纷进入各小区的今天，使用网络摄像机组建安全监控系统就显得格外方便 廉价了。 2 、交通监控系统 在这个领域网络摄像机因其在性能与价格方面明显的优越性将得到极好的 应用。在宽带日益普及的情况下，网络摄像机无需专门布线就能够方便地得到应 用。由于其具有双向传输功能，不仅具备监视的全部功能，而且能在控制室内操 作道路上的各类交通管理设施，这也是传统设备无法比拟的。在为交通系统提供 监控手段的同时，网络摄像机还能够为大众提供道路交通状况的服务，司机可以 根据自己看到的路况决定要走的路线。 第1 6 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 3 、视频会议系统 几乎所有的视频会议系统都是基于计算机的，也就是说，用户需要把摄像机 通过视频电缆与计算机相连。网络摄像机可以独立使用，因而成本更低、用途更 灵活。 4 、远程教育 对于中小学和幼儿园，各班级可通过网络摄像机，将班级的各种情况随时反 映给学校主管教师，有利于全面教育管理。不放心孩子的家长，也可通过浏览器 随时看到孩子的笑脸。 5 、网上演示 网络摄像机对于电子商务中的网上交易过程，非常适用。商品演示、网上拍 卖等需要实时视频、音频传送的活动都可以借助于网络摄像机进行。即使不做网 上交易，利用网络摄像机在网上对自己的产品、服务设施、周边环境等进行广告 宣传也是非常好的手段，工厂、餐厅、饭店、旅游景点、服务公司均可以采用。 6 、新闻实况直播 采用网络摄像机可以在任何有网络布线的地方，由记者一人即可完成现场直 播。 3 2 课题任务描述与技术指标 本项目就是针对一款数码摄像机的网络化要求，希望在数码摄像机的嵌入式 实时操作系统( r t o s ) 下开发出一套网络系统，使得当数码摄像机通过外置u s b 网卡接入以太网后，可以成为网络摄像机，网络上的任一台计算机都可以通过网 络访问摄像机中的音视频信息。本人将具体负责嵌入式系统下u s b 网卡的驱动 程序开发，以支持上层应用。 在嵌入式系统e l a t eo s 下，u s b 网络系统可以分为几个相对独立的层次，如 图3 - 1 所示。从下而上依次是硬件、中间件、u s b 主机栈、u s b 网卡类驱动和 设备驱动、支持多网卡的网管层、支持s o c k e t 的b s dt c p i p 层和h t f p 伺服器 应用层。其中虚线标出的u s b 网卡类驱动和设备驱动层由本人开发。 由于u s b 网卡还需要考虑即插即用功能，所以开发u s b 网卡的驱动程序要 比普通p c i 网卡的驱动程序复杂一些。总的来说，在开发过程中主要得做以下几 方面的工作： 第1 7 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 1 ) 分析u s b 网卡的配置流程和传输流程： 2 ) 编写类驱动和设备驱动： 3 ) 实现对即插即用的支持； 4 ) 系统联合调试，进行速度和稳定性的优化。 图3 - 1 u s b 网络栈层次图 另外，设计的系统具体有以下技术指标： 1 、可以p i n g 通； 2 、t c p 、u d p 数据的发送和接收正常； 3 、支持即插即用： 4 、速率希望能达到7 0 0 k b p s ( t c p ，1 0 2 4 b y t e s ) 和5 0 0 k b p s ( u d p ，1 0 2 4 b y t e s ) 5 、系统基本稳定。 第1 8 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 第四章嵌入式系统e l a t eo s 下的驱动编程 4 1 嵌入式实时操作系统简介 嵌入式系统被定义为：以应用为中心、以计算机技术为基础、软件硬件可裁 减、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系 统。嵌入式系统和具体应用有机的结合在一起，它的升级换代也是和具体产品同 步进行，因此嵌入式系统产品一旦进入市场，具有较长的生命周期。嵌入式系统 中的软件，一般都固化在只读存储器中，而不是以磁盘为载体，可以随意更换， 所以嵌入式系统的应用软件生命周期也和嵌入式产品一样长，嵌入式系统中的软 件也因此更强调可继承性和技术衔接性，发展比较稳定。 嵌入式系统的核心是嵌入式微处理器。嵌入式微处理器一般具备以下4 个特 点： 1 ) 对实时多任务有很强的支持能力，能完成多任务并且有较短的中断响应 时间，从而使内部的代码和实时内核的执行时间减少到最低限度。 2 ) 具有功能很强的存储区保护功能。这是由于嵌入式系统的软件结构已模 块化，而为了避免在软件模块之间出现错误的交叉作用，需要设计强大的存储区 保护功能，同时也有利于软件诊断。 3 ) 可扩展的处理器结构，能最迅速地开发出满足应用的最高性能的嵌入式 微处理器。 4 ) 嵌入式微处理器必须功耗很低，尤其是用于靠电池供电的便携式计算机 和无线通信设备中时更是如此，甚至功耗只需毫瓦级。 实时多任务操作系统( r t o s ) 是嵌入式应用软件的基础和开发平台，用户 的其他应用程序都建立在r t o s 之上。不但如此，r t o s 还是一个标准的内核， 将c p u 时间、中断、i o 、定时器等资源都包装起来，留给用户一个标准的a p i ， 并根据各个任务的优先级，合理地在不同任务之间分配c p u 时间。r t o s 是针 对不同处理器优化设计的高效率实时多任务内核，优秀商品化的r t o s 可以面对 几十个系列的嵌入式处理器提供类同的a p i 接口，这是r t o s 基于设备独立的应 用程序开发基础。这样一来，基于r t o s 上的c 语言程序具有极大的可移植性。 据专家测算，优秀r t o s 上跨处理器平台的程序移植只需要修改1 5 的内容。 第1 9 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 同时，在r t o s 基础上可以编写出各种硬件驱动程序、专家库函数、行业库函数、 产品库函数，和通用性的应用程序一起作为产品销售，从而大大加快应用程序的 开发速度，因此r t o s 又是一个软件开发平台。r t o s 应实现的基本功能有：任 务管理、任务间同步与通信、内存管理、实时时钟服务和中断管理服务等。 r t o s 的优点有： 1 ) 保证任务执行的实时性。 2 ) 简化多任务切换和资源分配及网络消息管理。 3 ) 模块化便于软件扩展、移植和再使用。 4 ) 提高编写出的软件可靠性。 4 2e l a t e o s 介绍 本课题所采用的e l a t eo s 是一个高性能的嵌入式实时多任务操作系统，可以 为开发从移动电话到高端服务器上的任何设备提供一切所需要的功能。尽管 e l a t eo s 提供的功能是可以从一个操作系统期望得到的( 比如文件系统、内存管 理、实时调度等1 ，但是在很多关键方面它还有自己的独到之处。 1 ) e l a t eo s 是真正的二进制可移植的r t o s ，它独立于处理器和平台，并在 综合考虑到速度和内存的情况下，保证了难以置信的效率。这种二进制的移植性 是通过使用虚拟处理器( v p ) 获得的。v p 代码不是一种解释性的中间代码，在 装载时间v p 代码被翻译器翻译成目标处理器的机器代码，e l a t eo s 所采用的独 特的翻译过程非常快，这就保证了v p 代码的效率接近于机器语言。e l a t eo s 甚 至还可以在其它操作系统上运行，例如p c 机的w i n d o w s 系统。 2 ) e l a t eo s 的v p 代码由很多非常小的模块化可再用的工具( t 0 0 1 ) 组成，而 且不仅仅在高层，它的底层也完全由工具组成。所有的工具都可以被动态绑定、 动态下载。动态绑定技术允许程序员去定位单独的工具，这些工具是在运行时或 装载时间内绑定。内核在装载和绑定工具时很便利，它使用专门的设备驱动t o o l l o a d e r 在磁盘上查找工具，并且装载。t o o ll o a d e r 如果发现工具中含有v p 的代 码，将调用翻译器将其翻译成机器语言。这种动态绑定扩展到整个系统，包括核 一t l , 操作系统和外部的库函数。被动态绑定的工具不必完全位于用户使用的设备 上，而是可以通过网络绑定。这样，服务提供商可以升级、加强或提供新的服务 而不必召回或重新改装用户的设备，十分方便。 第2 0 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与- # , r z 3 ) e l a t eo s 是基于对象的。在e l a t eo s 里，可以使用面向对象方法中的类 和重载方法，然而也可以通过定义工具来编程，因此它被认为是基于对象的而不 是面向对象的。 4 ) e l a t eo s 支持多进程、多任务和并行进程处理。 5 ) e l a t eo s 支持c 、c + + 、j a v a 等开发语言，可以方便地把各种语言编写的 程序代码编译成v p 代码，在它的i n t e n t 上甚至可以高速运行j a v a 应用程序。 图4 - 1 反映了e l a t eo s 的系统结构。 图4 - 1 e l a t e o s 系统结构图 4 3e l a t eo s 系统内核 内核是一些函数的集合，它提供了一些基本的工具，比如消息传递、内存管 理、进程分配、数据缓冲、以及进程调度等。e l a t eo s 内核是微内核，它由一系 列紧凑的模块组成，许多标准操作系统内核中应该包含的函数都没有被包含到内 核中，而是被独立地分离了出来，比如设备驱动程序便不是内核的一部分。 4 3 1 进程管理 在e l a t eo s 中，没有线程的概念，只有进程。所以进程的管理显得格外重要。 第2 i 页共5 9 互： 图像处理与嵌八式系统u s b 网络驱动的研究与实现 在系统中，进程共有7 种状态：n o n e x i s t e n t 、d o r m a n t 、s u s p e n d 、s l e e p & s u s p e n d 、 s l e e p 、r e a d y 和r u n 状态。在内核中有许多进程管理工具，可以实现进程状态 的转换，具体情形见图4 2 。 图4 2 进程转移图 4 3 2 进程同步 e l a t eo s 提供了几种进程间通讯的方法：信号灯( s e m a p h o r e ) ，互斥量 ( m u t e x ) ，事件( e v e n tf l a g ) ，命名数据段( n d a ) 和邮箱( m a i l b o x ) 。 利用s e m a p h o r e 可以允许一定数目的进程访问某一共享资源。每个s e m a p h o r e 都与一个计数器相关联，一个进程得到资源时计数器加1 ，释放资源时计数器减 1 。这样，当计数器的值为0 时，下一个申请该资源的进程将被阻塞，直到其它 进程释放该资源时才能被唤醒。计数器允许的最大值叫信号量，m u t e x 实际上就 是信号量为1 的s e m a p h o r e 。 e v e n tf l a g 是一个3 2 位的值，代表3 2 个被等待的事件，在e v e n tf l a g 中，每 l b i t 代表一个事件。如果某b i t 被置1 ，则等待该事件的进程就将被激活继续运行。 这些事件不是事先决定的，而完全是由应用程序使用f l a g 来定义的。一个进程可 第2 2 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 以单独等待一个事件，也可以同时等待几个事件联合发生，另外，一个单独事件 也可以触发多个进程。 n d a ，全称是n a m e dd a t aa r e a 。它是内核为进程提供的一种字符串与数据 指针之间的关联。在同一个处理器上，一个n d a 可以被任何类型的进程访问。 他们通过内核提供的工具在n d a 表中查找定义的字符，并且返回关联指针，这 样就可以在许多进程之间共享一些数据结构。 4 4e l a t eo s 的设备驱动程序 如前所述，e l a t eo s 支持基于对象的编程模式，而设备驱动程序采用的就是 这种模式。设备驱动层是严格基于类的，所有的设备驱动都是从d e v c l a s s 中继 承而来，而基类已经预定义了一系列必需的方法，这样编写出来的设备驱动就具 有一致的接口，易于使用，同时也容易扩展。另外，同类设备也可以从同一个类 中派生，例如鼠标类、打印机类等，有利于代码的封装与重用。 设备驱动的加载、卸载可以在命令行进行，也可以在应用程序中实时进行， 因为设备驱动并不是系统内核的一部分。设备驱动被加载并初始化后，将被加到 系统的设备驱动列表中，用一个字符串来表示。在应用程序中，就可以查找该字 符串得到相应的对象指针，从而进一步调用驱动的方法。 设备驱动的方法在设备驱动的类中定义，类代码只能用v p 来写，而方法代 码可以用v p 来写，也可以先用c 编写一个t o o l ，再在类中用v p 调用该t o o l 。 一般来说，后者是经常采用的办法。 第2 3 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 第五章u s b 网络驱动设计方案研究 5 1u s b 协议概述 u s b 是通用串行总线( u n i v e r s a ls e r i a lb u s ) 的缩写，它是由c o m p a q 、d e c 、 i b m 、i n t e l 、n e c 、m i c r o s o f t 以及n o r t e l 等公司于1 9 9 4 年1 1 月共同提出的，并 于1 9 9 6 年提出了1 0 版本，1 9 9 8 年更新为1 1 。 以下四个方面是u s b 技术得以广泛发展和应用的主要原因： 1 、方便 使用u s b 接口可以连接多个不同的设备，而过去的串口和并口只能接个 设备，因此，从一个设备转两使用另一个设各时不得不关机，拆下这个，安上那 个，开机再使用，u s b 则为用户省去了这些麻烦，除了可以把多个设备串接在 一起之外，u s b 还支持热插拔，设备的人工切换也因此变得省时省力。 在软件方面，u s b 设计的驱动程序和应用软件可以自动启动，无需用户做更 多的操作，这同样为用户带来极大的方便。 另外，u s b 设备也不涉及中断冲突问题。u s b1 3 单独使用自己的保留中断， 不会同其它设备争用p c 机有限的资源，同样为用户省去了硬件配置的烦恼。 2 、速度 速度性能是u s b 技术的突出特点之一。u s b 接口的最高传输率可达每秒 1 2 m b ，比串口快了整整1 0 0 倍! 这使得高分辨率、真彩色的大容量图像的实时 传送成为可能。 3 、连接 u s b 接口支持多个不同设备的串列连接，一个u s b 口理论上可以连接1 2 7 个u s b 设备。连接的方式也十分灵活，既可以使用串行连接，也可以使用h u b ， 把多个设备连接在一起，再同p c 机的u s b 口相接。 4 、电源 普通的使用串口、并口的设备都需要单独的供电系统，而u s b 设备则不需 要。 5 1 1u s b 基本特性 对u s b 协议来说，有一些基本的特性术语，比如d e v i c e 、e n d p o i n t 、p i p e 、 第2 4 页共5 9 页 图像处理与嵌入式系统u s b 网络驱动的研究与实现 i n t e r f a c e 、c o n f i g u r a t i o n 、d e s c r i p t o r 等，下面简要介绍它们之间的关系。 每一个设备( d e v i c e ) 会有一个或者多个的逻辑结点在里面，每个结点叫 e n d p o i n t 。每个e n d p o i n t 有四种数据传送方式：控制( c o n t r 0 1 ) 方式传送；同步 ( i s o c h r o n o u s ) 方式传送；中断( i n t e r r u p t ) 方式传送；批( b u l k ) 传送。但是所 有的e n d p o i n t o 都被用来传送配置和控制信息，只有控制方式传送。在主机( h o s t ) 和设备的e n d p o i n t 之间的连接叫做管道( p i p e ) ，与e n d p o i n t o 之间的连接叫做缺 省管道( d e f a u l t p i p e ) 。对于同样性质的一组e n d p o i n t 的组合叫做接口( i n t e r f a c e ) ， 如果一个设备包含不止一个的接口就可以称之为复合设备( c o m p o s i t ed e v i c e ) 。 同样的道理，对于同样的类型的接口的组合可以称之为配置( c o n f i g u r a t i o n ) 。但 是每次只能有一个配景是可用的，而一旦该配置激活，里面的i n t e r f a c e 和e n d p o i n t 就都同时可以使用。主机从设备发过来的描述字( d e s c r i p t o r ) 中来判断用的是哪 个配置、哪个接口等等，而这些的描述字通常是在e n d p o i n t 0 中传送。 5 1 2u s b 数据传输方式 在u s b 数据传送方式下，有四种传输方式：控制( c o n t r 0 1 ) 传输、同步 ( i s o c h r o n o u s ) 传输、中断( i n t e r r u p t ) 传输、批( b u l k ) 传输。通常所有传送方 式的主动权都