(摄像头的工作原理(获取视频数据))摄像头视频采集压缩及传输

1、摄像头视频采集压缩及传输引言：谓视频传输:就是将图片一张张传到屏幕，由于传输速度很快，所以可以让大家看到连续动态的画面，就像放电影一样。一般当画面的传输数量达到每秒 24帧时，画面就有了连续性。下边我们将介绍摄像头视频采集压缩及传输的整个过程。一摄像头的工作原理（获取视频数据）摄像头的工作原理大致为：景物通过镜头（LENS）生成的光学图像投射到图像传感器表面上，然后转为电信号，经过A/D（模数转换）转换后变为数字图DSP）中加工处理，再通过USB接口传输到电脑中处理，通过显示器就可以看到图像了。下图是摄像头工作的流程图：注 1：图像传感器（SENSOR）是一种半导体芯片，其表面包含有几十万到几

2、百万的光电二极管。光电二极管受到光照射时，就会产生电荷。注 2：数字信号处理芯片 DSP（DIGITAL SIGNAL PROCESSING）功能：主处理后的信号通过 USB等接口传到 PC等设备。DSP结构框架:1. ISP（image signal processor）（镜像信号处理器）2. JPEG encoder（JPEG图像解码器）3. USB device controller（USB设备控制器）而视频要求将获取的视频图像通过互联网传送到异地的电脑上显示出来这其中就涉及到对于获得的视频图像的传输。 H.261、JPEGMPEG RealPlayer不知是否 250kbps400kb

3、ps、1000kbps 640480 50kb左右，每秒 30 帧，那么摄像头传输视频所需的速度为 5030/s1500kbps1.5Mbps 320240 24 300kbps，人们就可以进行较为流畅的视频传输聊天。如果采用更高的压缩视频方式，如MPEG-1 200kbps摄像头所需的网络传输速度。二视频压缩部分压缩。而视频传输（如QQ视频即时聊天）属于要求视频压缩为实时压缩。下面对于视频为什么能压缩进行说明。高的压缩率是因为视频图像有着非常大的时间和空间的冗余度度指的是两帧相邻的图像他们相同位置的像素值比较类似，具有很大的相关性，尤其是静止图像，甚至两帧图像完全相同，对运动图像，通过某种运

4、算（运动估计），应该说他们也具有很高的相关性；而空间相关性指的是同一帧图像，相邻话说，如果不满足这两个条件（全白噪声图像，场景频繁切换图像等），视频压缩的效果是会很差的。中最匹配的位置，很多时候，我们只需要把这个相对坐标记录下来，就够了，这最核心的部分。去除空间相关性是通过 DCT 变换来实现的，把时域上的数据映射到频域上，然后对 DCT 系数进行量化处理，基本上，所有的有损压缩，都会有量化，它提高压缩率最明显。缩比率大都是 5:1。也就是说，如果在未压缩之前 30秒的图像的容量是30MB，那么按照摄像头 5:1 6MB了。主要的视频压缩算法包括：M-JPEGMpegH.264WaveletJ

5、PEG 2000、AVS。基本上视频压缩的核心就这些。三视频传输部分个设计和实现的关键。Internet在 IP层上使用两种传输协议：一种是 传输控制协议)，它是面向连接的网络协议；另一种是 UDP(用户数据报协议，它是无连接的网络协议。TCP 传输：TCP（传输控制协议）是一种面向连接的网络传输协议。支持多TCP传输提供了可靠的数据传输服务。使用 TCP 传输的一般的过程：客户机向服务器发出连接的请求后，服务器接收到后，向客户机发出连接确认，实现连接后，双方进行数据传输。UDP 传输： （用户数据报协议）是一种无连接的网络传输协议。提供一种基本的低延时的称谓数据报的传输服务。不需要像 TCP

6、 传输一样需预先建立一条连接。UDP 无计时机制、流控或拥塞管理机制。丢失的数据不会重传。网内，使用 UDP传输数据还是比较可靠，且效率很高。IP 组播技术：组播技术是一种允许一个或多个发送者发送单一或多个发送只有加入到该组播组的主机才能接收到这些数据包。组播可大大节省网络宽带，因为无论有多少个目标地址，在整个网络的任何一条链路上只船送单一的数据包。1.TCP/IP 协议和实时传输TCP/IP协议最初是为提供非实时数据业务而设计的。IP 协议负责主机之间的数据传输，不进行检错和纠错。因此，经常发生数据丢失或失序现象。为保证数据的可靠传输，人们将TCP协议用于 IP数据的传输，以提高接收端的检错

7、和就不可避免地引起了传输延时和耗用网络的带宽。因此传统的 TCP/IP协议传输TCP协议也是一种选择。如果有足够大的缓冲区、充足的网络带宽，在TCP协议上，情况下，利用 TCP协议进行视频或音频通信几乎是不可能的。TCP和其它可靠的传输层协议如XTP不适合实时视音频传输的原因主要有以下几个方面：1.TCP的重传机制我们知道，在 TCP/IP协议中，当发送方发现数据丢失时，它将要求重传丢 TCP/IP的快速重传机制，和断点（音频的不连续或视频的凝固等等）。2.TCP的拥塞控制机制TCP 的拥塞控制机制在探测到有数据包丢失时，它就会减小它的拥塞窗口。而另一方面，音频、视频在特定的编码方式下，产生的

8、编码数量（即码率）是不视频信息的帧频或图像幅面的大小等等。3.TCP报文头的大小TCP UDP的报文头大。TCP的报文头为 40个字节，而 UDP的报文头仅为 12个字节。并且，这些可靠的传输层协议不能提供时间戳（ Time Stamp）和编解码信息（ EncodingInformation），而这些信息恰恰是接收方（即客户端）的应用程序所需要的。因此 TCP是不适合于视音频信息的实时传输的。4.启动速度慢即便是在网络运行状态良好、没有丢包的情况下，由于 TCP 的启动需要建用中，尽量少的延迟正是我们所期望的。由此可见，TCP数据的实时传输，我们需要寻求其它的途径。2.RTP 协议适合实时视音

9、频传输（Real-Time Transport Protocol）/RTCP（Real-Time Transport ControlProtocol）是一种应用型的传输层协议，它并不提供任何传输可靠性的保证和流量的拥塞控制机制。它是由 （Internet Engineering Task Force）为视音频的实时传输而设计的传输协议。RTP 协议位于 UDP 协议之上，在功能上独立于UDP）和网络层，但不能单独作为一个层次存在，通常是利用低层的 UDPMulticast）或单播（Unicast从而实现多点或单点视音频数据的传输。UDP 是一种无连接的数据报投递服务，虽然没有 TCP 那么可靠

10、，并且无法QoS需要 RTCP实时监控数据传输和服务质量，但是，由于UDP的传输延时低于 ，能与音频和视频流很好地匹配。因此，在实际应用中，RTP/RTCP/UDP 用于音视频媒体，而 TCP 用于数据和控制信令的传输。总结：如果接收端和发送端处于同一个局域网内，由于有充分的带宽保证，在满足视频传输的实时性方面，TCP 也可以有比较好的表现，TCP 和基于 UDP的 RTP 的视频传输性能相差不大。由于在局域网内带宽不是主要矛盾，此时视及采用的处理机制所决定的 。但是当在广域网中进行视频数据传输时，此时的传输性能极大地取决于可用的带宽，由于 TCP 是面向连接的传输层协议，它的重传机制和拥塞控制机制，将使网络状况进一步恶化，从而带来灾难性的延时。同时，在这种网络环境下，通过TCP传输的视频数据，在接收端重建、回放时，断点非常明显，体现为明显的断断续续，传输的实时性和传输质量都无法保障。相对而言，采用 RTP 传输的视频数据的实时性和传输质量就要好得多。四视频