视频获取与处理技术ppt课件

1、 4.3.3 视频采集卡任务原理 视频采集卡任务原理如右图。可分成6个主要部分包括TV-coder功能。 视频获取与处置技术 1.A/D变换和数字解码 TDA8708/TDA8709接纳摄像机、录像机等彩色电视信号，转换为8位数字信号。 数字信号经SAA7191数字式多制式解码器，输出YUV信号。 YUV输出根据不同的采样有固定格式。 2.窗口控制器Pc-Video 窗口控制器芯片82C9001A用于视频的获取、叠加、显示。 PC总线接口：主机访问Pc Video内部功能由这部分控制，如帧存储器地址映射、帧存储器读写等。 视频获取与比例变换：场选择、输入窗口的大小定义、视频数据比例变换。比例范

2、围可以是原图的1/64-64/64。改动比例靠周期性地减少象素和扫描行实现。视频获取与处置技术VRAM读写、刷新控制：视频获取输入和主机读写都是经过VRAM的随机读写端口，需进展访问和选体控制。输出窗口VGA同步、色键控制部分：驱动帧存储器的数据同VGA的视频信号同步读出，以实现捕获视频与VGA信号的叠加。视频获取与处置技术 3.帧存储系统 从视频源采集到的信号，经A/D变换、数字解码，在窗口控制器的控制下，存入帧存储器。74ns/象素。 显示系统每隔74ns从帧存储器取一个象素，供VGA实时显示/或叠加显示。 计算机可以经过视频窗口控制器，对帧存储器的内容读写。如进展紧缩编码处置、发往信道传

3、输等。 目前技术采用双体存储器，即顺序的两个象素打入两个存储体，以缩短存取时间。 4.数模转换和矩阵变换 D/A转换器SAA9065把YUV数字信号转换为模拟信号，TDA4680把YUV信号变换为RGB信号。视频获取与处置技术 5.视频信号与VGA信号叠加 采集来的视频信号是经PC Video同步处置的，与VGA信号完全同步。 运用交替切换两路信号即可实现信号叠加。 该电路运用74HCT4053模拟开关电路实现。 6. 数字式多制式视频信号编码：TV-Coder 将视频采集信号和VGA信号叠加。 再转换为某种制式的电视信号。 编码器芯片为SAA7199。视频获取与处置技术 4.3.4 DSP技

4、术 计算机获取图像后，其中一个重要运用是进展处置。如图像识别、紧缩、图像加强等。这些处置需进展大量的数学运算，如： 点处置：常用于对比度加强、密度非线性校正、阈值处置、伪彩色处置等。处置方法是对象素数据实施数学变换。如对数变换，可实现暗区对比度扩张。 二维卷积运算：常用于图像平滑、锋利化、轮廓加强、空间滤波、模板匹配等。假设用MxM卷积核矩阵对一幅图进展卷积时，每个象素的输出需MxM次乘法和MXM-1次加法。 二维正交变换：如FFT、DCT和K-L变换等。用于图像加强、复原、数据紧缩等。视频获取与处置技术 坐标变换：常用于图像放大、减少、旋转、挪动等。 统计量计算：如计算密度直方图、均值、协方

5、差矩阵等。用于K-L变换、图像分割等。 图像的上述处置都是非常复杂的。例子： 装配机器人视觉系统，其识别零件的实际和算法都已处理，但处置一幅512X512X8bit的图像，把零件与其背景、零件和零件分割出来，算法中运用3X3卷积运算，对应25fps的实时处置，需512*512*9*2*25/s=118MOPS。要求CPU速度10-100倍，即1180-11800M,运算速度要求惊人。 处理方法：大型机、小型高速阵列机和公用途置芯片(DSP)。DSP是最经济的方案。它牺牲了计算机的通用性，针对视频信号二维向量特点及大量的向量乘、加运算，专门设计，直接用硬件实现算法(如卷积运算、DCT变换等),不

6、采用Von Neumann构造,而采用HARVARD构造。视频获取与处置技术 DSP的构造 DSP运用VLSI技术，是一种集成度很高的数字信号处置器芯片，主要用于图像、语音等的信号处置，自1987年以来，DSP产品越来越多，运用也越来越广泛。 DSP采用一种非Von Neumann构造HARVARD构造。典型的HARVARD构造运用双体存储器，分别保管数据和指令(程序),经过独立的总线从分别的存储器中并行地取指令和数据。 运用了HARVARD构造的DSP，一个时钟周期就可完成普通微处置器需25个时钟周期完成的一次乘法运算。 DSP普通运用更灵敏的、适宜二维向量处置的流水线构造。如INMOS公司

7、的卷积芯片A110，21个加法器可组成NXM构造，以顺应不同的卷积核。视频获取与处置技术 DSP举例 INMOS公司的A110卷积器。做3X7卷积，卷积系数矩阵为Cij,I=1,2,3;j=1,2,7，如下图的二维流水线构造。流水线冲满时一个时钟脉冲即可输出一个卷积结果：视频获取与处置技术C-Cube公司的CL450 MPEG解码器。它有本人的CPU和DRAM，DRAM里是用于解码的微程序。主机经过主机接口向CL450发送紧缩数据流和宏命令。视频获取与处置技术Creative 公司的公用音频DSP。该DSP带有本人的CPU、RAM和EPROM，存放声音处置(I/O)、ADPCM编/解码程序和中

8、间运算结果。主机Memory和DSP之间运用DMA方式传送数据。 DMA:Direct memory Access,直接数据存取。计算机与外部设备之间的数据传输有两种方式，一种是经过CPU把数据从存储器(RAM)/外部设备读出来，写到外部设备/存储器中。另一种是利用专门DMA芯片，CPU一旦启动DMA控制器，存储器和外部设备间的数据传输任务就由DMA担任，CPU不介入，数据传输完后报告CPU，让CPU去处置传输结果。视频获取与处置技术 4.4 多媒体显示系统 4.4.1 显示系统的组成 显示系统由显示器(monitor)和显示适配器(Adaptor)组成。 显示器主要由CRT(阴极射线管)和控

9、制电路组成。用于笔记本的电脑显示器那么是平板型的液晶显示器(LCD)。 显示适配器是一块插入PC扩展槽的卡(称显示卡、显示板)，或集成在主板上，由视频存储器(VRAM和ROM BIOS)、控制电路、具有DA转换功能的调色板等组成。第四章 多媒体硬件多媒体显示系统 显示器与适配器应该配套运用。假设显示器只支持VGA方式，那么花很多钱购买的SVGA适配卡就无意义。 PC显示技术阅历了4个主要开展阶段，它们是： 第一代规范(1981)：MDA和CGA。MDA(Monochrome Display Adapter)是单色显示适配器，只能显示80X25字符。CGA(Color Graphics Adap

10、ter)是彩色图形适配器，能显示字符和图形，显示分辨率为640X200(2种颜色)或320X200(4种颜色)。 第二代规范(1984)：EGA(Enhanced Graphics Array)加强型彩色图形适配器。分辨率为640X350，16种颜色(调色板有64种颜色)。兼容MDA和CGA的各种显示方式。 第三代规范(1987):VGA(Video Graphics Array)与EGA兼容，分辨率为640X480、16色或320X200、256色。运用256K种颜色的调色板，输出RGB模拟量。必需配模拟显示器。 第四代规范(1990)：XGA(Extended Graphics Array

11、)、SVGA(Super VGA),支持分辨率1024X768、256色或640X480、65K种颜色。XGA引入了16位真彩色任务方式，不用调色板。16为的分配为：5位红、6位绿、5位蓝。XGA还具有扩展的图形功能，经过图形协处置器快速执行画公用线、填充区域、象素块传送、剪裁等功能。 显示器类型主要是能否平面直角、能否多同步显示及输入信号是数字还是模拟等。 从显示器的扫描角度讲，显示器有固定频率和可变频率两类。1985年前，CGA、EGA等显示卡配置的显示器都是固定频率的，一种显示器只需一种扫描频率，只能与一种显示卡相匹配。目前的显示器大部分具有多频同步才干。多媒体显示系统 4.4.2 显示

12、系统根本概念 屏幕尺寸 指显像管尺寸(Tube size)，是CRT外表的物理尺寸，即对 角线的长度，与电视的概念一样。假设在1024X768或更 高的分辨率下进展任务，应运用17英寸以上显示器。 荫罩和点距 荫罩(Shadow)是安装在荧光屏内侧的上面刻有数万个小 园孔(荫罩孔)的薄钢板，又叫孔眼掩模。彩色显示器使 用三个电子枪，荫罩孔的作用在于保证三个电子束共同 穿过同一荫罩孔，准确地激发红、绿、蓝荧光粉。每个 荫罩孔对应一个荧光粉点组。荫罩孔间的间隔定义为点 距(Dot Pitch)，它限制了屏幕显示的最高分辨率。多媒体显示系统 普通情况下，一个象素覆盖多个荧光粉点组。一个象素对应一个荧

13、光粉组时，显示到达最高分辨率。 显示器和彩色电视的原理完全一样，区别就在于荫罩和所涂荧光物不同。显示器和电视的分辨率用点距来衡量，由于电视的分辨率规格不多，为0.76mm，所以很少谈及电视分辨率。显示器分辨率规格很多，分辨率从0.410.38 0.35 0.31 0.28 0.26mm，目前大多为0.28mm。显示器的价钱主要体如今点距上。多媒体显示系统 荧光粉类型及闪烁 电子束打在荧光粉上，荧光粉发光并继续一段时间。只需继续余 辉的亮度不低于原来的90%，人的视觉系统根本觉得不到变化。 余辉消逝前荧光点必需再次被激发(称为刷新)，否那么显示消逝或 出现闪烁。消除闪烁的方法：提高刷新频率技术本

14、钱高；延伸 荧光粉余辉时间引起“ 拖曳景象；减少亮度显示表现层次 不丰富。 扫描频率 程度扫描频率(Horizontal scan Rate)，是电子枪在屏幕上写一行点的频率，以Khz表示。如31.5Khz指1秒写31.5千行。 垂直刷新频率(Vertical Refresh Rate)，是指整个屏幕重写(刷新)的频率。刷新频率不够会引起屏幕闪烁。普通应72HZ。刷新速度与颜色数和分辨率有关，高分辨率下能够不能提高刷新频率。多媒体显示系统 隔行扫描和逐行扫描 是荧光粉被刷新的方式。隔行扫描方式，显示器在每遍扫描时隔 一行更新一行数据，更新整个屏幕需求两遍扫描。逐行扫描方式， 扫描时逐行更新数据

15、，一遍扫描即可完成全部数据更新。隔行扫 描方式实现廉价，但显示不够稳定。目前大多数显示适配器器都 采用逐行扫描。电视运用隔行扫描。 VRAM显示缓冲区与颜色定义 在显示适配器上，有一块存储器，用于存放显示时对应的格式数 据，称为视频存储器(VRAM)或显示缓存。 PC系统有两种显示方式-字符方式和图形方式，Windows下运用都是图形方式。VRAM存放的是显示器上的每个象素点的颜 色或灰度值矩阵的线性地址存放。屏幕上一个象素的颜色数由 VRAM中相应比特数决议。多媒体显示系统如能显示16种颜色的方式一个象素4bit，640X480的分辨率共需640X480X4/8=153.6KB的显示缓存。8

16、00X600分辨率、256色需480KB显示缓存。因此，显示缓存较大的显示卡，可支持颜色数和分辨率较高。显示缓存大，剩余部分可以存放字符属性、推拉式菜单等数据，加速显示速度。模拟信号接口和数字信号接口显示器与显示适配卡之间的连线信号方式有两种：数字信号和模拟信号。当运用数字信号时，两条信号线22=4可表示4种颜色，4条信号线2416可表示16种颜色等。可见，数字信号接口一方面接口不规范，另一方面随颜色数增多，所需信号线太多。CGA、EGA显示系统采用9针数字接口。VGA以后的显示系统均运用15针模拟信号接口，只需RGB3条信号线即可传送全部颜色信号，每个信号线电压0-5V无穷级可变，可以获得无限颜色数。多媒体显示系统 总线类型 显示适配卡是插在主机主板上任务的，由于要不断绘制和刷新计算机屏幕上的象素点，主机必需处置几百万个数据，经过总线传送到显示适配卡的VRAM中。 不同的主板扩展槽，或者说显示适配卡与主机不同的数据传输方法(总线)，使得主机向显示器传送数据的速度不同，价钱也不同。显卡总线要与主板扩展槽总线适配。 在AT