数字音视频技术实验指导书.doc

数字音视频技术实验指导书北方民族大学信息工程系2012年三月目录 数字音视频技术教学大纲1图像、语音和网络处理系统简介4实验一 运动图像检测18实验二 JPEG2编码解码21实验三 MPEG-2编码解码25实验四 H.263编码解码30实验五 H.264/AVC编码解码35实验六 H.264/AVC帧间编码40 数字音视频技术教学大纲(供信息工程本科专业使用)适用专业：通信工程、信息工程课程类别：专业任选课课程性质：选修课实验类别：专业实验一、学时与学分1.课程总学时：542.课程总学分：2.53.实验学时：124.实验学分：0二、实验教学目标与基本要求本课程是理论性较强的课程，实验教学可以加深学生对理论教学的理解，提高学习的兴趣和动手能力，为将来进一步的数字音视频技术的学习与使用打下基础。设置数字音视频技术实验的目的是要让学生理解实际应用中如何处理数字音频、视频的输入与输出；主要任务是使学生深入理解和掌握数字音频，视频方面的一些基本处理技术。三 内容简介实验内容主要包括：实验一运动图像检测。在ICETEK-DM642-PCI板上实现多通道图像的动态检测输入，将摄入的视频图像首幅作为参考帧，计算当前输入与参考帧的差别，产生检测图。实验二JPEG2编码解码。在ICETEK-DM642-PCI板上实现JPEG2的编码解码，将摄入的视频图像首先进行编码，产生JPEG2码流，再由解码程序处理该码流，生成目标视频送显示设备显示。实验三MPEG-2编码解码。在ICETEK-DM642-PCI板上实现MPEG-2的编码解码，将摄入的视频图像首先进行编码，产生MPEG-2码流，再由解码程序处理该码流，生成目标视频送显示设备显示。实验四H.263编码解码。在ICETEK-DM642-PCI板上实现H.263编码解码，将摄入的视频图像首先进行编码，产生H.263码流，再由解码程序处理该码流，生成目标视频送显示设备显示。实验五H.264/AVC编码解码。在JM8.4视频标准测试模型上，实现Foreman.qcif等视频序列的编码解码，并修改一些基本参数，查看结果。实验六语音滤波处理。设计一个语音采集-回放任务，用48K/秒的采样率采集立体声音频输入，用给定的FIR滤波参数处理后再播放出来。四、参考教材1、数字视频图像处理，全子一编著，电子工业出版社，2005年。2、数字视音频技术，刘毓敏编著，电子工业出版社，2002年。3、数字图像压缩编码，张春田，苏育挺，张静编著，清华大学出版社，2006年。五、考核方式以每次实验验收和实验报告评阅的方式进行考核。六、实验设备及器材配置实验设备瑞泰生产的ICETEK-DM642-PCI图像、语音仿真实验系统，共13套。计算机一台。七、实验项目一览适用专业、年级信息工程、通信工程专业三、四年级总学时实验学时5412序 号实验项目名称实验内容摘要学 时实验要求实验类型每组人数面向专业编号备注1运动图像检测将摄入的视频图像首幅作为参考帧，计算当前输入与参考帧的差别，产生检测图2必做验证型2080609Y2JPEG2编码解码将摄入的视频图像首先进行编码，产生JPEG2码流，再由解码程序处理该码流，生成目标视频送显示设备显示2必做验证型2080609Y3MPEG-2编码解码将摄入的视频图像首先进行编码，产生MPEG-2码流，再由解码程序处理该码流，生成目标视频送显示设备显示2必做验证型2080609Y4H.263编码解码将摄入的视频图像首先进行编码，产生H.263码流，再由解码程序处理该码流，生成目标视频送显示设备显示2必做验证型2080609Y5H.264/AVC编码解码在JM8.4视频标准测试模型上，实现Foreman.qcif等视频序列的编码解码，并修改一些基本参数，查看结果2必做综合型2080609Y6语音滤波处理用48K/秒的采样率采集立体声音频输入，用给定的FIR滤波参数处理后再播放出来2必做验证型2080609Y制定人：马宏兴 2006年12月24日审核人：张广忠 2006年12月30日批准人：任维桢 2006年12月31日图像、语音和网络处理系统简介一、硬件清单1DSP系统板(1) ICETEK-DM642-PCI系统板1块。(2) 系统板+5V供电电源转接线1根，两边均为带孔的插头。2仿真器（可选）(1) ICETEK-5100USBV2.0仿真器1个，JTAG接头带封针。(2) USB电缆连接线1根，两边插头一扁一方。3摄像头(1) 标准PAL制摄像头1个。(2) 摄像头供电+12V电源转接线1根。(3) 视频转接线1根，一端为Q9插头连接摄像头，另一端为莲花插头连接DM642系统板。(4) 标准PAL制摄像头支架1个。4TV显示器(1) 标准PAL/NTSC制TV显示器1个。(2) 显示器信号转接线1根，一端有黑色与TV显示器接头连接的插头，另一端有黑色带孔+12V电源连接插头，黄色和红色莲花视频输入插头。(3) 标准PAL/NTSC制TV显示器支架1个。5其他连线(1) 串行通信连接线1根。两端均为“D”形9芯插头。(2) 网络连接线1根。(3) 音频信号转接线2根。两端均为三触点立体声插头。6实验箱(1) 三芯220V电源连接线一根。二、硬件安装1将与ICETEK-DM642-IDK-M有关的电源切断，保证所有电缆均不带电操作。2在连接前使用者需要释放身上带有的静电，以防静电击毁集成电路器件。3按照实验需要连接硬件，未使用的连线可以不接。4必须连接的连线：外接220V电源连接线、USB连接线、JTAG连线、DSP系统板+5V电源连接线。5做视频输入/输出实验时需要的连线：摄像头+12V电源连接线、复合视频输入连线、第一路复合视频输入连线、第二路复合视频输入连线；连接视频连线接头、显示器+12V电源连接线、复合视频输出连线、VGA输出连线(来自VGA显示器)。6做音频输入/输出实验时需要的连线：音频输入连线(音频信号转接线)、音频输出连线(耳机或扬声器输入连线)。7做串口输入/输出实验时需要的连线：RS-232串口通信线。8做网络输入/输出实验时需要的连线：标准网络连线。三、ICETEK-DM642-PCI评估板简介图像、语音和网络处理系统是建立在ICETEK-DM642-PCI评估板基础上的实验系统， ICETEK-DM642-PCI评估板是一个低功耗独立的开发平台，可对TI的C64xx DSP系列进行评测和开发应用。ICETEK-DM642-PCI评估板还可以作为TMS320DM642 DSP芯片设计的硬件参考板。图1 DM642评估板示意图ICETEK-DM642-PCI评估板的主要特点包括：l 600MHz 的TMS320DM642 DSP芯片；l 独立的、标准的PCI总线结构，可以作为协处理板使用；l 4路视频端口PAL/NTSC制式或S端子；l 4M*64bit同步动态存储器（SDRAM），存储多达32帧图像；l 832M位 Flash，可以写进大量程序，具备自启动功能，可作为嵌入式的产品使用；l AIC23立体声数字信号编解码器；l 10100M以太网端口；l 通过编写在FPGA内部的寄存器，实现对板卡硬件功能的软件配置；l 导入加载选项配置（Boot Loader）；l 板上JTAG仿真接口；l 8个用户指示灯；l 单+5V电压供电；l 扩展背板接口；l 标准RS232串口通讯：两路，每路可高于115.2k/s。ICETEK-DM642-PCI评估板上的DSP芯片通过64bit的EMIF接口或8/16bit的3路视频接口连接板上外围设备。SDRAM、Flash、FPGA和UART每一个设备占用其中的一个接口。EMIF接口也连接扩展背板接口，扩展背板接口用来连接背板。评估板上的视频解码器和编码器连接到视频端口和扩展连接器上。评估板上的2个解码器和1个编码器符合标准规范。OSD功能由位于视频输出端口和视频解码器之间的外部FPGA执行。评估板上的AIC23多媒体编解码器允许DSP进行模拟音频信号的输出和接收。I2C总线用来控制编解码器端口，McASP被用来控制数据。模拟信号通过3个3.5mm的音频插座进行输入输出，其相应的分别是麦克风输入（microphone input）、直接输入（line input）和直接输出（line output）。编解码器可以选择麦克风输入或直接输入作为主动输入，模拟输出被指定为直接输出接口。McASP可以通过软件重新设定成为一个扩展接口。评估板包括八个指示灯，这些指示灯也是通过读写FPGA寄存器来进行控制的，可以利用这些指示灯进行交互式的反馈试验。ICETEK-DM642-PCI评估板上有两个配置开关，允许用户对复位后的DSP进行状态控制选择。评估板上的配置开关分别标示为S1和S2。开关S1配置板卡的导入方式，导入方式在DSP开始执行时使用。默认情况下，开关量被配置在EMIF导入小模式下（输出8bit Flash）。下表显示了开关S1的设置。插上跳线帽连通为ON，拔下跳线帽断开为OFF。表1 开关量S1配置方式S1-2S1-1配置描述OffOffNo BootOffOnHPI/PCI BootOnOffReservedOn*On*EMIF boot from 8-bit Flash *开关量S2控制选择DSP的模式和PCI ROM的使能。下表显示了开关S2的设置。表2 开关量S2-1配置方式S2-1配置描述Off*PCI EEPROM DisabledOnPCI EEPROM Enabled表3 开关量S2-2配置方式S2-2配置描述Off*Little Endian ModeOnBig Endian Mode注：“*”为缺省设置下图显示了开关变量在ICETEK-DM642-PCI评估板上的具体位置。S1-1S1-2S2-1S2-2图2 配置开关S1和S2位置ICETEK-DM642-PCI评估板的运作是通过主电源（J10）输入+5V电源或通过PCI插槽供电。在内部，+5V输入电源被整流分为+1.4V和+3.3V。+1.4V的电压被提供给DSP处理器，+3.3V的电压提供给DSP内的I/O和评估板上其他芯片。电源的端口是2.1mm的桶式插孔。单独的电源芯片用来为FPGA芯片和视频输入输出提供电压。四、实物描述4.1评估板版面布局ICETEK-DM642-PCI评估板为290110mm的多层板，由一个外扩的+5V电源供电。图3显示了ICETEK-DM642-PCI评估板的布局示意图。J13_1J11J16J17J18J15J13_2J14J5J2J3J4J9J8J7J6J1DC_P2DC_P3DC_P1J21J19(背面)J12J10图3 ICETEK-DM642-PCI评估板4.2 连接器ICETEK-DM642-PCI评估板为了用户在板卡上存取各种信号，共提供了24个连接器。表4：ICETEK-DM642-PCI评估板连接器连接器针脚功能J14S端子视频输出J22视频输出-红或色度J32视频输出-绿或灰度J42视频输出-兰或复合视频J515VGA视频输出J66FPGA Optional JTAG Programmer Header连接器针脚功能J714JTAGJ88EthernetJ93SPDIFJ102单+5V电压输入 J119RS-232J1210RS-232J13_12线形音频输入J13_22麦克风输入J142线形音频输出J152复合视频输入J164S端子视频输入J172复合视频输入J182复合视频输入J196060针仿真接口(bottom side)J21124PCI总线接口DC_P190背板接口1DC_P290背板接口2DC_P390背板接口34.2.1 J1，S端子视频输出连接器J1是一个四针的低噪声连接器，连接到输出显示驱动。连接器直接通过Phillips SAA7105视频编码器驱动。下图显示了连接器的外观。表5：J1，低噪声连接器针脚信号名称1地2地3Luma (Y)4Chroma (C)图4 正视，低噪声连接器4.2.2 J2，视频输出-红或色度J2是当解码器工作在R-G-B模式时驱动RED信号使用的一个RCA插座。在当前的工作模式下驱动U、V组成的视频信号也使用J2输出口。下图显示连接器的外观。图5J2，RAC 插座4.2.3 J3，视频输出-绿或灰度J3是一个RCA插座用来连接GREEN视频显示驱动。这个连接器直接通过SAA7105视频编码器驱动。在当前的工作模式下输出Y视频信号使用J3输出口。下图显示连接器的外观。图6 J3，RAC 插座4.2.4 J4，视频输出-兰或混合视频J4是连接RGB驱动的Blue信号使用的一个RCA插座。这个连接器直接通过SAA7105视频编码器驱动。在当前工作模式下输出混合视频信号时使用J4输出口。下图显示连接器的外观。图7 J4，RAC 插座4.2.5 J5，PC视频输出连接器J5连接器提供个人标准计算机15针高密度D型插孔视频输出。下表列出了通过各针脚的信号。表6：J5，PC 视频输出连接器针脚信号名称1红2绿3兰4无连接5地6地7地8地9控制10地11无连接12无连接13水平同步14垂直同步15无连接4.2.6 J6，FPGA编程接口J6连接器是一个允许JTAG编程FPGA的23双排插针，U8。下表列出了通过各针脚的信号。表7：J6, FPGA 编程连接器针脚信号名称1+3.3V2Ground3FPGA-TCK4FPGA-TDI5FPGA-TDO6FPGA-TMS4.2.7 J7，JTAG端口ICETEK-DM642-PCI评估板提供了14针的插针接口，J7。JTAG仿真器通过这个标准的接口对TI的DSP进行仿真。下图显示了连接器的各针脚输出。图8 JTAG端口4.2.8 J8，以太网连接器连接器J8是一个标准的RJ-45以太网连接器。下表列出了通过各针脚的信号。表8：J8 连接器针脚输出针脚信号名称1LXT TXD2LXT TXM3LXT RXP4Terminator 15Terminator 26LXT RXM7Terminator 38Terminator 44.2.9 J9，扩展连接器当工作在SPDIF模式ICETEK-DM642-PCI评估板有能力通过片上的McASP驱动SPDIF音频输出。这个输出经过缓冲，连接到垂直安装在板卡上的J9RCA插座。下图显示连接器的外观。图9 J9，RAC Jack4.2.10 J10，+5V输入连接器ICETEK-DM642-PCI评估板可以独立的供电，也可以通过PCI总线供电。输入仅提供5V的电压。独立供电模式下，5V电源连接到ICETEK-DM642-PCI评估板的J10连接器上。连接器的外径为5.5mm，内径为2.1mm。下图显示了J10的外观。图10 J10，+5 V输入连接器4.2.11 J11，J12，RS-232连接器ICETEK-DM642-PCI评估板具有板上TLC16C752双重UART。UART A通过MAX3243 RS-232驱动缓冲，发送到9针D型插针，J11。UART B通过MAX3243 RS-232驱动缓冲，发送到52双排插针，J12。J11连接器的针脚位置显示在下图中。图11 J11, DB9 插针连接器针脚数和它们相应的信号显示在下表中。这对应于个人计算机上的标准双排DB-9连接器。表9：J11，RS-232 输出针脚针脚信号名称方向1DCDIn2RXDIn3TXDOut4DTROut5GNDN/A6DSRIn7RTSOut8CTSIn9RIIn下表显示了J12的针脚数和它们相应的信号。表10：J12，5x2 输出针脚针脚信号名称方向针脚信号名称方向1DCDIn2RXDIn3TXDOut4DTROut5GNDN/A6DSRIn7RTSOut8CTSIn9RIIn10Not UsedN/A4.2.12 J13，麦克风/音频输入连接器J13是音频输入和麦克风输入的连接器。麦克风的输入是3.5mm立体声插销，使用时插入J13_2。下图显示了插销上的信号。图12 麦克风立体声插销音频直接输入是立体声输入。输入的是3.5mm立体声插销，使用时插入J13。下图显示了插销上的信号。图13 音频线形输入立体声插销4.2.13 J14，音频线形输出连接器音频直接输出是立体声输出。输出的连接器是3.5mm的立体声插销。下图显示了插销上的信号。图14 音频线形输出立体声插销4.2.14 J15，捕获视频输入端口1连接器J15是RCA插座，用来为捕获通道1捕获合成视频。这个接口直接通过Phillips SAA7115视频解码器驱动。下图显示了接口的外观。图15 J15，RCA 插座4.2.15 J16，捕获S-Video输入端口1连接器J16是一个连接到S-Video输入捕获通道1的4针低噪声连接器。这个接口直接通过Phillips SAA7115视频解码器驱动。下图显示了接口的外观。图16 正视，低噪声连接器表11：J1，低噪声连接器针脚信号名称1Ground2Ground3Luma (Y)4Chroma (C)4.2.16 J17，捕获视频输入端口2连接器J17是一个连接合成视频源到捕获通道2的RCA插座。这个接口直接通过Phillips SAA7115视频解码器驱动。下图显示了接口的外观。图17 J17，RCA 插座4.2.17 J18，捕获可选择视频输入端口2连接器J18是一个连接合成视频源到捕获通道2的RCA插座。这个接口直接通过Phillips SAA7115视频解码器驱动。下图显示了接口的外观。图18 J18，RCA 插座4.2.18 J19，60针仿真连接器60针的仿真连接器被安装在ICETEK-DM642-PCI评估板的底部。这个连接器具有高级的仿真功能。下表分4纵列，每列15个显示了连接器的信号。表12：J19，60针仿真接口Row #Column A信号名称Column B信号名称Column C信号名称Column D信号名称1GroundIDOID2Ground2GroundTMSEMU18Ground3GroundEMU17TRSTnGround4GroundTDIEMU16Ground5GroundEMU14EMU15Ground6GroundEMU12EMU13Ground7GroundTDOEMU11Ground8TYPE0TVDTCLKRTNTYPE19GroundEMU9EMU10Ground10GroundEMU7EMU8Ground11GroundEMU5EMU6Ground12GroundTCLKEMU4Ground13GroundEMU2EMU3Ground14GroundEMU0EMU1Ground15GroundID1ID3Ground4.2.19 J21，PCI连接器J21连接器是板卡边缘的PCI端口。这个端口分“A”边和“B”边。因为卡上设置的刻痕针脚是不相邻的。“B”边在板卡的上边。I/O指向区域参考PCI插槽。表13：P2，PCI Connector，“A”Side针脚信号I/O描述针脚信号I/O描述1TRST-Not Used2+12 VoltsNot Used3TMSNot Used4TDII/OTied to TDO5+5 Volts+5 Volts Power6INTAOInterrupt Out7INTCOInterrupt Out8+5 Volts+5 Volts Power9RsvdNot Used10+V I/ONot Used11RsvdNot Used12KeyKey13KeyKey14+3.3 VoltsNot Used15RSTIPCI_Resetn16+V I/OONot Used17GNT-OGrant18GNDGround19PME20AD30I/O/ZAddress/Data 3021+3.3 VoltsNot Used22AD28I/O/ZAddress/Data 2823AD26I/O/ZAddress/Data 2624GND25AD24I/O/ZAddress/Data 2426IDSELIInitialization Device Select27+3.3 VoltsNot Used28AD22I/O/ZAddress/Data 2229AD20I/O/ZAddress/Data 2030GNDGround31AD18I/O/ZAddress/Data 1832AD16I/O/ZAddress/Data 1633+3.3 VoltsNot Used34FRAMEIFrame35GNDGround36TRDY-I/O/ZTarget Ready37GNDGround38STOPI/O/ZStop Direction39+3.3 VoltsNot Used40SDONEODone41SBO42GNDGround43PARI/O/ZParity44AD15I/O/ZAddress/Data 1545+3.3 VoltsNot Used46AD13I/O/ZAddress/Data 1347AD11I/O/ZAddress/Data 1148GNDGround49AD9I/O/ZAddress/Data 950KeyKey51KeyKey52C/BE0Command/Byte Enable053+3.3 VoltsNot Used54AD6I/O/ZAddress/Data 655AD4I/O/ZAddress/Data 456GNDGround57AD2I/O/ZAddress/Data 258AD0I/O/ZAddress/Data 059+V I/ONot Used60REQ64Not Used61+5 Volts+5 Volts Power62+5 Volts+5 Volts Power下表显示了连接器“B”边的信号。表14：P2，PCI Connector，“B”Side针脚信号I/O描述针脚信号I/O描述1-12 VoltsNot Used2TCKINot Used3GNDGround4TDOITied to TDO5+5 Volts+5 Volt Power6+5 VoltsI+5 Volt Power7INTB-Interrupt OUT8INTD-Interrupt Out9PRSNT1OPower Requirement10Rsvd11PRSNT2OPower Requirement12KeyKey13KeyKey14Rsvd15GNDGround16CLKSystem Clock17GNDGround18REQ19+V I/ONot Used20AD31I/O/ZAddress/Data 3121AD29I/O/ZAddress/Data 2922GNDGround23AD27I/O/ZAddress/Data 2724AD25I/O/ZAddress/Data 2525+3.3 VoltsNot Used26C/BE3I/O/ZCommand/Byte Enable 327AD23I/O/ZAddress/Data 2328GNDGround29AD21I/O/ZAddress/Data 2130AD19I/O/ZAddress/Data 1931+3.3 VoltsNot Used32AD17I/O/ZAddress/Data 1733C/BE2I/O/ZCommand/Byte Enable 234GNDGround35IRDY-IInitiator Ready36+3.3 VoltsNot Used37DEVSEL-I/O/ZDevice Select38GNDGround39LOCKIResource Locked40PERRI/O/ZParity Error41+3.3 VoltsNot Used42SERROSystem Error43+3.3 VoltsNot Used44C/BE1I/O/ZCommand/Byte Enable 145AD14I/O/ZAddress/Data 1446GNDGround47AD12I/O/ZAddress/Data 1248AD10I/O/ZAddress/Data 1049M66ENO66 Mhz Enable50KeyKey51KeyKey52AD8I/O/ZAddress/Data 853AD7I/O/ZAddress/Data 754+3.3 VoltsNot Used55AD5I/O/ZAddress/Data 556AD3I/O/ZAddress/Data 357GNDGround58AD1I/O/ZAddress/Data 159+V I/ONot Used60ACK64Not Used61+5 Volts+5 Volt Power62+5 Volts+5 Volt Power4.3 用户指示灯ICETEK-DM642-PCI评估板提供8个用户指示灯（DS1-DS8）。指示灯的状态通过0x9008 0017位置的FPGA寄存器控制。这些灯的颜色和功能显示在下表中。表15：ICETEK-DM642-PCI评估板指示灯编号颜色功能DS1红可编程FPGA LED寄存器D0DS2红可编程FPGA LED寄存器D1DS3红可编程FPGA LED寄存器D2DS4红可编程FPGA LED寄存器D3DS5红可编程FPGA LED寄存器D4DS6红可编程FPGA LED寄存器D5DS7红可编程FPGA LED寄存器D6DS8红可编程FPGA LED寄存器D74.4 系统状态指示灯ICETEK-DM642-PCI评估板提供5个系统状态指示灯（DS9-DS13）。下表显示了个指示灯的功能和颜色。表16：系统状态指示灯编号颜色功能DS9红7115（A）解码开始，初始化成功DS10红FPGA加载成功DS11红复位灯，灯亮表示正在复位DS12红7115（B）解码开始，初始化成功DS13绿评估板通电指示灯4.5 复位开关S3ICETEK-DM642-PCI评估板可以通过两种方法进行复位。第一种是电源复位。通过对ICETEK-DM642-PCI评估板的通断电进行复位。第二种是按下复位开关S3。当这个开关被按下时，评估板处于复位状态。实验一 运动图像检测一实验目的1学习使用RF-5设计框架构造应用程序。2了解在RF-5平台上调用DIFF(Difference)算术库。3学习运用IDMA规范综合JPEG编码和解码库。4了解使用XDIAS接口实现与算术库的协调工作。二实验设备计算机，ICETEK-DM642-IDK-M实验箱。三实验原理实验程序在ICETEK-DM642-PCI板上实现多通道图像的动态检测输入，图像采用CIF格式而输出采用4幅拼接在一起的CIF格式的图像。程序将摄入的视频图像首幅作为参考帧，调用DIFF算法计算之后的输入与参考帧的差别，产生检测图，再由ROTATE算法将输入图像的色差经过旋转生成色差调整图，再生成先经过DIFF算法处理接着经过ROTATE算法处理过的检测图。1示意图图像采集2143通道11显示线程通道22DIFFROTATE通道33通道44DIFFROTATE通道1：左上角图像显示当前活动视频。通道2：当前视频与参考图的差别，由DIFF算法计算所得的动态检测图，它位于显示的右上角。如图，因为球的位置改变了，所以改变的地方及其阴影都被检测出来并显示成红色。通道3：在左下角是一幅色差旋转变换图。当前视频被调整色差信号，使得图中方块和球都在改变颜色。通道4：是通道2和通道3的合并结果，图像先作DIFF运算再作ROTATE运算。不只是方块，通道2中的运动部分都变成蓝色了。2程序分析(1)DIFF完成的运算(此算法库相关源文件请见目录:ICETEK- DM642 - EDULab Lab534 - VideoMotionDetectdiff_ti)比较区域内所有象素并计算有差别象素的数目。如果有大于DIFFTHRESHOLD(该阈值自定义)数目的象素不同，转第，否则，停止。找出所有差异象素并改变颜色。(2)重新设置参考图像，修改标注颜色四实验步骤1实验准备(1)连接设备关闭计算机和实验箱电源。连接ICETEK-5100USBV2.0仿真器一端的黑色插头到ICETEK-DM642-PCI板上J7插座(JTAG)，电缆上红色线要靠近“J7”丝印。连接+5V电源线到ICETEK-DM642-PCI板上J10插座。连接实验箱中视频转接线的输入端连接到选配的摄像头或视频信号输入端子上，将转接线的输出端(两个接头)分别连接到ICETEK-DM642-PCI板上J15和J16插座。连接实验箱中电视显示器接头到专用电视转接线的相应插头，连接转接线的黄色莲花插头到ICETEK-DM642-PCI板上J4插座。用实验箱所配的电源转接线(两端均为带孔的插头)连接实验箱底板上+12V电源输出插座到选配的摄像头上电源插座。将电视转接线上电源插头(带孔的黑色插头)插入实验箱底板上+12V电源输出插座。(2)开启设备打开计算机电源。打开实验箱电源开关，注意ICETEK-DM642-PCI板上指示灯DS10亮，表示OSD FPGA配置完成，与此同时，DS1DS8全亮。附带的USB电缆连接计算机(最好使用PC机机箱后部的USB插座)和仿真器相应接口，注意仿真器上两个指示灯均亮。打开电视显示器开关，可以看到彩条显示。双击运行桌面上“初始化ICETEK-5100USB仿真器”，在弹出的DOS窗口中观察初始化操作结果。如果窗口中最后一行显示“This utility has successfully reset the controller.”，并提示“按任意键继续”，表示成功地初始化仿真器，可按键盘上空格键继续下步操作。如果窗口中没有出现“按任意键继续”，请关闭窗口，关闭实验箱电源，再将USB电缆从仿真器上拔出，返回第步重试。如果窗口中出现“The adapter returned an error.”，并提示“按任意键继续”，表示初始化失败，请关闭窗口重试两三次，如果仍然不能初始化则关闭实验箱电源，再将USB电缆从仿真器上拔出，返回第步重试。(3)设置Code Composer Studio为Emulator方式参见“Code Composer Studio入门实验”相关部分。(4)启动Code Composer Studio双击桌面上“CCS 2(C6000)”图标，启动Code Composer Studio。成功后可看到CCS环境界面。2打开工程：工程目录:ICETEK-DM642-EDULabLab534-VideoMotionDetectprojectsevmdm 6423浏览工程中源程序并理解含义。4编译、连接、下载并运行程序，观察显示结果。5加载MotionDetect.gel。6选择菜单“GEL”-“动态检测：设置参考图”-“setReference”。7选择菜单“GEL”-“动态检测：设置颜色”-“ChangeColor”，可以修改差异颜色。8结束运行，退出工程。五实验结果图像采用CIF格式，输出采用4幅拼接在一起的CIF格式的图像。程序将摄入的视频图像首幅作为参考帧，调用DIFF算法计算之后的输入与参考帧的差别，产生检测图，再由ROTATE算法将输入图像的色差经过旋转生成色差调整图，再生成先经过DIFF算法处理接着经过ROTATE算法处理过的检测图。六实验要求1掌握运动图像检测的理论知识；2观察通道2、4图像颜色变化，并记录；3改变Y,Cb,Cr数据，并记录改变前后图像的变化。七实验思考题1程序如何检测出运动的图像？以什么为依据？2如果物体未运动，通道2、通道3、通道4中如何对其处理？实验二 JPEG2编码解码一实验目的1学习使用RF-5设计框架构造应用程序。2了解在RF-5平台上调用JPEG编码、解码库实现可编程控制的压缩质量和帧率的视频采集、显示功能。3学习运用IDMA规范综合JPEG编码和解码库。4了解使用XDIAS接口实现JPEG编码、解码库的协调工作。二实验设备计算机，ICETEK-DM642-IDK-M实验箱。三实验原理实验程序在ICETEK-DM642-PCI板上实现D1格式的JPEG2编码和解码。程序将摄入的视频图像首先进行编码，产生JPEG压缩图，再由解码程序处理此压缩图，生成解压缩图像送显示设备显示。1数据流图JPEG编码器色差信号重采样YUV(4:2:2)-YUV(4:2:0)摄入一帧图像数据视频源JPEG解码器显示此帧图像数据显示设备色差信号重采样YUV(4:2:0)-YUV(4:2:2)数据流程：(1)输入设备提供的一帧图像被采集到输入缓存。(2)获得的数据由YUV 4:2:2格式进行重抽样变为YUV 4:2:0格式。(3)提供图像数据给JPEG编码库程序，产生用户定制压缩质量的JPEG图像。(4)产生的JPEG图像被作为解码器的输入，产生一幅YUV 4:2:0格式的解码图像。(5)解码产生的YUV 4:2:0格式的图像被重新采样成YUV 4:2:2格式的图像。(6)显示设备显示输出的图像。2程序流程(1)实验程序采用RF-5(参考设计框架5)来整合JPEG的编码、解码库。程序使用了四个任务模块结构。第四个任务是一个控制任务，它使用一个邮箱发送消息给处理任务模块。处理任务模块从邮箱接收消息，并根据消息中指定的图像质量调节图像帧率。在进入DSP/BIOS的调度程序之前，程序初始化了多个要使用的模块。包括：处理器和系统板的初始化：-初始化BIOS环境和CSL。-设置使用128K的二级高速缓存。-设置二级高速缓存可映射到EMIF的CE0和CE1空间。-设置DMA优先级序列长度取最大值。-设置二级高速缓存的请求优先级最高。-DMA管理器用内部的和扩展堆初始化。RF-5模块的初始化：-系统初始化RF-5的通道模块。-系统初始化RF-5框架中用于内部单元通讯和传递消息的ICC和SCOM模块。-各通道建立在内部的和扩展的堆上建立摄入和显示通道-建立和启动一个摄入通道的实例。-建立和启动一个显示通道的实例。 (2)在完成初始化工作之后，系统进入DSP/BIOS调度程序管理下的4个任务系统。4个任务通过RF-5的SCOM模块互相发送消息。以下是这4个任务：输入任务输入任务从输入设备驱动程序获得视频图像。并将YUV 4:2:2格式的获得图像重采样成YUV 4:2:0。输入任务接着发送消息到处理任务，消息中包含图像数据指针。接着等待处理任务发送来的消息以继续处理。处理任务处理任务包含两个单元。第一个单元是一个JPEG编码单元，它接受YUV 4:2:0格式的图像，产生用户定制压缩质量的JPEG图像。第二个单元是一个JPEG解码单元，它接收JPEG压缩图像并生成解压缩图像。解码的图像格式是YUV 4:2:0的。在解码完成后，处理任务发送一个消息给所有输入和输出任务模块，标示缓冲区使用完毕，现在可以重新使用。输出任务输出任务将图像显示在显示设备上。它使用输出驱动程序提供的FVID_exchange调用实现图像的显示。它得到的图像的格式是YUV 4:2:0的，需要重新采样成YUV 4:2:2格式。然后等待处理任务发来的消息以继续运行。控制任务控制任务管理可选参数，可以控制JPEG图像帧率和压缩质量。控制任务检测参数的改变，这些参数定义在一个全局结构“External Control”，同时将更新的参数复制到任务自定义的结构“External Control_prev”中，并向处理任务模块的邮箱中发送消息。处理任务模块定时检测这些消息并调用相应单元的控制函数。四实验步骤1实验准备(1)连接设备关闭计算机和实验箱电源。连接ICETEK-5100USBV2.0仿真器一端的黑色插头到ICETEK-DM642-PCI板上J7插座(JTAG)，电缆上红色线要靠近“J7”丝印。连接+5V电源线到ICETEK-DM642-PCI板上J10插座。连接实验箱中视频转接线的输入端连接到选配的摄像头或视频信号输入端子上，将转接线的输出端(两个接头)分别连接到ICETEK-DM642-PCI板上J15和J16插座。连接实验箱中电视显示器接头到专用电视转接线的相应插头，连接转接线的黄色莲