达芬奇技术在视频处理中的应用

达芬奇技术在视频处理中的应用

0值和fpga芯片的数字视频处理ti渲染技术是一套基于pd的系统解决方案，旨在高效处理数字视频。适用于数字摄像机、视频安全设备、高级医疗图像设备、视频广播等视频应用。DaVinci技术提供了一个处理器、软件和开发工具完全集成的简单易用的数字视频平台,从而简化了设计,缩短了开发周期。基于达芬奇技术,TI已推出了多款芯片,如DM6446、DM365、DM6467、DM8168等,以满足不同的应用需求。基于DaVinci技术强大的视频处理功能,已经开发了使用DM365芯片的视频处理板,成功应用到手持式热像仪上,实现了红外视频压缩、存储并对热像仪进行了USB和SD卡接口扩展;基于DM6467芯片设计开发了图像处理板,用于实时图像处理。本文结合DM365和DM6467介绍了达芬奇技术原理以及达芬奇技术在视频处理中的实际应用和开发流程。DM6467是ARM+DSP双核处理器,DM365是ARM单核处理器,两者都是基于DaVinci技术的多媒体处理芯片,在开发平台和开发流程上基本一致,只是DM6467还涉及到了DSP算法的开发和调用。1dvsdk的软件设计DaVinci技术的典型应用是ARM+DSP架构。TI的数字视频软件开发包(DVSDK)提供了完整的开发平台。DVSDK(DigitalVideoSoftwareDevelopmentKit)是多个软件模块的集成,包括纯DSP端的软件模块、ARM端的软件模块和双核(ARM、DSP)交互的软件模块。DSP/BIOSLink是DVSDK的基础,是实现ARM和DSP之间通信的底层软件。CodecEngine(CodecEngine建立在DSP/BIOSLink这个底层软件之上)是DVSDK的核心,所有的其他软件模块基本都是围绕CodecEngine的。CodecEngine是连接ARM和DSP的桥梁,是介于应用层(ARM端的应用程序)和信号处理层(DSP端的算法)之间的软件模块,在编译DSP端可执行代码和ARM端应用程序时,都需要CodecEngine的支持。最终的应用程序需要通过CodecEngine的API接口来加载DSP代码,调用DSP端封装好的算法,以及进行ARM和DSP的通信。ARM端软件和DSP端软件通过CodecEngine机制来实现数据交换、协同工作[1]。除了CodecEngine和DSP/BIOSLink以外,DVSDK还有以下模块会被用到:1.1f-fp工作是TI提供的一个软件模块,负责DSP端的Memory和DMA资源管理。1.2平台调用算法xDAIS(eXpressDSPAlgorithmInteroperabilityStandard)定义了TIDSP算法接口的标准[2],CodecEngine调用的算法,其接口必须符合这个标准。XDM(eXpressDSDigitalMedia)是xDAIS的扩展,用来为数字信号处理提供一个轻量级的框架,XDM提供了一个名为VISA(Video、Image、Speech、Audio)的API集合,上层应用软件仅需通过这一组统一的API接口,就可以实现各种不同算法的一致调用,同时,无论底层算法如何变化,只要保持其算法接口符合标准规范,上层应用程序就无需修改代码。1.3可执行文件编码用来编译和打包的工具,能够创建实时软件组件包RTSC(RealTimeSoftwareComponent)。与其他编译工具一样,它能根据源文件和库文件编译生成可执行文件。不同的是它能够自动的进行性能优化和版本控制。XDC还能够根据所提供的配置脚本语言产生代码。1.4基于dmac的美国tables为方便开发,DVSDK提供了开放源代码的多媒体应用接口(DMAI),DMAI对CodecEngine进行了一些封装,应用程序可以通过DMAI来访问CodecEngine,这样软件可移植性更好,DVSDK提供的demos例程都是基于DMAI开发的。DMAI、CodecEngine、XDM以及操作系统的层次关系[3]如图1:2fpga接口设计一般ARM+DSP架构的视频应用系统中,ARM负责运行操作系统和应用程序,DSP负责运行音视频codec算法。ARM端利用LINUX操作系统可以灵活扩展多种接口,如串口、USB、网口、SD卡等;而高性能DSP进行数据处理,如音频视频压缩、解压缩、目标提取、图像融合等。基于DaVinci技术,设计开发了DM6467图像处理板,用于实时图像处理,其系统组成如图2:系统外接DDR2SDRAM和NANDFlash作为片外存储器,视频采集芯片使用TVP5147,视频输出芯片使用ADV7343,接口方面,扩展了网口和USB接口。3软件开发流程3.1软件开发过程基于DaVinci技术的开发环境主要是LINUX开发环境,TI提供了完整的开发套件,在选择开发板时,LINUX内核版本应尽量高。以下以TI的DM6467开发板(LINUX内核版本号为2.6.32)为例,介绍开发环境的建立:1)安装VMware虚拟机。VMware虚拟机通过软件模拟出一台虚拟的计算机,全部的软件开发调试都在虚拟机平台上完成。2)安装LINUX操作系统。推荐使用RedHatEnterpriseLinux4。3)安装网络文件系统。tar-zxvfarago-demo-imagedm6467t-evm.tar.gz。4)安装内核。tar-zxvflinux-davinci-staging.tar.gz。5)安装库。tar-zxvfarago-2009.11-armv5te-linuxgnueabi-sdk.tar.gz。6)安装交叉编译工具。运行安装文件:arm-2009q1-203-arm-none-linux-gnueabi.bin。7)安装dvsdk。运行安装文件:dvsdk_3_10_00_11_Setup.bin。8)安装CodecServer。运行安装文件:cs2dm6467_1_00_00_03_Setup.bin。9)安装DSP编译器。运行安装文件:ti_cgt_c6000_6.1.12_setup_linux_x86.bin。对其中的软件安装路径进行相应的设置即可。3.2平台/平台接口接口设计典型的达芬奇软件开发包括DSP端软件开发和ARM端软件开发。DSP端:TI提供了CodecServer(TI的dm6467开发板为cs2dm6467_1_00_00_03)实现通用的音视频压缩解压缩功能,开发人员可以将自己的算法(如跟踪、融合等)打包集成到CodecServer中,编译出需要的DSPServer。具体算法开发可以以CodecEngine带的示例videnc_copy为基础进行开发。最终不同的codec算法集成到一个DSP可执行程序(DSPServer)中,即编译得到的cs.x64P文件,供ARM端应用软件加载调用。ARM端:软件开发可以以DVSDK带的示例程序(例如encode)为基础进行开发,DVSDK的示例程序是基于DMAI开发的,ARM端软件通过CodecEngine机制将DSPServer加载到DSP,并调用DSP端的codec实现算法处理。3.3dm可视频数据采集/录像视频监控为实现热像仪的多种功能扩展,设计开发了采用DM365芯片的视频处理板,板载的嵌入式软件基于DMAI开发,主要实现视频采集、显示、压缩、存储、回放功能,共由6个线程实现,各线程功能如表1。各线程之间通过DMAI提供的先入先出队列(FIFO)传递数据。系统在采集(显示但不录像)、录像、回放三种状态之间进行切换,状态切换由串口命令控制(串口命令由按键管理板发出)。在视频采集/录像状态,启动了视频采集、视频显示、像)和录像状态下这4个线程都在运行,但只有在录像状态下视频存储线程才向SD卡写数据。在视频回放状态启动了视频显示、视频解码和视频加载共3个线程协同工作。系统的三种状态都启动了视频显示线程,所以把串口命令的处理也放在显示线程中,这样就不必为串口处理单独启用一个线程,节省了系统资源,提高了处理效率。3.4燃烧程序实际运行的嵌入式系统需要烧写以下程序模块:3.4.1引导程序ubl和uu堆栈对应文件为UBL_DM36x_NAND.bin和u-boot.bin,烧写方式为:使用CCS软件通过JTAG口烧写到NAND;3.4.2u-重并冲突arm板—LINUX内核。对应文件为uImage,烧写方式为:进入U-Boot,通过网络从tftp服务器下载到ARM板内存,然后用U-Boot命令烧写到NAND;3.4.3tfs.tar.gz对应文件为restore.sh和rootfs.tar.Gz,烧写方式为:在ARM板启动进入Linux后,运行脚本restore.sh,重建根文件系统;3.4.4软件版本烧写方式为:根文件系统建立完成后,直接将应用软件拷贝到NAND。4红外热像仪的实现TI的达芬奇技术为快速开发视频处理应用提供了强大易用的平台,达芬奇平台具有丰富的功能扩展接口,而且大部分软件是开源的,是开发视频处理应用很好的一个选择。本文结合DM365和DM6467介绍了达芬奇技术原理和具体