多分辨图像融合算法在DSP系统中的实现.doc

第 21 卷 第 6 期2001 年 12 月北 京 理 工 大 学 学 报Jo u rna l o f B e ijing In st itu te o f T ech no lo gyV o l. 21 N o. 6D ec. 2001文章编号: 100120645 (2001) 0620765205多分辨图像融合算法在 D SP系统中的实现王毅,倪国强,李勇量(北京理工大学 光电工程系, 北京 100081)摘 要: 介绍在可见光2长波红外双波段图像融合高速处理平台上实现多分辨图像融合算法的设计方案该硬件平台采用高速数字信号处理器 TM S320C 6201 D SP 及多种适于高速 数字图像处理的结构, 在软件设计时, 针对图像多分辨分解与重构运算过程的特点采取了 多项优化措施, 较好地解决了图像融合算法大运算量和数据存储空间与硬件系统实时处 理之间的矛盾, 实现了基于复杂图像融合算法的准实时融合处理关键词: 图像融合; 实时数字图像处理; 数字信号处理器中图分类号: T P 391141文献标识码: A图像融合技术可以有效利用不同信道图像信息的互补性和冗余性, 将多源图像信息资源的利用率得以最大限度地发挥 在以辅助观测、判读为目的的图像融合系统中, 由于要求提供的是便于人眼识别和理解的像素集合而不是计算机判读的特征符号, 因而融合处理要求在像素层实现像素层图像融合处理的突出障碍是图像配准及处理速度问题: 各信道像素的配准精度将直接影响像素层融合的图像质量, 如金字塔一类的多分辨融合算法的巨量数据处理使得实时图像融合处理系统的研制开发具有相当高的难度 因此国内外有关实时图像融合系统的报道甚少, 特别是国内的有关研究仅局限在对同一场景的不同时相或不同颜色通道的图像像素的简单叠加或取舍运算高 性能数字信号处理器 (D SP ) 的处理速度及功能的大幅提升与完善, 为实时图像融合处理的实现提供了可能性 作者介绍了应用高速 D SP 芯片 TM S320C 6x 作为处理核心器的可见光2长波红外双波段图像融合高速系统及在该平台上进行金字塔图像融合算法的软件设计方案硬件平台结构特点1该融合系统为一个典型的基于高速 D SP 的“嵌入式”数字图像处理机, 其工作流程为: 从CCD 摄像机和长波红外成像仪输入的模拟视频信号经数字化采集后, 生成待处理的数字图像数据并存入帧存储器, D SP 及其外设构成的融合处理机读取帧存中的数字图像, 在按指定程序完成对图像数据的融合运算后, 结果数据经视频 D A端监视设备上还原为模拟融合图像, 输出显示在终收稿日期: 2001 04 24基金项目: 国家“863”计划项目作者简介: 王 毅 ( 1974- ) , 男, 博士生; 倪国强 ( 1946- ) , 男, 教授, 博士生导师系统核心处理器选用美国 T I 公司的 TM S320 D SP TM S320C 6201B 1 系统中 D SP 芯片的工作频率为 200 M H z, 由于 C 6x 每指令周期最多可并行执行 8 条指令, 故系统的峰值处理速度为每秒执行 16 亿条指令图像的多分辨分解与重构过程要对图像进行多层的分层运算处理, 故有大量的存储空间用于中间数据缓存, C 6201 片内的 1 M b it 高速内存远不能满足这一要求, 为此融合系统中配置有 8 M b it 的 SB SRAM 和 128 M b it 的 SD RAM SB SRAM 的总线时钟为 200 M H z, 接近D SP 对片内存储器的操作效率; SD RAM 容量很高, 总线速度达到 100M H z视频采集与显示系统是专门为双通道图像融合实时处理机而设计的 为同时采集两路视频信号, 系统中设计有两套独立的视频 A D 单元采集系统还负责双通道图像的 X 2Y 平移像素配准: 一路图像以固定窗口采集; 而另一路图像的采集窗口为活动的, 可通过控制面板上的方向键实时调整该采集窗口位置, 与固定采集窗口中的景物相重合, 达到两输入图像的像素平移配准目的图像输入输出帧存由高速 SRAM构成设计时采用存储器重叠映射技术解决图像采集显示过程与数据处理过程共用存储器的资源冲突问题, 确保在图像采集显示中 D SP 仍可处于全速数据处理状态多分辨图像融合算法2作者对多种图像融合算法如假彩色法、调制法和各类金字塔算法进行了深入地研究、评估和改进从灰度融合结果的可视性看, 基于图像多分辨结构的金字塔融合具有相当好的处理视觉效果, 同时又有较大的灵活性和发展空间 在同一主体算法架构, 即图像在多尺度分解与重构过程中, 更换不同的滤波器模板和融合算子就可以得到特性相异的融合算法, 如对比度金字塔或小波金字塔等2 作者在综合考虑应用的普适性、实现难易程度和可扩展性等因素的基础上, 选择了 L ap lac ian 金字塔融合算法作为系统硬件实现的首选方案3 图 1 为多分辨图像融合算法过程示意图 可以看出, 融合过程主要涉及 3 种运算, 图像的多层分解运算与多层重构运算 ( 图中R = R edu ce 和E = E xp an d 所示过程) 及层间融合运算前者运算属于卷积类运算, 而融合运算则属于像素点运算第 6 期王 毅等: 多分辨图像融合算法在 D SP 系统中的实现767相对而言, 卷积运算无疑是运算开销的“大户” 且理论上卷积模板面积越大滤波效果越 好, 有些仿真甚至使用 1717 的模板 实际应 用时, 权衡处理效果与处理速度之间的关系, 选 用 55 的模板进行运算同时为了尽量减少浮点运算, 模板常常作整数化取值图 2 为归一化的 Gau ssian 模板取值方案示意图图 2Gau ssian 模板融合过程的 D SP 系统实现3图像融合处理平台采用高速单片 D SP 处理器结构, 并带有大量高速存储器, 因此系统软件开发对硬件平台结构依赖性较低, 便于采用标准的 D SP 软件开发流程将算法移植到系统上, 实现对多种融合算法的支持311 C6x D SP 软件开发特点TM S320C 6x D SP 的 V e lo c iT ITM 内核首次采用高度并行的 V L IW 结构, 决定了该 D SP 软件编程的许多特殊性, 其突出的表现为软件流水线4 软件流水线技术使得在 C 6x 中实际运行的高度并行代码难以被编程人员直接理解, 因此在程序开发初期, 应使用被 T I 的高效汇编级 C 编译器支持的扩展 C 语言编程 该扩展 C 集加入专用的关键字及内联函数 ( in t r in sic s) ,以 C 语言形式控制部分汇编指令操作, 大幅度提高了 C 编译器的编译效率当使用 C 编译器优化后的代码仍不能满足实时性处理要求时, 则需对内核代码使用线性汇编编程, 该汇编形式不需考虑软件流水线操作, 再经过专用线性汇编优化器处理后就可以得到高效的并行代码312 图像融合处理程序框架图 3 为硬件平台的图像融合处理程序流程图主程序首先完成硬件系统初始化工作, 设置不同存 储器空间的存储器类型及读写时序参数等, 并初始化中断设置 如前所述, 系统中视频采集显示系统与 D SP处理器会交错读写“乒乓”帧存中的内容, 而这一切换动 作必须与输入视频帧同步, 这就要求通过 D SP 外部中断来协调 考虑到某些复杂处理算法不能实时 ( 40 m s以内) 完成, 系统按如下流程工作: D SP 提供是否空闲 的 R EA D Y 标志, 控制器在每帧视频信号初始判断该 标志, 若空闲则向 C 6x 发出 中 断 请 求, 并 进 行 总 线 切 换; 否则表明 D SP 未完成数据处理工作, 则不向 D SP 发出中断, 切换开关也不动作因此在不能满足 25 帧s的实时处理要求时, 采集系统仍采集新图像, 但写入“乒乓”帧存同侧, 等待开关切换后供 D SP处理, 显示系统则不断重复显示 D SP 最后完成处理的结果图像 上电时 D SP 输出的 R EA D Y标志为 0, 故采集系统不会向 D SP 发出中断, 中断初始化时应把 R EA D Y 置位, 开始等待外部01003 901015 601023 401015 601003 901015 601062 501093 801062 501015 601023 401093 801140 601093 801023 401015 601062 501093 801062 501015 601003 901015 601023 401015 601003 9中断请求主程序处于“空闲”状态, 等待每帧图像被完整采集后由外部中断触发中断处理子程序图像处理主过程在中断处理子程序之中完成: 首先把 D SP 输出的 R EA D Y 信号复位, 相当于禁止了外部中断, 然后把帧存中拼接过的 32 位数据进行分离, 得到采集的两通道图像数据, 最后进行图像融合处理 在完成全部处理并把结果写入输出帧存后, 把 R EA D Y 信号置位, 退出中断处理子程序, 等待下一次的中断触发313数据拼接与分离C 6x 的外部数据总线宽为 32 位, 而 C 6x 对异步 SRAM 的访问速度较之同步存储器要慢得多, 所以采用数据拼接技术以减少 D SP 对帧存的访问次数 在采集时把可见光和长波红外通道的每两个字节拼接为一个 D SP 数据字, 这样在 C 6x 端每次对帧存的 32 位读操作可以获取 4 个采集数据, 相当于提高了 D SP 对异步存储器的访问效率 拼接数据的分离在图像处理主过程的开始完成 由于该过程仅涉及 D SP 片内寄存器的位移等操作, 时间开销远小于对片外 SRAM 额外访问一次所需的 4 5 个 D SP 指令周期314卷积模板分解卷积运算是多分辨图像融合处理中耗时最大的核心代码段, 所以提高卷积模板的处理效率就是提高系统的实时性能D SP 程序流程的跳转会引起流水线阻塞和排空, 尤其对软件流水线的影响将导致 C 6x 并行度下降, 故应尽量减少程序中的边界判断 如果直接利用图 2 所示模板进行卷积运算, 则要以 二维“方窗”形式从存储器中读入图像, 显然这一过程会涉及多次的边界判断 考虑二维Gau ssian 函数在 x , y 方向的独立性, 可以将 55 二维矩阵 ( 模板) 分解为两个一维向量的乘积, 即01003 901015 601023 401015 601003 901015 601062 501093 801062 501015 601023 401093 801140 601093 801023 401015 601062 501093 801062 501015 601003 901015 601023 401015 601062 501250 001375 001250 0=01003 901062 50 1062 501250 001375 001250 001062 5 ,这样把对图像的二维卷积运算变换为两次独立的一维卷积运算 这一变换虽没有减少M A(乘并累加) 运算量, 但一维卷积运算对图像数据的读取方式为五点“线窗”C 6x 片内丰富的寄存器资源允许对这种五点“线窗”操作使用循环展开 ( loop u n ro llin g ) 技术, 而展开后的代码执行时无需做边界判断, 因此使 D SP 在进行卷积运算时流水线饱满, 执行效率较直接二维卷积有大幅度提高315整数定标目前系统使用的 C 6201 为定点 D SP 芯片, 不具备硬件浮点运算功能, 其浮点计算是通过软件算法实现的 (因耗时较多应尽量避免) 图 3 所示的模板在编程实现时必须做整数定标处理由于融合处理过程需要进行多次卷积运算, 因此应为卷积处理结果数据保留合理的存储位数, 并在适当时候对数据进行重新定标, 以保证图像数据不会发生溢出 有关整数定标的详细讨论可参考文献5第 6 期王 毅等: 多分辨图像融合算法在 D SP 系统中的实现769结论4在对系统进行评估时选用的图像融合算法包括灰度调制法、对比度调制法和拉普拉斯金字塔算法等 实测表明, 对于图像调制法可以实现全实时融合处理, 而对于分解层数为 3 层的拉普拉斯金字塔算法, 每帧数据的处理时间近 70 m s, 因此系统实际处理速度为每两帧处理一帧 (1215 帧s) , 实现了准实时融合处理应当指出, 目前的融合算法代码依然有较大的优化潜力, 如果进一步完善软件结构和优化DM A 等资源的利用, 有望实现全实时的金字塔融合处理参考文献:1T exa s In st rum en t s. TM S320C 6201B d ig ita l signa l p ro ce sso r s M . Ow en sv ille, M isso u r i:C u stom P r in t ing Com p any,1999.2P u T ian, N i Go uq iang. M u lt isca le co n t ra st m o du la t io n app lied to im age fu sio n J . Jo u rna l o fB e ijing In st itu te o f T ech no lo gy ( in C h ine se) , 2000, 20 (2) : 219- 223.A lexande r A k e rm an . P y ram ida l tech n ique s fo r m u lt isen so r fu sio n J . Sen so r F u sio n V , SP IE , 1992, 1828: 124- 131.T exa s In st rum en t s. TM S320C 62x C 67x p ro g ramm e r s gu ide M . Ow en sv ille, M isso u r i:C u stom P r in t ing Com p any, 1999.345张雄伟, 曹铁勇. D SP 芯片的原理与开发应用M .北京: 电子工业出版社, 1997.Rea l iza t ion of M ult i- Re so lut ion Im age Fus ion onD SP P la tf ormW A N G Y i,N I Guo 2q ian g,L I Yo n g2lian g(D ep t. o f O p t ica l E ng inee r ing, B e ijing In st itu te o f T ech no lo gy, B e ijing 100081, C h ina)A bstra c t: A de sign sch em e is in t ro du ced w h ich can im p lem en t m u lt i2re so lu t io n im agefu sio n a lgo r ithm o n th e tw o 2ch an n e l ( v isu a l an d in f ra red b an d ) im age fu sio n p ro ce ssin g sy stem. T h e h a rdw a re p la tfo rm o f th is so lu t io n is b a sed o n th e la te