基于Blackfin的智能IP Camera系统设计

1、基于blackfin的智能ip camera系统设计 1.背景及概述 近年来，随着应用越来越复杂，应用场合越来越多，特殊是多媒体功能在各个领域飞快进展，高性能计算变得无处不在，从消费，网络通讯到工业控制和监控，大多数应用都需要更高的数字信号处理能力。出于成本和设计难度的考虑，人们倾向于用法单颗芯片完成全部的工作，传统的处理器和处理器开头以多种形式举行融合：1.传统的mcu+dsp合作计划被集成到一颗芯片封装内;或者进一步实现为真正的异构多核，可以分享部分甚至所有外部设备。2.以的形式为mcu加上基于固定硬件ip模块的数据处理能力，如一些编。针对一些固定标准的应用。3.随着高端嵌入式处理器频率突

2、破500mhz并正在挺进1ghz,mcu和dsp平台开头真正的融合，dsp处理器的外设接口数量和控制能力逐步提高，而mcu的带宽和计算能力特殊是软件多媒体处理能力也越来越强，两者之间不再有质的区分。以上三种融合的形式，事实上相互之间都有借鉴和交错，从这里开头的将来进展，dsp和mcu之间，多核处理器的核与核之间，都不再有真正的界限。对于任何应用，对应的处理器都是灵便的软件计算能力、高效的硬件ip模块和相应外设的结合体，即所谓的“convergent platform”(会聚平台)。这样的处理器平台，对于嵌入式软件开发者提出了更新更高的要求，高级语言编译器要能够最大程度的利用硬件详情来优化编译性

3、能，削减手工优化的工作量，保持软件的通用性;dsp算法开发人员不仅仅要了解硬件平台，也要考虑到软件平台的架构对算法实现和优化的影响，例如分别硬件相关部分和无关部分以适应操作系统的结构;而软件平台开发人员也要考虑处理器的详情以便举行系统优化，例如为多核或dma通道的并行处理抽象出系统接口。硬件设计者，算法设计者，系统软件设计者之间的界限也在消逝，复合型的嵌入式系统开发者和团队才干最适应底层硬件平台的变幻。在这个dsp/mcu/硬件ip模块三者融合的大趋势中，公司的blackfin系列处理器就是一个代表产品。从最早的bf53x系列，到目前的增强了图像处理单元的bf54x系列和低功耗bf52x系列，

4、以及双核的bf561,都是以同样的内核配置多样化的带宽和外设，针对不同的应用和市场。在这样的处理器上挑选和设计软件，需要考虑的因素有无数：1.如何保持对处理器dsp特性硬件详情的最大效率用法，以达到最优算法性能和并行性。2.如何最大程度地保持软件通用性，避开过多的硬件相关代码和汇编代码。3.如何降低软件平台开发成本，是否适合采纳开源操作系统或模块。4.系统是否需要实时性能，采纳的软件平台是否提供这样的实时性保证。这些因素有时候是相互冲突的，需要考虑详细应用的特点和自身的资源，来做一个折衷的最优化设计。adi公司为blackfin的软件平台做了无数的努力，提供多样化的软件生态环境。blackfi

5、n支持，vdk，uc/osii，nucleus等等多种os/rtos,基于vdsp开发工具提供多种免费的音视频codec，硬件抽象函数库及驱动。在这个基于bf53x的智能监控系统中，我们希翼最大程度地发挥芯片处理能力，达到最好的编码和智能算法能力，所以挑选了一种rtos - uc/osii及其网络协议栈作为操作系统平台。在小型的rtos中，普通不区别用户态和内核态，拜访系统硬件资源的开销小，中断和任务切换时光有实时保证，对内存的用法和分配也比较自由，这些特点打算了在rtos下更简单发挥blackfin作为dsp处理器的性能，并能挺直用法adi提供的高性能h264编码库;但缺点是对照这样开源资源

6、比较丰盛的操作系统，rtos缺少某些现成的应用程序比如http server，需要更多的开发投入或第三方资源。2.blackfin ip camera系统架构囫囵ip camera系统主要包括音视频采集，智能视频分析或智能音频分析，音/视频编码，流媒体打包传输，系统控制等模块(1所示)。基本系统为blackfin的视频接口ppi同数字视频流输入相连来接收视频信号，而串行的sport接口可以衔接音频输入，音视频数据以专用dma通道传送到sdram;假如需要智能监控，可以按照需要插入不同的分析模块;然后软件负责对实时采集进来的音视频举行压缩，并打成ts(transport stream)流来传输。

7、囫囵系统是数据流驱动的，下图中不同的输入，分析和编码模块可以按照需要来挑选，每个模块的输入和输出的是符合标准的数据流，可以灵便地插入系统数据流的不同位置举行处理。普通的blackfin单核芯片只能同时用法其中的一部分模块，但双核芯片如bf561或双片计划中，可以同时用法全部的模块。图1 基于blackfin 537处理器ip camera系统框图2.1 视频采集和编码blackfin 系列dsp特地针对高速并行数据特殊是视频数据集成了并行外围接口(ppi)，在传统的数据的基础上增强了一条专用数据吞吐通道。ppi接口不仅可以根据bt.601视频流的“硬件同步”模式工作，还能自动解码bt.656前

8、同步码，从而允许无缝衔接到多种视频源和图像，与挺直存储器存取(dma)控制器协作用法，ppi可以在完整的视频帧信息中只读入有效的视频信息，或惟独消隐区域。这样当不需要完整的视频帧时显着节约了带宽。另外，ppi可以忽视隔行的bt.656视频流的全部其次场图像信息，从而提供了一种很有效的办法用于迅速抽取输入信号。最后，由于ppi本身就可以解码bt.656视频流，所以它可以挺直衔接到流行的类似adv7183a视频解码器。ip camera上主流的编码标准如h.264，mpeg4等，adi公司都提供了免费的编码器软件。本项目采纳h.264视频压缩标准，adi的h.264编码器性能得到了最大的优化，充分

9、利用了片内l1 内存，数据通过dma来搬移，与处理器的运算并行执行。主要的特点有：支持yuv420和uyvy422 (ccir-656) 视频输入格式，输出是以nal为单位的基本视频流;对于h264编码，支持baseline profile和一些main profile的特性(interlaced encoding, cabac)，在bf53x上能达到最大实时1/2 d1，bf561上支持d1实时，支持i和p帧，自适应cbr码率控制等。对于不同的应用，adi h.264编码器的比特率是可调节的，低比特率下甚至可以在cdma1x这样的低带宽应用中实现实时传输。2.2 智能监控目前监控市场的进展越

10、来越趋向于智能化，各种视频或音频的智能分析算法得到产业化应用，如运动目标检测和跟踪，入侵检测，特别声音检测和定位等等。blackfin处理器从架构到命令集都对多媒体处理有很好的支持，有专用的视频处理命令，因此特殊适合于实现灵便的多媒体智能分析算法。adi公司推出了“image tool box”智能监控软件包，针对智能监控算法中的一些常用和基本函数做了特地的优化，有很好的性能，可以加速上层算法的实现和优化。普通智能分析的实现是针对未编码的媒体流举行分析，但也有利用编码器输出结果的算法。本项目由于挺直用法adi公司给定的编码库，因此用法前置的智能模块挺直分析输入的媒体流，并输出结果。音视频的智能

11、处理种类比较多，并在不断地改进，所以用普通都用高性能dsp来实现。在blackfin上目前有多种智能处理模块，如鱼眼矫正，运动物体检测及基于运动检测的上层算法如遗留物检测、入侵检测，枪声检测和定位等等。按照智能模块的输出结果，系统控制和编码部分都可以做相应的智能处理，如勾画运动物体边框，调高编码器辨别率，按照音源位置调节摄像头方向，等等。这些模块普通都有比较标准的输入输出接口，便于二次开发中的系统集成。2.3 媒体流传输ip camera的主要用途就是通过网络来实时传输远程的视频信息，本项目采纳传输流(ts)通过udp或上层的rtp协议来传输。传送流是按照itu-t rec.h.222.0 |

12、 iso/iec 13818-2和iso/iec 13818-3协议而定义的一种数据流，其目的是为了在有可能发生严峻错误的环境下举行一道或多道程序的编码数据的传输和存储。ts主要应用于实时传送的节目，比照实时广播的电视节目，主要特点就是要求从视频流的任一片段开头都是可以自立解码的。所以在接收端可以随时接入。目前领域还没有统一的媒体流标准，但采纳ts over rtp/udp这一标准有利于未来的系统整合。adi的一些第三方提供了完整的rtp协议栈产品，网络上也有一些开源的实现可供参考。数据链路方面，对于压缩视频传输，普通的网络接口芯片都能满足带宽要求，但是在评估网络性能的时候，处理器占用比也是一

13、个十分重要的标准。bf53x系列中的bf537芯片有内置的10/100m mac接口，并有专用的dma 数据通道，因此传输和处理器占用比性能都十分好，在基于bf537的ip camera上每1mbps的网络流量只消耗约1%的处理器性能，例如传输 h264 d1辨别率的监控码流，消耗处理器不到10。2.4 软件架构c/osii是blackfin所支持的rtos之一，在高速的blackfin处理器上有很强的硬实时性能，os中断响应时光约为110 cycles(600mhz下约0.18us)。系统首先创建一个主任务(main task)，负责系统的初始化和创建其他的模块任务。各模块任务自立运行，处理

14、自己的输入和输出数据流，模块之间的耦合程度较低，可以灵便的取舍。网络协议栈方面，blackfin上也有多种挑选，除了各商业rtos配套提供的tcp/ip协议栈外，lwip作为开源网络协议栈中的佼佼者，也在blackfin处理器上有移植版本。本项目采纳了uc/osii配套的uc/ip协议栈。软件架构分为音视频采集，智能分析，编码打包和网络传输，系统控制等模块，每个模块由不同优先级的任务负责，这十分有利于系统的集成和模块化设计。模块之间互相自立，用信号量举行同步，模块之间的数据结构都设计成双缓冲或者多缓冲，保证io模块和运算模块并行执行。对于高系统负荷下的容错，程序和数据结构也考虑在内，偶然浮现的

15、丢帧现象不会影响系统的继续运行，并且向系统控制部分报告错误。下表(表1)列出了系统中各模块的来源：表1 ip camera系统模块来源3.系统优化在dsp系统中，一旦算法确定下来，实现过程中的优化思路普通也是固定的，首先利用编译器的一些优化开关和手段，第二对算法做分析，找出关键代码和数据，对关键部分做一些手工的调节，如改写成汇编等。但在实现一个包括多路输入输出，多种算法并行的完整的系统时，如何达到整体运行的最优化，除了传统的算法优化外，还需要从系统的角度考虑一些因素：1.系统带宽的最大化和最优化在这样的一个复杂系统中，视频和音频数据的多路输入输出带来了矛盾和延迟，对片外内存的用法效率有很大影响

16、。blackfin的sdram控制器支持多bank的数据并发传输，因此我们要尽量把不同通道的io数据放在内存的不同bank上。因此在音视频和网络数据结构的设计上，不光要保证高效的同步，还要利用blackfin开发工具提供的特性把数据簇拥在不同的bank上。2.片内l1内存的高效分配传统上，dsp处理器内部的l1高速内存可以挺直拜访，存放关键代码和数据，提高算法运行效率。而mcu的l1普通所有用来做cache，软件不能挺直控制。在blackfin等高性能处理器上，l1可以灵便地配置成cache或者挺直拜访。在一个完整的系统中，我们要兼顾到各个模块和操作系统本身，l1内存一部分用作cache，以保

17、证整体cache命中率;另一部分作为sram用于算法的关键模块。这里需要做一些反复的调节和测试，来找出一个最优化的l1配置计划，终于目的是达到l1 内存用法效率(命中率)最大。3.最大效率地用法dma通道越来越多的处理器为io接口提供专用的dma通道，以减轻处理器做数据输入输出的负担。blackfin上除了音视频接口的dma外，还有专用的内存dma通道。但是要最优化地用法dma，最重要的是用法乒乓缓冲，使处理器和dma通道流水化工作。在数据输入，算法内部的内存dma，数据输出等每个环节上都要用法dma和乒乓缓冲，才干保证系统效率最高。这需要每个驱动和软件模块都支持这样的数据结构和运行模型。综合

18、起来，新型处理器上往往集成了多种提高性能的机制，软件系统优化的思路，就是保证系统总带宽(如多总线，多dma通道)和总运算单元(如多核，多乘法器)的并行化、流水化，这需要开发人员从系统和应用不同的层面来保证。4.性能分析系统用法的rtos带来的额外开销主要就是定时为10ms的timer tick，可以忽视不计。而因为bf537高明的网络性能，网络传输所占用的处理器时光也十分小。主要的处理器时光消耗在音视频的智能分析和编码上。本项目可以运行在单核或双核blackfin平台上，接收端用开源项目video lan client(vlc)来接收并播放。对于单周期命令集的600mhz blackfin内核，我们普通用600