小波视频编解码DF0206531I(一通)

1、说 明 书 摘 要一种利用数字信号处理器实现小波视频编码和解码的方法，该方法由两部分组成：在发送端，（A）对输入的原始图像数据进行整型小波变换；（B）对小波系数进行层次树集合划分的图像（NL_SPIHT，No List Set Partitioning in Hierarchical Trees ）编码；（C）在编码后生成的数据码流中插入控制信息，再按帧输出到信道上传输；在接收端，（D）接收发送端发送的码流，并按帧分离，从编码码流中分离出其他控制信息，再把编码码流传送给NL_SPIHT解码部分；（E）对接收后的码流顺序进行NL_SPIHT解码；（F）对解码后的数据进行小波逆变换，得到还原的图像

2、数据送去显示。该方法能在较低或甚低传输速率（32kb/s1024kb/s）下，实现较高质量的可靠的图像压缩，为各种视频设备提供了较高性价比的视频压缩方案。1摘 要 附 图9权 利 要 求 书1、一种利用数字信号处理器实现小波视频编码和解码的方法，其特征在于：该方法由两部分组成：在发送端，（A）对输入的原始图像数据进行整型小波变换；（B）对整型小波变换后产生的系数进行无链表层次树集合划分的图像（NL_SPIHT，No List Set Partitioning in Hierarchical Trees）编码；（C）在编码后生成的数据码流中插入控制信息，再按帧输出到信道上传输；在接收端，（D）接

3、收发送端发送的码流，并按帧分离和从编码码流中分离出其他控制信息，再把编码码流传送给NL_SPIHT解码部分；（E）对接收后的码流顺序进行NL_SPIHT解码；（F）对解码后的数据进行整型小波逆变换，得到还原的图像数据送去显示。2、根据权利要求1所述的实现小波视频编码和解码的方法，其特征在于：所述的在发送端步骤（A）中对图像数据顺序进行整型小波变换是指：对图像进行四层二维Daubechies（5，3）小波变换。3、根据权利要求2所述的实现小波视频编码和解码的方法，其特征在于：所述的四层二维Daubechies（5，3）小波变换被分割成多个一维整型小波行变换和一维整型小波列变换，在小波变换过程中，

4、把一维整型小波行/列变换的数据结构存储在数字信号处理器的内部存储器，采用较小的片内缓冲区一次处理部分图像数据。4、根据权利要求3所述的实现小波视频编码和解码的方法，其特征在于：所述的一维整型小波行变换和一维整型小波列变换是交叉穿插进行的，即在完成部分行数据的行变换之后，接着在这些数据上进行列变换；而不是在行变换全部完成后，再做列变换。5、根据权利要求3所述的实现小波视频编码和解码的方法，其特征在于：所述的被分割成的一维整型小波行变换和一维整型小波列变换的算法如下：式中：为图像信号的偶数样本，为图像信号的奇数样本，为变换后的偶数样本，为变换后的奇数样本；小波变换系数0.5、=0.25，伸缩变换系

5、数的取值范围是：1.2，1.8。6、根据权利要求3所述的实现小波视频编码和解码的方法，其特征在于：所述的一维整型小波行变换和一维整型小波列变换算法包括有下列操作步骤：（A1）分别对行和列信号进行Lazy变换，分成偶数样本和奇数样本；（A2）将每两个相邻的偶数样本相加的和分别乘以小波变换参数，再将得到的积与中间的奇数样本相加，生成新的奇数样本；（A3）将每两个新生成的相邻的奇数样本相加的和分别乘以小波变换参数，再将得到的积与中间的偶数样本相加，生成新的偶数样本；（A4）将每个偶数样本乘以伸缩变换系数；（A5）将每个奇数样本除以伸缩变换系数；其中变换的奇偶系数共有个，数据边界采用对称延拓。7、根据

6、权利要求1所述的实现小波视频编码和解码的方法，其特征在于：所述的在发送端步骤（B）中对小波系数进行NL_SPIHT编码过程包括有下列步骤：（B1）程序的初始化部分：对程序所用到的数据结构进行初始化，包括：将小波系数的符号和绝对值分离，初始化表示非重要像素LIP、重要像素LSP和非重要集合LIS的三个状态数组；（B2）位平面的细化部分：将在当前位平面上已经成为重要像素的点细化输出；同时输出相应的比特信息；（B3）集合的分裂排序部分：将非重要像素集合按照零树分裂的算法重新分裂为非重要集合、非重要像素和重要像素，同时输出相应的比特信息； （B4）变长码编码部分：对步骤（B2）和（B3）输出的比特信息

7、进行拼接，并形成最终的码流。8、根据权利要求1所述的实现小波视频编码和解码的方法，其特征在于：所述的在发送端步骤（B）中对小波系数进行NL_SPIHT编码中用二维数组表示编码过程的状态值。9、根据权利要求8所述的实现小波视频编码和解码的方法，其特征在于：所述的用于表示编码过程的状态值的二维数组的每一个分量，用不同比特位分别表示编码过程中的不同状态。 10、根据权利要求1所述的实现小波视频编码和解码的方法，其特征在于：所述的在接收端步骤（E）中，对接收后的码流顺序进行NL_SPIHT解码过程是发送端步骤（B）对小波系数进行NL_SPIHT编码过程的逆过程，包括有下列步骤：（E1）程序的初始化部分

8、：对程序所用到的数据结构进行初始化，包括：将小波系数的符号和绝对值分离，初始化表示非重要像素LIP、重要像素LSP和非重要集合LIS的三个状态数组；（E2）位平面的细化部分：从码流中按比特输入信息，根据这些信息在当前位平面上做细化；（E3）集合的分裂排序部分：从码流中输入信息比特，根据这些信息将非重要像素集合按照零树分裂的算法重新分裂为非重要集合、非重要像素和重要像素。 11、根据权利要求1所述的实现小波视频编码和解码的方法，其特征在于：所述的在接收端步骤（F）中对解码后的数据码流进行小波逆变换是指：对图像进行四层二维Daubechies（5，3）小波逆变换。12、根据权利要求11所述的实现小

9、波视频编码和解码的方法，其特征在于：所述的在接收端步骤（F）中对解码后的数据码流进行的四层二维小波逆变换被分割成多个一维整型小波行逆变换和一维整型小波列逆变换；在小波逆变换过程中，把一维整型小波行/列逆变换的数据结构存储在数字信号处理器的内部存储器，采用较小的片内缓冲区一次处理部分图像数据。13、根据权利要求12所述的实现小波视频编码和解码的方法，其特征在于：所述的被分割成的一维整型小波行逆变换和一维整型小波列逆变换的算法如下：式中：为信号的高频样本，为信号的低频样本，为经伸缩变换后的高频样本，为经伸缩变换后的高频样本，、为小波变换系数，为变换后的高频样本，为变换后的低频样本；小波变换系数0.

10、5、=0.25，伸缩变换系数的取值范围是：1.2，1.8。14、根据权利要求12所述的实现小波视频编码和解码的方法，其特征在于：所述的一维小波行逆变换和一维小波列逆变换算法包括有下列操作步骤： （F1）按低频样本和高频样本 分别在一维数组中存放小波变换的系数； （F2）将每个高频样本分别乘以伸缩变换系数；（F3）将每个低频样本分别除以伸缩变换系数；（F4）将每两个相邻的高频样本相加的和乘以小波变换参数，再将得到的积与中间的低频样本相加，生成新的低频样本；（F5）将每两个新生成的相邻的低频样本相加的和分别乘以小波变换参数，再将得到的积与中间的高频样本相加，生成新的高频样本。说 明 书利用数字信号

11、处理器实现小波视频编码和解码的方法技术领域 本发明涉及一种利用数字信号处理器实现小波视频编码和解码的方法，属于视频信号的编码解码技术领域。背景技术目前，国际上的多媒体图像压缩标准大都是基于传统的离散余弦变换（DCT），包括静止图像的JPEG标准、运动图像的MPEG1/2/4系列标准以及用于低码率视频通信的H.261/H.263标准等。众所周知，基于DCT分块压缩技术的M-JPEG的压缩效率很低，在保证恢复图像质量可以接受的条件下，压缩比约为1:2040；但是，在较大压缩倍数下，块效应将使图像质量急剧恶化。对于H.261和H.263，由于采用了运动估计技术，其压缩效率较M-JPEG有较大提高，但

12、是由此带来的运算量大增，所以基于软件的实时处理很难实现。另外，H.261和H.263是依赖视频序列在时域和空域的冗余来提高压缩比，但在较低码率条件下，视频序列的帧率大大低于2530帧/秒，因而视频序列在时域的相关性减弱，导致H.261和H.263的编码效率必然降低。再者，从H.263可视电话标准的应用来看，DCT变换技术明显不适合于低码率图像传输，由DCT变换和运动估计所带来的块效应是影响图像质量的主要因素。而在同等带宽的情况下，应用小波变换技术，由于不对图像进行分块，避免了块效应对图像质量的影响，在相同压缩比条件下，其图像压缩效果明显优于DCT。另外，小波图像压缩所提供的多级多分辨率特性更是

13、DCT所无法比拟的。现在，小波变换已经作为JPEG2000的国际标准，广泛应用于JEPG2000、MPEG4的静态纹理信息压缩和医学图像压缩等领域。但是，由于小波变换编码算法目前还处在不断发展之中，并且小波压缩通常是针对整帧图像进行的，在硬件实现中对硬件的处理速度和存储器要求很苛刻，给硬件的实时实现带来了困难，因此小波变换在产品中使用较少，特别是硬件实现方面更少。发明内容本发明的目的是提供一种利用数字信号处理器实现小波视频编码和解码的方法，该方法能够在较低或甚低传输速率（32kb/s1024kb/s）下，实现较高质量的可靠的图像压缩，为多媒体终端设备、视频监控设备、网络视频终端设备提供较高性价

14、比的视频压缩方案。本发明的目的是这样实现的：一种利用数字信号处理器实现小波视频编码和解码的方法，其特征在于：该方法由两部分组成：在发送端，（A）对输入的原始图像数据进行整型小波变换；（B）对整型小波变换后产生的系数进行无链表层次树集合划分的图像（NL_SPIHT，No List Set Partitioning in Hierarchical Trees ）编码；（C）在编码后生成的数据码流中插入控制信息，再按帧输出到信道上传输；在接收端，（D）接收发送端发送的码流，并按帧分离和从编码码流中分离出其他控制信息，再把编码码流传送给NL_SPIHT解码部分；（E）对接收后的码流顺序进行NL_SPI

15、HT解码；（F）对解码后的数据进行整型小波逆变换，得到还原的图像数据送去显示。所述的在发送端步骤（A）中对图像数据顺序进行整型小波变换是指：对图像进行四层二维Daubechies（5，3）小波变换。所述的四层二维Daubechies（5，3）小波变换被分割成多个一维整型小波行变换和一维整型小波列变换，在小波变换过程中，把一维整型小波行/列变换的数据结构存储在数字信号处理器的内部存储器，采用较小的片内缓冲区一次处理部分图像数据。所述的一维整型小波行变换和一维整型小波列变换是交叉穿插进行的，即在完成部分行数据的行变换之后，接着在这些数据上进行列变换；而不是在行变换全部完成后，再做列变换；这样做的目

16、的是避免大量数据在数字信号处理器的外部存储器、内部存储器和高速缓存之间进行频繁交换。所述的被分割成的一维整型小波行变换和一维整型小波列变换的算法如下：式中：为图像信号的偶数样本，为图像信号的奇数样本，为变换后的偶数样本，为变换后的奇数样本；小波变换系数0.5、=0.25，伸缩变换系数的取值范围是：1.2，1.8。所述的一维整型小波行变换和一维整型小波列变换算法包括下列操作步骤：（A1）分别对行和列信号进行Lazy变换，分成偶数样本和奇数样本；（A2）将每两个相邻的偶数样本相加的和分别乘以小波变换参数，再将得到的积与中间的奇数样本相加，生成新的奇数样本；（A3）将每两个新生成的相邻的奇数样本相加

17、的和分别乘以小波变换参数，再将得到的积与中间的偶数样本相加，生成新的偶数样本；（A4）将每个偶数样本乘以伸缩变换系数；（A5）将每个奇数样本除以伸缩变换系数；其中变换的奇偶系数共有个，数据边界采用对称延拓。所述的在发送端步骤（B）中对小波系数进行NL_SPIHT编码过程包括有下列步骤：（B1）程序的初始化部分：对程序所用到的数据结构进行初始化，包括：将小波系数的符号和绝对值分离，初始化表示非重要像素LIP、重要像素LSP和非重要集合LIS的三个状态数组；（B2）位平面的细化部分：将在当前位平面上已经成为重要像素的点细化输出；同时输出相应的比特信息；（B3）集合的分裂排序部分：将非重要像素集合按

18、照零树分裂的算法重新分裂为非重要集合、非重要像素和重要像素，同时输出相应的比特信息； （B4）变长码编码部分：对步骤（B2）和（B3）输出的比特信息进行拼接，并形成最终的码流。所述的在发送端步骤（B）中对小波系数进行NL_SPIHT编码中用二维数组表示编码过程的状态值。所述的用于表示编码过程的状态值的二维数组的每一个分量，用不同比特位分别表示编码过程中的不同状态。 所述的在接收端步骤（E）中，对接收后的码流顺序进行NL_SPIHT解码过程是发送端步骤（B）对小波系数进行NL_SPIHT编码过程的逆过程，包括有下列步骤：（E1）程序的初始化部分：对程序所用到的数据结构进行初始化，包括：将小波系数

19、的符号和绝对值分离，初始化表示非重要像素LIP、重要像素LSP和非重要集合LIS的三个状态数组；（E2）位平面的细化部分：从码流中按比特输入信息，根据这些信息在当前位平面上做细化；（E3）集合的分裂排序部分：从码流中输入信息比特，根据这些信息将非重要像素集合按照零树分裂的算法重新分裂为非重要集合、非重要像素和重要像素。 所述的在接收端步骤（F）中对中对解码后的数据码流进行小波逆变换是指：对图像进行四层二维Daubechies（5，3）小波逆变换。所述的在接收端步骤（F）中对解码后的数据码流进行的四层二维小波逆变换被分割成多个一维整型小波行逆变换和一维整型小波列逆变换；在小波逆变换过程中，把一维

20、整型小波行/列逆变换的数据结构存储在数字信号处理器的内部存储器，采用较小的片内缓冲区一次处理部分图像数据。所述的被分割的一维整型小波行逆变换和一维整型小波列逆变换的算法是：式中：为信号的高频样本，为信号的低频样本，为经伸缩变换后的高频样本，为经伸缩变换后的高频样本，、为小波变换系数，为变换后的高频样本，为变换后的低频样本；小波变换系数0.5、=0.25，伸缩变换系数的取值范围是：1.2，1.8。所述的一维小波行逆变换和一维小波列逆变换算法包括有下列操作步骤：（F1）按低频样本和高频样本 分别在一维数组中存放小波变换的系数； （F2）将每个高频样本分别乘以伸缩变换系数；（F3）将每个低频样本分别

21、除以伸缩变换系数；（F4）将每两个相邻的高频样本相加的和乘以小波变换参数，再将得到的积与中间的低频样本相加，生成新的低频样本； （F5）将每两个新生成的相邻的低频样本相加的和分别乘以小波变换参数，再将得到的积与中间的高频样本相加，生成新的高频样本。本发明的主要技术特点是采用目前视频压缩领域比较先进的整型小波变换、NL_SPIHT算法对视频数据进行了适合于硬件化的改造，可以在较大的压缩比下仍然保持较好的图像质量，彻底消除了方块效应对图像的主观质量造成的影响。另外，由于没有采用运算量巨大的运动估计和补偿，本发明算法的运算量较小，在通用的数字信号处理器上就可以实现实时的视频序列的压缩与解压。其中整型

22、小波运算时需要处理的图像数据量较大，不能全部放到数字信号处理器的片内存贮区，而片外运算的效率较低，因此，本发明的整型小波变换是在较小的片内缓冲区一次最多处理四行或者四列图像数据，以提高执行效率。而对小波运算前后的数据在片内和片外存贮区之间的搬运，本发明是采用Lazy变换和矩阵的行列转置完成的，它们均是使用数字信号处理器的快速直接存储器访问完成的，搬运速度快，且不占用处理器的处理时间。另外，本发明将单一的二维整型小波变换函数分割成多个一维小波变换函数，使操作更加灵活。并且，针对不同的图像格式（例如720288、480320）将二维图像整型小波变换转换为一维整型小波变换，并在片内进行一维小波计算和

23、设计了相应的片内临时矩阵。而且借鉴一维整型小波变换的实现，使二维整型小波的行列变换集成同步进行，避免了以前先做完所有的行（列）变换，然后才开始做列（行）变换所造成的时间浪费。在NL_SPIHT算法方面，本发明以二维数组取代链表结构来实现数据结构，将不规则的存储结构改变为规则有序的存储结构，大大提高了在数字信号处理器中执行算法的效率。再者，用非常少的空间表示重要像素、非重要像素和非重要集合等状态位，大大减少了系统存储量，提高了数字信号处理器中高速缓存的命中率，也提高了算法执行速度。此外，将NL_SPIHT的比特输出与码流拼接分离，对NL_SPIHT的比特输出先保存为变长码，然后通过专门函数拼接这

24、些变长码，大大降低了变换和编码循环的复杂性，提高了程序处理的效率和并行度。本发明在小波变换和NL_SPIHT编码过程中，大量使用数字信号处理器的快速直接存储器访问（qdma）硬件独立完成片外和片内的数据处理任务，使大多数的数据搬运和变换运算（包括数据的拷贝，小波变换前的Lazy变换，小波行变换后的行列转置等）操作都是同时进行的。小波视频压缩变换中有一个伸缩变换参数K，其作用主要是使低频系数值得到拉伸，高频系数值得到缩短，从而拉大高低频系数的差距和优化系数的分布，为其后的编码提供良好的编码结构。因此，它的数值在硬件设计中颇为关键。本发明对此作了大量的数据试验证明，在保证图像质量的前提下，在软件应

25、用中，将伸缩变换系数的取值范围设置为：1.2，1.8，可以得到最大压缩比。经过多次试验，本发明在保证图像质量的情况下，实现了较大倍数的压缩比，且传输速率和图像分辨率都可以根据需要在33kb/s1024kb/s之间灵活调整。从目前软件仿真测示的压缩图像效果来看，本发明的编码效果与国际领先的realplayer和mediaplayer的效果基本相当。此外，由于本发明的视频压缩算法在设计伊始时就同步开展其硬件实现的研究，因此该算法除了能够提供优秀的图像压缩性能以外，另外一个重要特性是其可以独立于PC平台实现，从而大大降低了系统成本，提高了系统灵活性。该特点也是本发明整型小波算法与国际上具有相同性能的

26、压缩技术（如real player、media player）相比的主要优势所在，该优势将在本发明的产业化过程中凸现出明显的商业价值。基于本发明的算法，在硬件方面，在德州仪器C62系列数字信号处理器芯片基础上开发出了小波视频编解码器件，利用该芯片，可以开发出720288或480320分辨率的视频编码解码器；其性价比优于目前市场上ADI公司的小波图像压缩专用芯片ADV601。本发明的小波压缩处理的核心器件是基于德州仪器公司的数字信号处理器C6X系列产品实现的，开发比较容易，成本也具有竞争力；同时由于编码算法完全由软件完成，因而具有很强的可扩展性和灵活性。与同样采用小波压缩技术的ADI公司的专用芯片ADV601相比，根据本发明方法研制的压缩模块优越性主要表现在低码率压缩时的图像质量大大优于ADV601。因此，本发明在低比特率视频编码和静态图像压缩编码方面有很强的实用价值。附图说明 图1是本发明实现方法的主要操作步骤流