保真度准则下的信源编码课件

保真度準則下的信源編碼

第一節失真度和平均失真度

在實際生活中，人們不一定要求完全無失真的恢復消息，也就是允許有一定的失真。那麼在允許一定程度失真的條件下，能夠把信源資訊壓縮到什麼程度，也就是，允許一定程度失真的條件下，如何能快速的傳輸資訊，這就是本章所要討論的問題。本章所討論的內容是量化、數模轉換、頻帶壓縮和數據壓縮的理論基礎。1、失真度信源信源編碼通道編碼通道通道解碼信源解碼信宿干擾

根據通道編碼定理，我們可以把通道編碼、通道和通道解碼等價成是一個沒有任何干擾的廣義通道，這樣收信者收到消息後，所產生的失真只是由信源編碼帶來的。我們也可以把信源編碼和信源解碼等價成一個通道。第一節失真度和平均失真度信源信宿第一節失真度和平均失真度試驗通道我們稱此信道為試驗通道。現在我們要研究在給定允許失真的條件下，是否可以設計一種信源編碼使資訊傳輸率為最低。為此，我們首先討論失真的測度。

設信源變數為，其概率分佈為對於每一對(u,v)，我們指定一個非負的函數稱為單個符號的失真度（或稱失真函數）

接受端變數為，第一節失真度和平均失真度

失真函數用來表徵信源發出一個符號，而在接收端再現成符號所引起的誤差或失真。d越小表示失真越小，等於0表示沒有失真。可以將所有的失真函數排列成矩陣的形式：我們稱它為失真矩陣。第一節失真度和平均失真度例1：失真矩陣為：這種失真成為漢明失真在二元情況下：第一節失真度和平均失真度例2：刪除信源對於二元刪除信源r=2,s=3第一節失真度和平均失真度例3：對稱信源r=s，定義失真度為：當r=s=3時，失真矩陣為：第一節失真度和平均失真度2、平均失真度若已知試驗通道的傳遞概率，則平均失真度為：

若平均失真度不大於我們所允許的失真D，我們稱此為保真度準則。凡滿足保真度準則的這些試驗通道稱為D失真許可的試驗通道。把所有D失真許可的試驗通道組成一個集合，用符號表示。第二節資訊率失真函數及其性質1、資訊率失真函數當信源和失真函數給定後，我們總希望在滿足保真度準則下尋找平均互信息的最小值。也就是在中找一個通道，使平均互信息取極小值。這個最小值就是在的條件下，信源必須傳輸的最小平均資訊量。

改變試驗通道求平均互信息的最小值，實質上是選擇一種編碼方式使資訊傳輸率為最小。第二節資訊率失真函數及其性質2、資訊率失真函數的性質

1)、R(D)的定義域是(1)、和

允許失真度D的最小值為0，即不允許有失真，這要求失真矩陣中每行至少有一個為0。R(0)的最小值為H(U)，即資訊傳輸率至少為信源的資訊熵例：第二節資訊率失真函數及其性質

滿足最小失真度的試驗通道是一個無噪無損通道：(2)因為D越大，R(D)越小，最小為0，當D再大時，R(D)a也只能為0，此時，發送與接收統計獨立，即：失真度函數變為：第二節資訊率失真函數及其性質

所以，就是在R(D)=0的情況下，求的最小值當時，而當時上式可改寫為

可以這樣選，當最小時，取等於1，則：第二節資訊率失真函數及其性質2)、R(D)函數的單調遞減性和連續性0DR(D)第三節二元信源和離散對稱信源的R(D)函數1、二元對稱信源的R(D)函數

設二元信源U={0,1}，其分佈概率，而接收變數v={0,1}，設漢明失真矩陣為：

因而最小失真度。並能找到滿足該最小失真的試驗通道，且是一個無噪無損通道，其通道矩陣為：第三節二元信源和離散對稱信源的R(D)函數

要達到最大允許失真，唯一確定此時，可計算得資訊傳輸率

一般情況下，當時，第三節二元信源和離散對稱信源的R(D)函數可以計算得：二元信源得資訊率失真函數為例：在漢明失真條件下，第三節二元信源和離散對稱信源的R(D)函數

對於離散對稱信源，在漢明失真條件下：第四節保真度準則下的信源編碼定理

定理7.1保真度準則下的信源編碼定理

設R(D)為一離散無記憶信源的資訊率失真函數，並且有有限的失真測度。對於任意的，以及任意足夠長的碼長n，則一定存在一種信源編碼C，其碼字個數為而編碼後的平均失真度如果用二元編碼，則：

該定理稱為香農第三定理。它告訴我們，對於任何失真度D，只要碼長足夠長，總可以找到一種編碼C，使編碼後的每個信源符號的資訊傳輸率第四節保真度準則下的信源編碼定理

定理7.2（信源編碼逆定理）不存在平均失真度D，而平均資訊傳輸率的任何信源編碼。即對任意碼長n的信源碼C，若碼字個數，一定

該定理告訴我們：如果編碼後平均每個信源符號的資訊傳輸率小於資訊率失真函數，就不能在保真度準則下再現信源的消息。第五節聯合有失真信源通道編碼定理

定理7.3（資訊－傳輸定理）離散無記憶信源的S的資訊率失真函數為R(D)，離散無記憶通道的通道容量C，若滿足

則信源輸出的信源序列能在此信道輸出端重現，其失真小於等於D。

定理7.4離散無記憶信源的S的資訊率失真函數為R(D)，每秒鐘輸出個信源符號，離散無記憶通道的通道容量C，每秒輸出個信源符號，若滿足

則信源輸出的信源序列能在此信道輸出端重現，其失真小於等於D。第五節聯合有失真信源通道編碼定理

定理7.4離散無記憶信源的S的資訊率失真函數為R(D)，每秒鐘輸出個信源符號，離散無記憶通道的通道容量C，每秒輸出個信源符號，若滿足

則信源輸出的信源序列能在此信道輸出端重現，其失真小於等於D。第六節有失真信源編碼定理的實用意義例：

要對此信源進行無失真編碼，每個信源符號必須用一個二元符號來表示，信源的資訊輸出率為R=H=1。若允許失真存在，並定義失真函數為漢明失真，即可以設想這樣一種信源編碼：第六節有失真信源編碼定理的實用意義無噪無損通道傳輸第六節有失真信源編碼定理的實用意義這種編碼方法，可以看成是一種特殊的試驗通道

資訊率為1/3，而平均失真為1/4，根據香農第三定理，若允許失真D=1/4時，總可以找到一種編碼，使資訊輸出率達到極限R(1/4)第六節有失真信源編碼定理的實用意義

香農第三定理是一個存在定理，至於如何尋找這種最佳編碼方法並沒有給出，在實際應用中，存在一下兩方面的