数学信息论基础

ITINFORMATIONTHEORY信息论基础数学与通信工程核心课程CONTENTS02课程导览从信息度量到现代应用——六章构建信息论完整知识体系01导论与信息度量自信息、熵、联合熵、条件熵、互信息的定义与性质，建立信息论的数学语言体系02信源编码无失真信源编码定理、Huffman与算术编码、LZ系列算法、典型序列与渐近等分性03信道与容量离散无记忆信道模型、信道容量定义、BSC/BEC容量计算、有噪信道编码定理04连续信源与高斯信道微分熵、高斯信源最大熵性质、AWGN信道容量公式、功率约束与水注分配05率失真理论限失真信源编码问题、率失真函数R(D)的定义与计算、高斯信源的率失真函数06现代应用与总结信息瓶颈与深度学习、KL散度在AI中的作用、课程核心要点回顾与展望✣CHAPTER01导论与信息度量从不确定性到数学量化FOUNDATIONSINFORMATIONTHEORY什么是信息信息的本质是不确定性的消除量：事件发生概率越低，其携带的信息量越大。Shannon将这一哲学直觉转化为严格的数学框架，使信息成为可度量、可运算的物理量，奠定了整个信息论学科的基石。ClaudeE.Shannon1916–2001不确定性的消除：信息用于消除随机事件的不确定性，不确定性的减少量等于所获得的信息量，这是信息论最根本的出发点概率与信息量：小概率事件发生时传递更多信息，大概率事件传递较少信息，极端确定事件的信息量为零可加性公理：独立事件的联合信息量等于各自信息量之和，这一可加性是推导对数形式度量函数的关键公理学科奠基：Shannon于1948年发表《通信的数学理论》，首次将信息定义为概率分布的函数，开创了信息论学科DefinitionINFORMATIONTHEORY自信息的定义与性质自信息I(x)=−log₂P(x)是信息论最基本的度量单元，它将事件概率映射为非负实数，满足概率越小信息量越大的直觉，且独立事件的自信息具有可加性，这三条性质唯一确定了对数形式。CoreFormulaI(x)=−log₂P(x)底数为2时单位为bit底数为e时单位为NatUnitConversion1Nat=1/ln2bit≈1.443bit01定义与单位自信息定义为I(x)=−log₂P(x)，单位为比特(bit)；若以e为底则单位为奈特(Nat)，两者相差常数因子ln2。02非负性P(x)≤1保证−logP(x)≥0，当且仅当P(x)=1时取零值，对应完全确定的事件不含新信息。03单调递减性概率越小的事件发生时带来的surprise越大，所携带的信息量也越大——小概率事件包含更多信息。04可加性若两个事件独立，则联合自信息等于各自自信息之和：I(x,y)=I(x)+I(y)，这是对数形式的必然结果。FOUNDATIONSINFORMATIONTHEORY信息熵：平均不确定度信息熵H(X)=-ΣP(x)log₂P(x)是自信息的数学期望，表征信源的平均不确定度。它在均匀分布时取最大值log|X|，在退化分布时取最小值0，是衡量随机变量"混乱程度"的核心指标。01定义信息熵H(X)定义为自信息的期望：H(X)=−ΣP(x)log₂P(x)，表示识别一个样本所需的平均编码长度。02非负性与确定性熵的非负性由自信息非负直接推出；当某符号概率为1时H(X)=0，信源无不确定性。03极值性在给定符号集大小n下，均匀分布使熵最大，H(X)≤log₂n，等号当且仅当所有符号等概时成立。04二元熵函数H(p)=−plog₂p−(1−p)log₂(1−p)在p=0.5时取最大值1bit，两端趋于0，呈对称上凸形状。p00.511H(p)bit(0.5,1)1bit最大熵（p=0.5）0最小熵（p=0或1）INFORMATIONTHEORY联合熵与条件熵联合熵H(X,Y)与条件熵H(Y|X)将单变量熵推广到多变量场景，链式法则H(X,Y)=H(X)+H(Y|X)揭示了信息的层次结构：总不确定度等于边际不确定度加上条件剩余不确定度。1联合熵

H(X,Y)=−ΣΣP(x,y)log₂P(x,y)，表示同时描述X和Y所需的平均信息量，满足H(X,Y)≥max{H(X),H(Y)}2条件熵

H(Y|X)=ΣP(x)H(Y|X=x)，表示已知X的条件下Y的平均剩余不确定度，始终满足0≤H(Y|X)≤H(Y)3链式法则

H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)，该分解是多变量信息分析的基础工具4当X与Y独立时H(Y|X)=H(Y)，条件熵退化为边际熵；当Y是X的函数时H(Y|X)=0，无剩余不确定性IT信息论基础MutualInformationTHEOREM互信息与链式法则互信息I(X;Y)=H(X)-H(X|Y)量化了两个随机变量之间的统计依赖性，它是非负、对称的，且在信道容量定义中扮演核心角色。数据处理不等式保证了信息在处理过程中不会增加。01四种等价表达—I(X;Y)=H(X)−H(X|Y)=H(Y)−H(Y|X)=H(X)+H(Y)−H(X,Y)，适用于不同推导场景02非负性—由Gibbs不等式保证I(X;Y)≥0，等号成立当且仅当X与Y统计独立03链式法则—I(X₁,…,Xₙ;Y)=ΣI(Xᵢ;Y|X₁,…,Xᵢ₋₁)，将多变量互信息分解为条件互信息之和04数据处理不等式—若X→Y→Z构成马尔可夫链，则I(X;Z)≤I(X;Y)，表明后处理不能增加关于原始信号的信息IT信息论基础PROPERTIESEntropyProperties熵的性质与极值性熵的连续性、对称性、可加性、极值性和上凸性构成了信息论证明体系的基石。上凸性保证了优化问题的良好性质，极值性给出了均匀分布下的最大熵上界，两者共同支撑了信源编码与信道容量的核心定理。连续性熵是概率分布的连续函数，概率微小变化引起熵的微小变化，保证了极限运算的合法性。对称性熵与符号排列顺序无关，只取决于概率值的集合，体现了信息度量与标签无关的本质。上凸性H(λp+(1-λ)q)≥λH(p)+(1-λ)H(q)—混合分布的熵不小于分量熵的加权平均，是优化理论的关键。扩张性与极值性扩张性：增加零概率符号不改变熵值极值性：给定n个符号，均匀分布使熵最大为log₂n，为编码效率提供上界CHAPTER02信源编码数据压缩的极限与方法THEOREMINFORMATIONTHEORY·LECTURE11无失真信源编码定理Shannon第一定理确立了无损压缩的根本极限：独立同分布信源的最小平均码长L满足H(X)≤L<H(X)+1，熵既是信息量的度量，也是数据压缩不可逾越的下界，赋予了熵明确的工程操作意义。CoreBoundH(X)≤

L

<H(X)+1平均码长的精确界限01定理表述对i.i.d.信源X，存在前缀码使平均码长L<H(X)+1，且任何唯一可解码的平均码长L≥H(X)02下界证明H(X)≤L由Kraft不等式和Gibbs不等式联合证明，表明低于熵的压缩必然导致信息丢失03上界构造L<H(X)+1通过构造性编码（如Huffman码）实现，说明熵不仅是下界而且是可达的渐近极限04渐近特性对长度为N的信源序列编码，平均每个符号的码长可逼近H(X)，冗余度随N增大以1/N速率衰减ENCODINGALGORITHMLECTURE12Huffman编码原理与构造Huffman编码是一种贪心构造的最优前缀码，通过反复合并最小概率节点生成编码树，使高频符号获得短码、低频符号获得长码，平均码长在整数码长约束下达到最小，是无损压缩的工程基石。构造算法统计符号频率→建立最小堆→反复取出两个最小节点合并为新节点→直至剩一个根节点→回溯分配0/1码最优性在所有前缀码中Huffman码的平均码长最小，且满足Kraft不等式等号条件，码长分配与概率严格匹配实例：ABRACADABRAA(5次)编码为0，B/R(各2次)编码为101/100，C/D(各1次)编码为1100/1101局限性Huffman码要求整数码长，当概率不是2的负幂次时存在冗余；算术编码可突破此限制逼近熵HuffmanTree·ABRACADABRA0101010111642A5B2R2C1D1010010111001101高频符号A→短码0，低频C/D→长码1100/1101IT信息论基础SOURCECODINGALGORITHMS算术编码与LZ系列算法算术编码突破了整数码长限制，将消息映射为实数区间实现精确逼近熵；LZ77/LZ78基于字典匹配无需预知统计，两者分别代表了基于概率模型和基于模式匹配的两大压缩范式，共同构成现代通用压缩的技术基础。算术编码算术编码将整个消息递归细分到[0,1)子区间，最终用一个高精度小数代表整条消息，码长可精确等于-logP(msg)LZ77滑动窗口LZ77采用滑动窗口机制，用(长度,距离)对引用已编码数据中的匹配串，天然支持行程编码，是gzip/DEFLATE的核心LZ78与LZWLZ78显式构建动态字典，每次输出字典索引加新字符，LZW是其变体，广泛用于GIF/TIFF等格式两类算法的互补算术编码依赖准确的概率模型，LZ系列自适应发现结构；实际系统常组合使用，如LZMA+算术编码THEOREM典型序列与渐近等分性渐近等分性(AEP)揭示了长序列的概率集中现象：约2NH(X)个典型序列承载了几乎全部概率质量，且每个典型序列的概率近似相等。这一性质是Shannon信源编码定理的证明核心，也是随机编码论证的基础工具。01典型序列定义长度为N的序列xn满足|-1/N·logP(xn)-H(X)|<ε，其个数约2NH(X)，总概率趋近于1。02AEP定理对任意ε>0，当N足够大时，典型集的概率>1-ε，且每个典型序列的概率在2-N(H±ε)范围内。03证明基础AEP的证明基于弱大数定律：-1/N·logP(Xn)=1/NΣ(-logP(Xi))依概率收敛到E[-logP(X)]=H(X)。04工程意义只需对典型集内的2NH个序列编码，每个用NH比特标识，即可实现接近熵的压缩，非典型序列可忽略。✣CHAPTER03信道与容量可靠通信的速率极限CHANNELMODELSINFORMATIONTHEORY离散无记忆信道模型离散无记忆信道(DMC)由转移概率P(Y|X)完全刻画，"无记忆"保证每次传输独立。BSC是最基本的有噪信道模型，其翻转概率p决定了信道的可靠性程度，是理解信道容量的入门范例。DMC定义：由三元组(X,Y,P(Y|X))定义，输入X∈X、输出Y∈Y，转移概率矩阵完整描述信道特性无记忆性：P(yⁿ|xⁿ)=∏P(yᵢ|xᵢ)，每次传输独立同分布，简化了分析与编码设计BSC(p)：二元输入输出，以概率p翻转、1-p正确传输，转移矩阵为[[1-p,p],[p,1-p]]BEC(ε)：二元擦除信道，以概率ε输出擦除符号e、1-ε正确传输，容量为1-ε，比BSC更易分析BSC(p)转移概率图01011−p1−ppp输入X输出YTransitionMatrix[1−ppp1−p]H信息论基础CHANNELCAPACITY核心概念信道容量的定义信道容量C=maxP(X)I(X;Y)是信道上可靠通信的最高速率，由信道转移概率唯一确定。它是互信息关于输入分布的最大值，反映了信道传递信息的内在能力，与具体编码方案无关。01数学定义信道容量C=maxP(X)I(X;Y)，最大化遍历所有可能的输入分布，单位为比特每信道使用（bit/channeluse）。02最优性保证由于I(X;Y)关于P(X)是上凸函数，最大值存在且可通过Blahut-Arimoto算法数值求解。03物理含义C是区分信道输出的最大速率，超过此速率则输出无法可靠反映输入，错误不可避免。04对称与非对称信道对称信道（如BSC）的最优输入是均匀分布；非对称信道的最优输入可能需要精心选择以最大化互信息。CHANNELCAPACITYINFORMATIONTHEORYBSC与BEC信道容量BSC(p)容量C=1-H₂(p)和BEC(ε)容量C=1-ε是两个最重要的闭式结果。前者揭示了噪声对容量的非线性侵蚀，后者展示了擦除信道的简洁结构。它们既是理论分析的基准，也是评估实际编码方案的参照标尺。BSC(p)容量C=1−H₂(p)=1+p·log₂p+(1−p)·log₂(1−p)均匀输入达到最大值；p=0时C=1（无噪信道），p=0.5时C=0（完全随机输出，无法提取信息）。BEC(ε)容量C=1−ε因擦除位置已知，有效传输比例为1−ε；均匀输入最优，计算结构比BSC更为简洁直观。BSC容量对称性C(p)=C(1−p)翻转概率p和1−p的信道等价——只需交换输出标签即可建立等价映射，容量曲线关于p=0.5对称。工程验证0.01dB以内逼近容量现代纠错码（LDPC/Turbo码）可在BSC上逼近Shannon容量至0.01dB以内，验证了信息论的工程可行性。THEOREMSHANNONTHEORY有噪信道编码定理Shannon第二定理确立了可靠通信的根本极限：速率R<C时存在编码使错误概率任意小，R>C时可靠传输不可能。它证明了容量的可达性但未给出构造性编码，这一存在性证明开启了现代纠错码研究的七十年历程。正向部分：对DMC容量C，若R<C，存在码率为R的编码序列使最大错误概率Pₑ→0（随码长n指数衰减）反向部分：若R>C，则对任何编码序列，错误概率Pₑ有正下界，不随码长增加而趋于零证明思路：随机编码+联合典型解码，利用AEP和计数论证证明平均错误概率可任意小，再由去随机化得存在性历史意义：1948年Shannon证明了极限的存在与可达性，但直到Turbo码(1993)和LDPC码才在实践中逼近该极限RATETHRESHOLDR<C→Pₑ→0✓CR>C→Pₑ>0✗RateR→ChannelCapacityCCHANNELCODING20/24随机编码论证思想随机编码论证是信息论最具影响力的证明技巧：通过证明随机码的平均错误概率可任意小，推导出好码的存在性。这种非构造性方法回避了显式编码设计的困难，为后续七十年的编码理论研究提供了方法论范式。核心思想：从所有可能编码中均匀随机选取一个码，计算其平均错误概率Ē[Pₑ]，证明Ē[Pₑ]<ε存在性推论：既然随机码的平均错误概率<ε，则至少存在一个具体码的错误概率≤ε，无需显式构造联合典型解码：收到yⁿ后，寻找与yⁿ联合典型的唯一码字xⁿ(w)，利用AEP保证正确解码概率趋近1局限与超越：随机编码的证明是非构造性的，实际编码如LDPC/Polar码通过结构化设计实现了接近随机的性能CHAPTER04连续信源与高斯信道从离散到连续的推广✣THEORY微分熵的定义与性质微分熵h(X)=-∫f(x)log₂f(x)dx是离散熵在连续域的推广，但失去了非负性和绝对信息量的解释。它的核心价值在于差值运算：互信息和信道容量仍保持非负性和操作意义，微分熵本身则是相对量。01定义与量化导出微分熵定义：h(X)=−∫Sf(x)log₂f(x)dx，其中S为概率密度的支撑集。可由量化极限严格导出：lim[H(qₙ(X))−n]给出微分熵的离散近似路径，将连续情形与离散熵衔接。02与离散熵的关键区别可为负值：离散熵始终非负，但微分熵可取负值。典型示例：在[0,1]上f(x)=2x，其微分熵≈−0.28bit，说明微分熵不具绝对信息量含义。h(X)<0ispossible—differentialentropyisarelativemeasure,notanabsoluteone.03坐标变换规则变换公式：若Y=g(X)为可逆光滑变换，则h(Y)=h(X)+E[log₂|detJ_g(X)|]。这与离散熵形成鲜明对比——离散熵在一一映射下保持不变，而微分熵需加上雅可比行列式的修正项。04互信息的操作意义差值保非负：尽管微分熵本身是相对量，互信息I(X;Y)=h(X)−h(X|Y)仍保持非负性。这使得信道容量等基于互信息的操作定义在连续域依然有效，是微分熵理论价值的核心支撑。IT信息论基础MAXIMUMENTROPYTHEOREM高斯信源的最大熵性质在给定方差约束下，高斯分布使微分熵最大化，值为½log₂(2πeσ²)。这一最大熵性质意味着高斯噪声在功率约束下对通信最不利，因此AWGN信道容量是所有同功率噪声信道容量的下界。定理（最大熵定理）在所有方差为σ²的连续分布中，高斯分布N(0,σ²)的微分熵最大，hmax=½log₂(2πeσ²)证明方法一·变分法：在∫f=1和∫x²f=σ²约束下最大化−∫f·logf的积分，通过拉格朗日乘子法导出高斯分布形式证明方法二·KL散度非负性：D(f‖φ)=∫f·log(f/φ)≥0⇒h(f)≤h(φ)，等号成立当且仅当f=φ（即待证分布为标准高斯）推论高斯噪声是功率约束下最恶劣的加性噪声，使互信息最小，故AWGN容量是同功率信道的最差情况基准THEORYAWGN信道容量公式AWGN信道容量C=½log₂(1+SNR)是信息论最著名的公式，揭示了功率约束下连续信道的传输极限。高斯输入达到容量，容量随信噪比对数增长，这一结果为所有现代无线通信系统提供了根本的性能基准与设计目标。AWGN模型：Y=X+N，N~𝒩(0,σ²)，输入功率约束E[X²]≤P，信噪比SNR=P/σ²容量公式：C=½log₂(1+P/σ²)=½log₂(1+SNR)

bit/信道使用，由高斯输入与高斯噪声的熵差直接导出推导：C=max[h(Y)−h(N)]，h(N)=½log(2πeσ²)固定，h(Y)在高斯输入时最大工程含义：SNR每增加3dB容量约增1bit；低SNR时线性增长，高SNR时对数增长Shannon极限：达到容量需无限长编码与高斯码本，实际系统通过QAM/LDPC等在1–2dB内逼近SHANNONCAPACITYC=½log₂(1+SNR)3dB→+1bitGaussianinputoptimal✣IT信息论基础CHANNELCAPACITYPOWERALLOCATION功率约束与水注分配水注分配是并行高斯信道最优功率分配策略：将总功率像水一样注入各子信道，信道增益高的分配更多功率，增益低于阈值的完全不使用。这一策略使总容量最大化，是OFDM和多天线系统资源分配的核心理论基础。ν水位线g₁大P₁g₂中P₂g₃小P₃g₄极小P₄=0子信道等效噪声底部σᵢ²/gᵢ▲水注分配示意：低处多填，高处少填，过高不填01问题设定N个并行AWGN子信道，第i个增益gᵢ、噪声σᵢ²，总功率约束ΣPᵢ≤P，目标maxΣ½log(1+gᵢPᵢ/σᵢ²)02水注解Pᵢ=max(0,ν−σᵢ²/gᵢ)，ν为水位线由总功率约束确定；等效噪声大的子信道分配零功率03直觉解释功率比作水，σᵢ²/gᵢ为各子信道底部高度，倒水至水位ν，低处多填高处少填04工程应用OFDM按子载波信道状态分配功率与比特；MIMO经SVD分解为并行子信道后应用水注Chapter05率失真理论有损压缩的数学基础SECTIONDIVIDERSOURCECODING限失真信源编码问题限失真信源编码在允许一定失真的前提下追求最小码率，是图像/音频/视频压缩的理论基础。率失真函数R(D)给出了失真D下可达的最小码率，是无损编码H(X)在有损情形的自然推广。问题表述：给定信源X、失真度量d(x,x̂)和失真约束D，求最小码率R使得存在编码满足E[d(X,X̂)]≤D常见失真度量：汉明距离d(x,x̂)=1{x≠x̂}用于离散信源；均方误差d(x,x̂)=(x−x̂)²用于连续信源与无损编码的关系：当D=0时R(0)=H(X)（离散）或∞（连续），无损编码是有损编码的特例率失真函数的性质：R(D)关于D非增、下凸、连续，在D≥Dmax时为零，Dmax=minx̂E[d(X,x̂)]IT信息论基础RATE-DISTORTIONCoreConcept率失真函数R(D)率失真函数R(D)=minI(X;X̂)s.t.E[d]≤D将压缩问题转化为互信息最小化问题。它是下凸、非增函数，给出了失真-码率权衡的理论边界。Blahut-Arimoto算法提供了通用的数值计算方法，使理论结果可用于实际系统设计。01定义R(D)=minP(x̂|x):E[d]≤DI(X;X̂)最小化遍历所有满足失真约束的测试信道02参数化表达引入拉格朗日乘子s≤0，R(D)=maxs[sD−I(s)]其中I(s)为互信息的矩母函数形式03Blahut-Arimoto算法交替优化P(x̂|x)和P(x̂)，使I(X;X̂)下降收敛到R(D)，类似EM算法的迭代结构04限失真信源编码定理R>R(D)时存在编码使失真≤D；R<R(D)时不可能——与无损编码定理完美对偶✣IT信息论基础RATE-DISTORTIONTheorem高斯信源的率失真函数高斯信源在MSE失真下的率失真函数R(D)=½log₂(σ²/D)是最优美的闭式结果之一。它表明码率与失真呈对数反比关系，失真减半需增加1比特码率，这一规律深刻影响了量化器设计与图像压缩标准的制定。01定理—X~N(0,σ²)，d(x,x̂)=