哲学方法论系列文库：通信的数学理论

哲学方法论系列文库 通信的数学理论通信的数学理论 哲学是人类文化结晶， 方法论在哲学中占有重要地位。 本文提供 “通信的数学理论” 的现代视点解读，以供大家了解。 通信的数学理论通信的数学理论 1948年申农发表的一部着名的、标志着信息论产生的 奠基性着作。 申农在该书中从通信的角度提出了一些新思想。 首先，他认识到通信的基本问题是在通信的一端精确 地或近似地复现另一端所挑选的消息。 从这一点出发，他进而认为虽然通常消息是有意义 的，但通信的语义方面的问题与工程问题是没有关系 的。 重要的是一个实际的消息是从可能消息的集合中选择 出来的。 因此系统必须设计得对每种选择都能工作，而不是只 适合工作于某一种选择，因为在设计时这是不知道 的。 基于这种分析，他就大胆地撇开了与工程无关的信息 语义方面的问题，从而给工程技术上处理问题带来了 极大的方便，同时为信息的定量化研究提出了一个新 的思想和方法。 并且他还考虑到消息的统计性质，指出：如果在集合 中消息的数目是有限的，而且所有选择是等概率的， 则这个数目或这个数目的任何单调函数都能作为由此 集合中选择一个消息时所产生的信息的量度。 由此他确定采用对数度量，因为对数度量比较方便， 实际上比较有用，工程上的重要参量(如时间、频带宽 度、继电器的数目等)都倾向于随可能性数目的对数作 线性变化。 另外，采用对数度量比较直观，在数学上也比较合 适。 申农的这一新思想和处理问题的方法，在工程技术 上、在信息的句法结构和传输的定量分析上都是一个 重要的突破，以致成了他为解决设计不同形式信号传 输系统所建立的统一理论的奠基之砖。 其次，他正确地将概率和数理统计理论引入了信息 论，并作为信息的定量分析的重要数学工具。 在一门科学中选用什么样的数字工具并非任意的。 这是由于申农在研究怎样利用数字来描述信源时，获 得了一个清晰的认识。 这一认识直接支持了莫尔斯的编码思想。 他同样看到：在电报中所传输的消息是由字母序列组 成的，而这些序列并非完全随机的，但它们构成的句 子都有一定的统计结构。 如英文统计结构的句子，字母E的出现要比Q经常得 多，序列TH的出现要比XP经常得多等等。 这种统计结构的存在，允许我们采用合理的编码来节 省时间(或信通容量)。 例如用最短的信道符号一点来代表最常用的字母，而 用较长的点划序列来表示不常用的字母。 显然，在通信中根据这种统计结构进行合理编码，必 然大大地节省了平均时间。 通过分析，他科学地提出了一个设想：离散信源是一 个符号接着一个符号地产生消息的。 相继符号的选择是根据某些概率，通常这些概率取决 于前面符号的选择及待选的符号。 任何一个能产生由一组概率控制的符号序列的物理系 统或物理系统的数学模型都可称为随机过程。 基于这一设想，从不确定性和随机现象中抽象出的概 率和数理统计理论，也就必然成了分析通信中随机过 程最好的数学工具。 正是由于找到了合适的数学工具，所以申农就能很顺 利地建立起一个数学表达式，作为在某种意义上能度 量这个随机过程所“产生”的信息是多少的量，即信息 量，并给出了信息量一个科学的定义，使之成为信息 理论中的一个主要内容，在这一理论中起着重要作 用。 申农对于信息理论的再一贡献，就是提炼出了通信系 统的模型，并对信道最大容量进行了研究和描述。 信源发出信息通过信道进行传输，这种传输信息的能 力就是信道容量。 如果信道中的噪声，一般说是会影响信源发出的信息 在接收端准确地复现，因此就需要研究一些传输信息 的方法，使其在抗干扰方面是最佳的。 申农在这些方面都做了大量的、细致的研究工作，特 别是当把信息理论看作统一力学的一个分支时，他就 对有白热噪声干扰的信道的最大容量给出了一个正确 的数字表述。 申