英语信源汉语信源信息熵的研究.doc

英语信源、汉语信源及其信息熵的研究摘要 英语信源和汉语信源是两种不同的自然语信源，而信息熵反映了信源的记忆长度，信源的记忆长度越长，熵就越小。只有当记忆长度为0，即信源符号间彼此没有任何依赖关系且等概率分布时，信源熵达到最大值。也就是说，信源符号相关性越强，所提供的平均信息量就越小。所以，研究这两种信源的信息熵，就可以得出每种信源中符号的相关性，和提供的平均信息量，量化的来比较两种语言。关键词 英语信源 汉语信源 信息熵正文 一、英语信源及其信息熵 英语字母有26个，加上空格，共27个符号。根据熵的性质，信源的最大熵 但实际上，英语中的字母并非等概率出现，字母之间还有严格的依赖关系。如果我们对英语书中27个符号出现的概率加以统计，可得：27个英语字符出现的概率符号概率符号概率符号概率空格0.2S0.052Y,M0.012E0.105H0.047G0.011T0.072D0.035B0.0105O0.0654L0.029V0.008A0.063C0.023K0.003N0.059F,U0.0225X0.002I0.055M0.021J,Q0.001R0.054P0.0175Z0.001 如果不考虑上述符号之间的依赖关系，即近似地认为信源是离散无记忆信源，根据离散上的定义可得 按上述表格中的概率分布，随机选择英语字母排列起来，得到一个信源输出序列：AI_NGAE_ITE_NNR_ASAEV_OTE_BAINTHA_HYROO_POER_SETRYGAIETRWCO可见，这些字母完全是随机排列，毫无相关性，却不是英语单词，所以我们应该考虑字母的依赖性。为了进一步逼近实际情况，可把婴语信源近似地看作1阶，2阶，阶马尔可夫信源，求得相应的熵异推出，马尔可夫信源阶数越高，输出的序列越接近实际情况。当依赖关系延伸到无穷远时，信源输出就是真正的英语。所以我们求马尔可夫信源的极限熵二、汉语信源及其信息熵 对于英语，字符数少，可轻松的计算出英语信源的信息熵，但是对于汉语这个中文字符极其庞大的信源，科学家们做出了大量的统计与计算。方法同上面的英语信源信息熵的计算，不过计算量增加了非常多。下面是截取的一些统计资料。 CCL 语料库-现代汉语 总字频数：307,317,060总字种数：9711字频表：的:11523375 一:4140344 是:3291508 了:3059837 在:2933070人:2827726 不:2733842 国:2645758 有:2507415 中:2182025他:2029395 这:1968713 我:1940875 和:1872750 大:1832977个:1701835 上:1615128 为:1607942 年:1529238 地:1464121来:1456483 会:1445285 到:1353359 们:1350664 出:1262480要:1259098 以:1240442 发:1218837 说:1186888 时:1137791生:1133029 作:1114127 家:1092024 对:1074655 业:1018180经:1015211 就:996530 日:991991 行:988420 成:944114也:906313 工:891269 多:880855 学:860176 于:844000得:839902 自:833435 子:824453 民:821583 过:810433着:802863 方:801878 后:801821 下:797775 可:796081能:792017 进:780713 部:779801 开:747231 新:746180而:742961 主:741817 里:735032 现:730526 同:727742全:723495 用:718945 产:713207 理:712150 法:709521市:708052 之:705141 事:685890 动:683263 本:681058者:680848 长:677790 你:677378 那:676119 实:670861 中国科学家冯志伟等人的对中文字符信息熵计算的结果是：汉字容量：1 1052 1830 4912 5104 5211 12370信息熵值：0 7.53 9.52 9.61 9.63 9.64 9.65随着汉字容量增大，信息熵的增加趋缓；汉字增加到12370以后，不再使信息熵有明显的增加。通过数理语言学中 著名的齐普夫定律（ZIPFS LAW）核算，汉字的容量极限是12366个汉字，汉字的平均信息量是9.65比特三、英语信源和汉语信源的比较 显而易见，汉语信源的信源熵远远大于英语信源的信息熵，说明英语信源的记忆长度比汉语的长，相关性比汉语信源强，非常简洁。很多人认为信源的信息熵小就一定好，但并不是这样，并不是信息熵小就好，信息熵大也有他的好处。汉语是“表意文字”，英语是“表音文字”。表意文字要求汉字拥有了一个数量庞大的字符集，但现代汉语已经不用增加字 符来表达新的概念，而是创造新词，加上对汉字汉语的规范化，这已经基本上达到了减少了使用字数的目的，大大减少了汉字的冗余度。汉字对拼音文字的这种信息熵优势是什么概念？简单的比喻就是十进制数与二进制数的差别。十进制数字系统需要人记忆0-9，10个符号，二进制只需要记忆0 和1两个符号。十进制乘除要记忆9X9表，二进制只需要学会与、或、非的简单逻辑。但是，人类在日常生活中为什么不使用二进制数字系统呢？因为那样很浪 费，一个数字“7”表示成二进制就成了“111”，记个大数不把人累死？反过来，人类为什么不用十六进制，或更高的进制呢？一方面是人脑智力的限制，另一 方面，十六进制也未必能大幅度提高信息熵。这种信息熵反映在文字上，就是联合国文件中，中文版本一定是最薄的。信息熵高是不是就不利于计算机处理呢？这方 面恐怕还很难下结论。简单的比较汉与英文的输入速度是不能说明问题的，因为“字”与“word”是不同的概念。要比较只能比较同一内容的中英文两个不同文 本，计算击键数的差值。在“词”的单位基础上，现代汉语与英语是可以进行比较的。现代英语为了应付不断涌现的新事物、新思想、新科技、新概念，也在不断地 造词