学习概率论与数理统计应该注意的若干问题3.doc

收稿日期：2010-12-11作者简介：许道云（1959-），男，教授、南京大学博士，贵州大学计算机科学与技术学院院长，博士研究生指导教师。主要研究方向为计算复杂性、可计算分析。第13卷第2期 铜仁学院学报 Vol. 13 , No. 22011年3 月 Journal of Tongren University Mar. 2011学习概率论与数理统计应该注意的若干问题（3）随机变量的数字特征和作用许道云，秦永彬，刘长云（ 贵州大学 计算机科学与技术学院，贵州 贵阳 550025 ）摘 要：随机变量形式上是定义在样本空间上的一个实值函数，与普通函数相类似，利用某些参数足以刻画函数的内在本质特征。随机变量数字特征的引入，其目的是想用某些特征参数刻画随机变量。数学期望是随机变量数字特征参数的一个基础的核心概念，常见的随机变量数字特征形式上是随机变量函数的数学期望。数学期望本质上是加权平均计算，这为随机变量数字特征的统计（近似）计算提供了计算模型。关键词： 数字特征； 计算； 作用中图分类号：O211 文献标识码：A 文章编号：1673-9639 (2011) 02-0126-06为帮助工科学生理解概率论与数理统计中的一些基本而且重要的问题，并为教授这门课程的教师提供一些有用的参考，我们按照授课的内容和顺序，以系列文章的形式阐明本课程教学大纲要求内容中的若干问题，以及这些问题在支撑整个教学内容中的联系和地位。我们所选内容限于概率论与数理统计（浙江大学 盛骤等编， 高等教育出版社，第三版）的第一章至第八章，将以6篇系列教学研究文章完成我们对概率论与数理统计中若干问题和知识点的见解，其中不乏一些在相关参考文献或教科书上没有见到的新见解。教学实践证明：这些见解对教与学是非常有效的。此系列文章的全部内容都融进了我们的教学过程中，整理出来的目的是让后续学生在学习时参考，其主要读者对象是学生。概率论与数理论计作为一门应用数学课程，与其他数学课程一样，有自身的一套“概念建立、性质和定理提炼、计算公式、实际应用”的体系。把握住其中关键概念的内涵以及延伸的逻辑体系和方法，对于本课程的教与学至关重要。通常，多数学生认为：概率论与数理统计由于研究的是随机现象及其统计规律，所以该课程难学。实质上，只要悟透其中每一部分的概念和计算公式的内涵。从计算的角度而言，只需用到中学阶段已经学过的排列组合、以及大学一二年级学过的高等数学中的微积分计算，就足够完成大纲要求的学习内容。我们将以一系列教学研究文章的形式，向学生进一步澄清概率论与数理统计中的一些基本概念的内涵，帮助学生进一步悟透这些概念和相关的计算公式以及知识点之间的联系，化难为易，使学生感受到概率论与数理统计课程中要求的计算难度不会高于已经学过的高等数学，消除学生对这门课程的“畏难”心态，让学生觉得这门课易学，第2期 许道云，秦永彬，刘长云：学习概率论与数理统计应该注意的若干问题（3） 127其计算难度没有超过高等数学中的计算难度。同时，提高学生对这门课程的学习兴趣，认识到它在以后实际工作中的作用。该系列文章由如下六个部分构成：（1）概率概念的内涵与分解计算；（2）随机变量与概率分布；（3）随机变量的数字特征和作用；（4）正态分布在抽样分析中的地位；（5）三大分布在数理统计中的地位；（6）极限性质及其应用。本文为该系列教学研究文章之三，阐述随机变量以及随机变量之间关系的特征表示。与一般事物一样，抓住对象特征就能了解对象。随机变量形式上是定义在样本空间上的一个实值函数，与普通函数相类似，利用某些参数足以刻画函数的内在本质特征。数学期望是随机变量数字特征参数的一个基础而核心的概念，常见的随机变量数字特征形式上是随机变量函数的数学期望。数学期望本质上是加权平均计算，这为随机变量数字特征的统计近似计算提供了计算模型。随机变量、分布、总体客观上是对同一对象的不同表述，随机变量数字特征参数决定了随机变量。所以，数理统计中主要是对随机变量数字特征参数计算估计进行研究。1随机变量的数字特征所谓特征：是想用少量的信息（近似地或完全地）表示一个大信息量对象。比如：人的指纹特征是用少量的数据点去表现整个指纹图像，只要满足区分要求就足够了；一条直线由无穷多个点构成，然而从直线方程可知，只需用一对实数就足以刻画该直线；等等。随机变量通常表现为一个函数。但是，对于给定类型的分布，只要知道其中的某些参数，就足以刻画该随机变量。而这样的参数往往代表随机变量某种内在特性或物理背景，或随机变量之间的某种内在联系。 在概率论与数理统计中，主要研究随机变量的如下几类数字特征（参数）。11 信息量直观上，一个常规事件的发生不提供任何信息，而一个未在预料中的事件的发生提供有信息。 对应概率论中的确定与非确定事件，确定事件发生的结果预先可知道，所以，这样的事件发生不提供任何信息。而非确定事件发生的结果预先不可知，于是非确定事件发生的结果提供有信息。1948年，香农提出了“信息熵”概念，解决了对信息的量化问题。一条信息的信息量大小和它的不确定性有直接的关系。比如说，我们要搞清楚一件非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，则不需要太多的信息就能把它搞清楚。从这个角度，信息的度量可以刻画事件发生的不确定性。我们知道：概率论主要研究非确定事件发生的规律。随机变量是用于描述非确定事件发生的基本数学工具。不同的随机事件的发生提供有不同信息。如何量化这样的信息是一个基本问题。设为一个离散型随机变量，其分布为： 事件发生提供的信息量定义为：。容易看出：。其函数曲线见图1。01pI(x)图1 事件发生概率与信息量关系图 可见，事件发生的概率越小，信息量越大。事件发生的概率为1时，信息量为0。即确定事件发生不提供信息。设，为两个离散型随机变量，其分布分别为事件，的发生所提供的互信息量128 铜仁学院学报 2011年定义为：容易验证：。互信息量提供一种两个事件发生的相互依赖信息量。（1）如果事件，独立，则。（2）如果事件发生时，必然发生，则有。12 熵用随机变量描述不确定事件，那么如何量化整个随机变量的不确定性呢？香农提出的“信息熵”概念有效地解决了这个问题。他用事件发生的平均信息量定义熵，即，以0-1随机变量为例，设：。X的熵为：。其函数曲线见图2。010.51图2 0-1随机变量熵函数可见，当分布参数时，对应的0-1随机变量的熵最大，即事件发生的结果最不确定。而当靠近0（或1）时，熵趋近于0。此表明：随机变量几乎退化为一个确定量。 对于两个随机变量，如果，则的不确定性比的不确定性高。13 数学期望 随机变量的数学期望形式上表现为随机变量取值以概率值为权重的加权平均： （离散型） 。（条件：）（连续型） 。（条件：）随机变量函数的数学期望为：二元随机变量函数的数学期望为： 数理统计中将用到离散型加权平均的思想，用于数学期望参数的统计量估算方法。 数学期望的如下两条性质对计算有用： （1）。 （a, b ,c为常数） （2）如果，独立，则。14 方差随机变量的方差是一个二次随机变量函数的数学期望： 方差用于刻画随机变量取值与平均值的总体误差。方差的如下三条性质对计算有用：（1）。 （a, b ,c为常数） （2）如果，独立，则。（3）。（可作为方差的换算公式）第2期 许道云，秦永彬，刘长云：学习概率论与数理统计应该注意的若干问题（3） 12915 协方差随机变量，的协方差是一个二元随机变量函数的数学期望：单位化后得到两个随机变量的相关系数：相关系数用于刻画随机变量，的线性相关程度。可以证明：（1）。（2）时，与概率线性相关。即存在常数a、b, 。其中，常数a、b的计算公式为：。特别的，当时，称为正（概率）线性相关；当时，称为负（概率）线性相关；当时，与概率线性无关，即对任意常数a,b, 。（3）。（可作为协方差的换算公式）显然，如果，独立，则。2常见分布的数字特征由概率分布的定义，我们知道：（1）满足条件的任意一个正项数列，以其作为概率都可以决定一个离散型分布。（2）满足条件的任意一个非负函数，都可以决定一个连续型分布。通常，我们只考虑某些具有代表性的分布类型。一般，分布中含有某些参数，分布类型己知的情形下，不同参数对应不同的分布。随机变量的数字特征与这些分布参数有密切联系。随机变量的数字特征可以用一个多项式形式的随机变量函数的数学期望表示，如k阶原点矩，k阶中心矩，k+m阶原点混合矩, k+m阶中心混合矩。可见，数学期望在数字特征计算中是一个中心概念。基于这一点，根据加权平均与数学期望的关系，数理统计中的矩估计方法和其他统计方法基本是源于这些关系。为方便学生参考，我们将常见分布的数字特征总结在表1中。3数字特征的应用随机变量的数字特征之所以称为特征，其理由是：在分布类型己知的情形下，一旦数字特征知道，分布就能决定。所以，数理统计中绝大部分内容是在对分布类型及其参数进行近似估算和分析研究。对于分布参数，参数的单点值近似，或取值范围近似是数理统计关心的基本问题。在数理统计中，单点值和取值范围的近似是用概率信度刻画，即在什么样的概率信度下，确保近似结果。这方面的分析我们将在另文中专题讨论。 这里，我们考虑一种最简单的近似方法：对同一试验重复进行，然后用实验结果的平均值近似数学期望。对于一个随机变量，如果它的数学期望和方差均存在（注意：并非一定是正态分布），即使不知道分布的任何信息，数学期望和方差仍可近似计算，其原理来自于大数定律。对对应随机试验独立地重复进行，试验n次的结果分别用n个随机变量表示。则为相互独立，且与同分布。从而有 。定义统计量（平均值）：，则对于任意实数，由切比雪夫不等到式，因为)，130 铜仁学院学报 2011年有。由此， 我们得到：。此处任意固定的与n无关，因此。这就是大数定理的出处。切比雪夫大数定理特殊情况：设为相互独立的随机变量序列，。定义：，则对于任意实数， 成立。切比雪夫大数定理从理论上解释了为什么可以用频率近似地作为概率的基本思想。我们以0-1分布为例解释这一现象。设事件A发生的概率为p,引入一个一个0-1随机变量X：则。作n次重复试验，其结果表现为n个相互独立、并与同分布的随机变量。即， 。于是，。由大数定理：对于任意实数，。由的任意性，当n充分大时，几乎等于，而所表现的刚好是：n次试验中，事件A发生的频率。表1 常见分布的数字特征分布名称(记号)随机变量的分布（或密度函数）参数数学期望方差0-1分布n重伯努利分布泊松分布均匀分布指数分布正态分布第2期 许道云，秦永彬，刘长云：学习概率论与数理统计应该注意的若干问题（3） 131对于分布类型，根据中心极限定理，其近似估计与分布类型无关，最终均可统一在正态分布（仍至标准正态分布）的框架之下。所以，我们可以这样认为：数理统计中的最核心的基础分布是标准正态分布。这就是数理统计中只研究标准正态分布抽样的各种组合的原因。中心极限定理：设为相互独立的随机变量序列，。定义，则对于任意实数， 。成立，即当n充分大时，近似服从标准正态分布。特别，当为相互独立的0-1随机变量序列， ，当时，。当n充分大时，近似服从标准正态分布。即，值得注意的是：在此是固定的，从而当时，并非是一个常数或有界。 4结束语本文是我们有关概率论与数理统计系列教学研究文章的第3篇。主要阐述随机变量的数字特征。用量化参数刻画随机变量的某些内在特征。数学期望在数字特征计算中是一个中心概念，把握加权平均与数学期望的关系，对于理解其他特征参数的计算和估计、以及数理统计中的矩估计方法和其他统计法具有十分重要的意义。参考文献：1 盛骤，谢式千，潘承毅概率论与数理统计（第3版）M北京：高等教育出版社，20012 盛骤，谢式千，潘承毅概率论与数理统计学习辅导与习题选解（第2、3版）M北京：高等教育出版社，20033 谢婧，钮键，赵辉概率论与数理统计全程导学及习题全解（第3版）M北京：高等教育出版社，20064 M. Mitzenmacher, E. Upfal概率与计算M史道济，译北京：机械工业出版社，2007Several Issues on Studying Probability Theory and Mathematical Statistics (3)- Numerical characteristics of random variables and its roleXU Dao-yun, QIN Yong-bin, LIU Chang-yun( College of Computer Science and Technology, Guizhou University, Guiyang, Gouzhou 550025, China )Abstract: Random variable is formally a real-valued function defined in the sample space. Much the same as normal function, the use of certain parameters is sufficient to describe the function of intrinsic characteristics. The purpose of introduction of