美赛中的统计方法简介

1、美国大学生数模竞赛中的统 计方法简介 余吉昌 中南财经政法大学统计与数学学院 蠓虫的分类 两种蠓虫Af和Apf巳由生物学家WL Grogan和W.W.Wirth(1981年)根 据它们的触角长度和翼长加以区分。 现测得6只Apf和9只Af蠓虫的触角长度和翼长识别的依据是蠓虫的触 角和翅膀的长度的数据（见附录一），现在要根据数据,制定一种方 法,正确区分两类蠓虫；并且将建立的模型将用于已知触角长和翼长 三个待定的样本进行识别。 且在假设Af 是宝贵的传粉益虫，而Apf是某种疾病的载体的情况下， 对模型加以改进。 蠓虫的分类 Apf(G1)Af(G2) 序号序号触角长度翅膀长度序号触角长度翅膀长度

2、翅膀长度 11.141.7871.241.72 21.181.9681.361.74 31.201.8691.381.64 41.262.00101.381.82 51.282.00111.381.90 61.301.96121.401.70 待判样品待判样品131.481.48 11.241.80141.541.82 21.281.84151.562.08 31.402.04 判别分析 判别分析-在已知研究对象分成若干类型，并已取得 各种类型的一批已知样品的观测数据，在此基础上根 据某些准则建立判别式，然后对未知类型的样品进行 判别分类 判别分析的方法 距离判别法 Bayesian判别法 判

3、别方法-距离判别法 首先根据已知分类的数据，分别计算各类的重心，计算新个体 到每类的距离，确定最短的距离 欧氏距离-设有n维向量 x=(x1,x2,xn),y=(y1,y2,yn)，则称 Matlab 中如何计算欧氏距离 n i ii yxyxd 1 2 )(),( 为为n维向量维向量x，y之间的欧氏距离之间的欧氏距离 判别方法-距离判别法 马氏距离：马氏距离是由印度统计学家马哈拉诺比斯提出的， 由于马氏距离具有统计意义，在距离判别分析时经常应用马氏 距离. 同一总体的两个向量之间的马氏距离 其中 为总体协方差矩阵 设有设有n维向量维向量x= (x1,x2,xn),y=(y1,y2,yn)，则

4、称，则称 1 ( , )()()Td x yxyxy 为为n维向量维向量x，y之间的马氏距离之间的马氏距离. 2. 2. 一一个向量到一个总体的马氏距离个向量到一个总体的马氏距离 设设x x是取自均值向量为是取自均值向量为，协方差矩阵为，协方差矩阵为的的总体总体G G 的一个行向量，则称的一个行向量，则称 1 ( ,G)()()Td xxx 为为n维向量维向量x与总体与总体G的马氏距离的马氏距离. MATLAB中有一个命令：中有一个命令： mahal计算马氏距离平方计算马氏距离平方 判别方法-距离判别法 3.3.两个总体之间的马氏距离两个总体之间的马氏距离 判别方法-距离判别法 设有两个总体设

5、有两个总体G1,G2，两个总体的均值向量分，两个总体的均值向量分 别为别为 ，协方差矩阵相等，皆为，协方差矩阵相等，皆为,则两个则两个 总体之间的马氏距离为总体之间的马氏距离为 , 12 1 121212 (G ,G )()()Td 通常，在判别分析时不采用欧氏距离的原因在通常，在判别分析时不采用欧氏距离的原因在 于，该距离与量纲有关于，该距离与量纲有关. 判别方法-距离判别法 1、马氏距离不受计量单位的马氏距离不受计量单位的影响影响 2、马氏距离是标准化后的变量的欧氏距离马氏距离是标准化后的变量的欧氏距离 两个总体的距离判别两个总体的距离判别 由于马氏距离与总体的协方差矩阵有关，所以利用马由

6、于马氏距离与总体的协方差矩阵有关，所以利用马 氏距离进行判别分析需要分别考虑两个总体的协方差氏距离进行判别分析需要分别考虑两个总体的协方差 矩阵是否相等矩阵是否相等. . 1.两个总体协方差矩阵相等的情况两个总体协方差矩阵相等的情况 线性判别函数线性判别函数() 设有两个总体设有两个总体G1,G2，的均值分别为，的均值分别为 , 12 协方差矩阵相等为协方差矩阵相等为考虑样品考虑样品x到两个总体的马氏距到两个总体的马氏距 离平方差：离平方差： 距离判别法距离判别法 设有设有两个协方差相同的总体两个协方差相同的总体 12 对于一个新的样品，要判定它来自哪一个总体，有一个对于一个新的样品，要判定它

7、来自哪一个总体，有一个 很直观的方法：很直观的方法： 计算计算: 12 ( ,),( ,)D x GD x G 22 1212 ( ,)( ,),Dx GDx GGG则x否则x 距离判别法距离判别法 设有设有两个协方差相同的总体两个协方差相同的总体 距离距离判别准判别准 则为则为 112 212 ( )( ) ( )( ) xGw xw x xGw xw x 若 若 其中其中 11 2222 11 1111 1 ( ) 2 1 ( ) 2 TT TT w xx w xx 两两个总体协方差矩阵相等个总体协方差矩阵相等 由于实际问题中只能得到两个样本的协方差矩阵由于实际问题中只能得到两个样本的协方

8、差矩阵S S1 1， S S2 2, ,因此当两个总体协方差矩阵相等时如何确定总体的因此当两个总体协方差矩阵相等时如何确定总体的 协方差矩阵协方差矩阵S ?S ? 2nn S)1n(S)1n( S 21 2211 其中其中n1,n2n1,n2分别为两个样本的容量分别为两个样本的容量. . 判别判别步骤步骤 1.1.计算计算A A、B B两类的均值向量与协方差阵两类的均值向量与协方差阵; ; ma=mean(A),ma=mean(A),mbmb=mean(B),S1=mean(B),S1=covcov(A),S2=(A),S2=covcov(B)(B) 2.2.计算总体的协方差矩阵计算总体的协方

9、差矩阵 2nn S)1n(S)1n( S 21 2211 其中其中n1,n2n1,n2分别为两分别为两 个样本的个样本的容量容量 3.3.计算未知样本计算未知样本x x到到A,BA,B两类马氏平方距离之差两类马氏平方距离之差 d=(x-d=(x- ma)ma)* *S-1 S-1 * * (x-ma)- (x- (x-ma)- (x-mbmb) )* *S-1S-1* * (x- (x-mbmb) 4.4.若若d0,d0,d0,则则x x属于属于B B类类 例例1 现现测得测得6 6只只ApfApf和和9 9只只AfAf蠓虫的触长蠓虫的触长, ,翅长数据翅长数据 ApfApf：(1.14,1.

10、78), (1.18,1.96), (1.20,1.86), (1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96) (1.26,2.00), (1.28,2.00), (1.30,1.96) AfAf：(1.24,1.72), (1.36,1.74), (1.38,1.64), (1.24,1.72), (1.36,1.74), (1.38,1.64), (1.38,1.82), (1.38,1.90), (1.40,1.70), (1.38,1.82), (1.38,1.90), (1.40,

11、1.70), (1.48,1.82),(1.54,1.82), (1.56,2.08)(1.48,1.82),(1.54,1.82), (1.56,2.08) 若两类蠓虫协方差矩阵相等，试判别以下的三个若两类蠓虫协方差矩阵相等，试判别以下的三个 蠓虫属于哪一类？蠓虫属于哪一类？ (1.24,1.8)(1.24,1.8)，(1.28,1.84)(1.28,1.84)，（，（1.41.4，2.042.04） apf=1.14,1.78; 1.18,1.96;1.20,1.86;1.26,2.;1.28,2;1.30,1.96; af=1.24,1.72;1.36,1.74;1.38,1.64;1.

12、38,1.82;1.38,1. 90;1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08; x= 1.24,1.8;1.28,1.84; 1.4,2.04; m1=mean(apf);m2=mean(af);s1=cov(apf);s2=cov(af); S=(5*s1+8*s2)/13; for i=1:3 D(i)=(x(i,:)-m1)*inv(S)*(x(i,:)-m1)- (x(i,:)- m2)*inv(S)*(x(i,:)-m2); end 在在MATLABMATLAB中中mahalmahal 计算计算马氏距离马氏距离平方平方 d = mahal(Y,

13、X) 输入：输入：Y是要判别的是要判别的 样本点矩阵样本点矩阵Ym n， X是已知总是已知总 体的样本矩阵体的样本矩阵Xl n 输出：输出：d是是Y的每个行向量到总体的每个行向量到总体X的马氏距离的马氏距离 的平的平 方，是一个列向量方，是一个列向量(m行行) 两两个总体协方差矩阵不相等个总体协方差矩阵不相等 注意：命令注意：命令mahal要求行数要求行数列数列数 22 112 22 221 yyy yyy GdGdG GdGdG ，如， ，如， 按照如下的判别准则： 我们可以建立MATLAB的判别法如下： 112 221 yyy yyy GmahalGmahalG GmahalGmahalG

14、 ，如， ，如， 两两个总体协方差矩阵不相等个总体协方差矩阵不相等 均未知时的判别法则均未知时的判别法则 ( )( ) , 12 和 ( )( ) ( )( )( )( ) , , 12 12 1122 1212 nn XXXXXX， ( )( ) ( )( ) 12 12 12 11 12 11 nn ii ii XXXX nn ， 记记 ( )( )( )( ) ( )( )( )( ) ()()()() 12 1122 1122 11 12 1 2 nn TT iiii ii SXXXXXXXX nn 则判别函数：则判别函数： (1)(2) 1(1)(2) ()()() 2 T XX u

15、 XXSXX 两样本的协方差阵相两样本的协方差阵相 同同 抽取n1和n2个子样: 当当0)(Xu时时,判断判断 1 XG 当当0()u X 2 XG 时时, 判断判断 Matlab-classify Class=classify(sample,training,group,type) Type参数的可能取值参数的可能取值说明说明 Linear默认状态，各组的先验分布为协方 差矩阵相同的正态分布 diaglinear一个对角阵作为协方差矩阵的估计 quadratic先验分布为p元正态分布，协方差 不相等 diagquadratic用对角阵作为协方差阵的估计 mahalanobis各组协方差不全相

16、等时的距离判别 贝叶斯判别 1.后验概率最大原则： 0 x l G则则 判判给给 。 0 0 0 ll l jj p f ( x ) P(G |x ) p f ( x ) 0 1 0 ii i k jj p f ( x ) p f ( x ) max 判别规则：若判别规则：若 贝叶斯判别 平均错判损失最小： P(j/i)表示将来自总体Gi的样品错判到总体Gj的条件概 率 C(j/i)表示相应错判所造成的损失。 1 k i ij i ECMpC( j / i)P( j / i) 贝叶斯判别 创建贝叶斯分类器：nb=NaiveBayes.fit(training,class) 分类：cpre=pr

17、edict(nb,test) 鸠尾花数据分析 安德森鸢尾花卉数据集安德森鸢尾花卉数据集（英文：Andersons Iris data set），也称鸢鸢 尾花卉数据集尾花卉数据集（英文：Iris flower data set）或费雪鸢尾花卉数据集费雪鸢尾花卉数据集 （英文：Fishers Iris data set），是一类多重变量分析的数据集。它 最初是埃德加安德森集从加拿大加斯帕半岛上的鸢尾属花朵中提取的 地理变异数据1，后由罗纳德费雪作为判别分析的一个例子，运用到 统计学中。 其数据集包含了50个样本，都属于鸢尾属下的三个亚属，分别是山鸢 尾、变色鸢尾和维吉尼亚鸢尾。四个特征被用作样本

18、的定量分析，它 们分别是花萼和花瓣的长度和宽度。 鸠尾花数据 在文件 fisheriris.mat 中。 命令：load fisheriris.mat Nb=NaiveBayes.fit(training,class) Cpre=predict(Nb,test) 待分类的样本数据 X=5.8000 2.7000 1.8000 0.7300 5.6000 3.1000 3.8000 1.8000 6.1000 2.5000 4.7000 1.1000 6.1000 2.6000 5.7000 1.9000 5.1000 3.1000 6.5000 0.6200 Matlab基本操作简介 Matl

19、ab 中的变量 31 q 变量命名原则变量命名原则 u 以以字母开头字母开头 u 后面可以跟后面可以跟 字母、数字字母、数字 和和 下划线（下划线（不能包含空格或标点符号不能包含空格或标点符号） u 长度长度不超过不超过 63 个字符个字符（6.5 版本以前为版本以前为 19 个个） u 变量名变量名 区分字母的区分字母的 大小大小 写写 q Matlab 语句的通常形式语句的通常形式 变量变量 = 表达式表达式 表达式是用运算符将有关运算量连接起来的式子，表达式是用运算符将有关运算量连接起来的式子， 其结果被赋给赋值号其结果被赋给赋值号“=”左边的变量左边的变量 q 系统预定义变量 32 M

20、atlab -变量 u pi ： 圆周率圆周率 u inf，Inf ：无穷大无穷大 u nan，NaN ：Not-a-Number，一个不定值，如，一个不定值，如 0/0 u eps ：浮点运算相对精度浮点运算相对精度 q 特殊变量特殊变量 ans u i，j ：虚部单位，即虚部单位，即 1 应尽量避免给系统预定义变量重新赋值！应尽量避免给系统预定义变量重新赋值！ q 变量的查询 33 Matlab -变量 l who 显示工作空间中的所有变量显示工作空间中的所有变量 l whos 查看工作空间中变量的详细属性查看工作空间中变量的详细属性 34 Matlab -标点符号 名称名称标点符号标点符

21、号作用作用 空格输入变量的间隔， 数组元素的分隔符 分号;命令结束，同时不 显示结果；数组元 素的行分隔符 冒号:生成一维数值数组 逗号,变量之间的间隔； 数组的分隔符 句号.小数点 注释号%该行命令不执行 续行号下行是该行的继续 q 数学运算符 35 u + 加法加法 Matlab -运算符 u - 减法减法 u * 乘法乘法 u / 和和 除法（右除和左除）除法（右除和左除） u 幂运算幂运算 q控制命令 36 u clf 清纯图形窗口清纯图形窗口 Matlab -控制命令 u clc 清除命令窗口清除命令窗口 u type 显示指定显示指定M文件的内容文件的内容 u clear 清除清除

22、Matlab工作空间中保存的变量工作空间中保存的变量 u exist/quit 退出退出Matlab程序程序 q 命令分隔符：逗号和分号 Matlab 的输出 37 q 输出格式输出格式 u Matlab 以双精度执行所有的运算，运算结果可以以双精度执行所有的运算，运算结果可以在在 屏幕上输出屏幕上输出，同时，同时赋给指定变量；赋给指定变量；若无指定变量，则系若无指定变量，则系 统会自动将结果赋给变量统会自动将结果赋给变量 “ans” u Matlab 中数的输出格式可以通过中数的输出格式可以通过 format 命令指定命令指定 format 只改变变量的输出格式，只改变变量的输出格式， 但不

23、会影响变量的值！但不会影响变量的值！ Matlab 数值运算 38 u Matlab 中的数默认是中的数默认是双精度实数双精度实数，表示方法同，表示方法同 C 语言语言 3, -9, 0.4, 1.603e-12, 3.23e+20 u 浮点运算的相对误差为浮点运算的相对误差为 eps u 浮点数表示范围为：浮点数表示范围为：10-308 10308 u 复数的输入复数的输入 l z=3+4i (4 与与 i 之间不能有空格之间不能有空格) l z=3+4*i 复数作为矩阵元素输入时，加号两边不能有空格复数作为矩阵元素输入时，加号两边不能有空格! ! 各种 format 格式 39 格式解释例

24、 format短格式（缺省显示格式），同short3.1416 format short短格式（缺省显示格式），只显示5位3.1416 format long长格式，双精度数15位，单精度数7位3.14159265358979 format short e短格式e方式（科学计数格式）3.1416e+000 format long e长格式e方式3.141592653589793e+000 format short g短格式g方式3.1416 format long g长格式g方式3.14159265358979 format compact压缩格式 format loose自由格式 forma

25、t + / format bank / format rat / format hex (详情查看联机帮助) 变量的存储 40 q 存储当前工作空间中的变量存储当前工作空间中的变量 u save 将所有变量存入文件将所有变量存入文件 matlab.mat u save mydata 将所有变量存入指定文件将所有变量存入指定文件 mydata.mat q 存储指定的变量存储指定的变量 u save mydata.mat 将所有变量存入文件将所有变量存入文件 mydata.mat save 文件名文件名 变量名列表变量名列表 例例： save mydata A x z 变量名列表中各变量之间用变量

26、名列表中各变量之间用空格空格分隔分隔 变量的读取 41 q 将数据文件中的变量载入当前工作空间将数据文件中的变量载入当前工作空间 u load mydata 载入数据文件中的所有变量载入数据文件中的所有变量 u load mydata A x 从数据文件中提取指定变量从数据文件中提取指定变量 q 清除当前工作空间中的变量清除当前工作空间中的变量 u clear 清除当前工作空间中的所有变量清除当前工作空间中的所有变量 u clear A x 清除指定的变量清除指定的变量 42 q Matlab 的命令记忆功能：的命令记忆功能：上下箭头键上下箭头键 q 命令补全功能：命令补全功能： Tab 键键

27、 可以先输入命令的前几个字符，再按上下键缩小搜索范围可以先输入命令的前几个字符，再按上下键缩小搜索范围 q 用用 Esc 键键 删除命令行删除命令行 Matlab-数据操作 43 q 定义数组：定义数组：直接输入法直接输入法 例：例： A = 1 2 3 4 5 6 q Matlab 的操作的操作对象对象 例：例： A = 1; 2; 3; 4; 5; 6; 例：例： A=2:2:10 例：例： A=2:10 q 定义数组：步长生成法定义数组：步长生成法 q 定义数组：定数线性采样法定义数组：定数线性采样法 例：例： A=linspace(a,b,n) Matlab-数据操作 44 q 定义矩

28、阵：直接输入法定义矩阵：直接输入法 l 矩阵用方括号矩阵用方括号 “ ” 括起括起 例：例： A = 1 2 3; 4 5 6; 7 8 9 l 矩阵同一行中的元素之间用矩阵同一行中的元素之间用 空格空格 或或 逗号逗号 分隔分隔 l 矩阵行与行之间用矩阵行与行之间用 分号分号 分开分开 l 直接输入法中，分号可以用直接输入法中，分号可以用 回车回车 代替代替 例：例： q Matlab 的操作对象的操作对象是是 l 矩阵元素赋值 45 q 矩阵元素可以是任何数值表达式矩阵元素可以是任何数值表达式 例：例： x=-1.3, sqrt(3), (1+2+3)*4/5 q 矩阵元素的单独赋值矩阵元

29、素的单独赋值 例：例： x(5)=abs(x(1) 例：例： x(5)=abs(x(6) ? 自动将向量自动将向量 x 的长度扩展到的长度扩展到 5， 并将未赋值部分置零。并将未赋值部分置零。 矩阵元素赋值 46 q 大矩阵可以把小矩阵作为其元素大矩阵可以把小矩阵作为其元素 例：例： A=A ; 11 12 13 在原矩阵的下方加一行在原矩阵的下方加一行 如何在原矩阵的右边添加一列？如何在原矩阵的右边添加一列？ 矩阵元素的引用 47 q 单个元素的引用单个元素的引用 例：例： A(2,3) q 多个元素的引用：冒号的特殊用法多个元素的引用：冒号的特殊用法 利用小括弧和元素所在的位置利用小括弧和

30、元素所在的位置(下标下标) x ( i ) ：向量：向量 x 中的第中的第 i 个元素个元素 A ( i, j ) ：矩阵：矩阵 A 中的第中的第 i 行，第行，第 j 列元素列元素 a:b:c产生一个由产生一个由等差序列等差序列组成的向量；组成的向量； a 是首项，是首项，b 是公是公 差，差，c 确定确定最后一项；若最后一项；若 b=1，则，则 b 可以省略。可以省略。 矩阵元素的引用 48 例：例： x(1:3) A(3,1:3) A(i:j, m:n) 表示由矩阵表示由矩阵 A 的第的第 i 到第到第 j 行和第行和第 m 到第到第 n 列交叉线上的元素组成的列交叉线上的元素组成的子矩

31、阵子矩阵。 可利用冒号提取矩阵可利用冒号提取矩阵 的整行或整列。的整行或整列。 例：例： A(1, :) A(:, 1:3) A(:, :) 4建立矩阵的函数建立矩阵的函数 常用函数有：常用函数有： eye(size(A) 产生与A矩阵同阶的单位矩阵 zeros(m,n) 产生0矩阵 ones(m,n) 产生1矩阵 rand (m,n) 产生随机元素的矩阵 Size(a) 返回包含两个元素的向量。 Length(a) 返回向量的长度。 49 常见矩阵生成函数 50 zeros(m,n)生成一个 m 行 n 列的零矩阵，m=n 时可简写为 zeros(n) ones(m,n)生成一个 m 行 n

32、 列的元素全为 1 的矩阵, m=n 时可写为 ones(n) eye(m,n)生成一个主对角线全为 1 的 m 行 n 列矩阵, m=n 时可简写为 eye(n)，即为 n 维单位矩阵 diag(X)若 X 是矩阵，则 diag(X) 为 X 的主对角线向量 若 X 是向量，diag(X) 产生以 X 为主对角线的对角矩阵 tril(A)提取一个矩阵的下三角部分 triu(A)提取一个矩阵的上三角部分 rand(m,n)产生 01 间均匀分布的随机矩阵 m=n 时简写为 rand(n) randn(m,n)产生均值为0，方差为1的标准正态分布随机矩阵 m=n 时简写为 randn(n) 其它

33、特殊矩阵生成函数：magic、hilb、pascal 矩阵运算主要操作符号表达式及其含义 操作符操作符含义含义操作符操作符含义含义 A+B矩阵相加A-B矩阵减法 A*B矩阵乘法A.*B矩阵点乘 A/B矩阵右除A./B矩阵右点除 AB矩阵左除A.B矩阵左点除 An矩阵乘方A.n矩阵元素乘方 矩阵操作函数及其功能 norm(A)向量或矩阵的范向量或矩阵的范 数数 rank(A)矩阵的秩矩阵的秩 det(A)矩阵行列式trace(A)矩阵的迹 inv(A)方阵的逆矩阵eig(A)特征值与特征向 量 size(A)矩阵的阶数cond(A)矩阵的条件数 lu(A)矩阵LU分解qr(A)矩阵QR分解 Ma

34、tlab-三维数组 53 q 使用下标创建三维数组使用下标创建三维数组 例：例： A（2,2,2）=1，B(3,4,：)=2:5 例：例： A=1 2 3;4 5 6;7 8 9 D=(:,:,1)=A, D=(:,:,2)=2*A D=(:,:,3)=3*A q 使用低维数组创建三维数组使用低维数组创建三维数组 Matlab帮助系统 54 q 联机帮助联机帮助 l help 显示指定命令的简短使用说明显示指定命令的简短使用说明 例：例： help eig help help q 详细使用帮助详细使用帮助 l doc 以网页形式以网页形式显示指定命令的帮助页显示指定命令的帮助页 例：例： do

35、c eig Matlab 查找命令 55 l lookfor 按指定的关键词查询与之相关的命令按指定的关键词查询与之相关的命令 例：例： lookfor inverse l which 显示指定函数所在的目录显示指定函数所在的目录 例：例： which eig Matlab基本统计分析简介 生成随机数 rand: 生成一个0,1区间上均匀分布的随机数 rand(m,n): 生成阶数为m,n的随机数矩阵 rand(n): 生成阶数为n,n的随机数矩阵 rand(size(A) ？ 生成随机数 Example: x=rand(20); y=x(:); hist(y); xlabel(0,1上的均匀

36、分布 随机数); ylabel(频数) 生成随机数 randn: 生成标准正态分布的随机数 randn(m,n): 生成阶数为m,n的随机数矩阵 randn(n): 生成阶数为n,n的随机数矩阵 randn(size(A) ？ 生成随机数 Example: x=randn(20); y=x(:); hist(y); xlabel(标准正态分布的随 机数); ylabel(频数) 常用分布的随机数-常用rnd结尾 binornd(n,p): 二项分布的随机数 chi2rnd(m): 生成卡方分布的随机数 exprnd(mu): 生成指数分布的随机数 frnd(m,n): 生成F分布的随机数 常用分布的随机数-常用rnd结尾 normrnd(mu,sigma): 正态分布的随机数 poissrnd(lambda): 生成泊松分布的随机数 trnd(v): 生成T分布的随机数 randsample(n,k,replace): 从有限总体中随机抽样