第一章3-矩阵.ppt

1、高级生物统计学,第一章 预备知识,第二章 T平方测验与多元方差分析,第三章 主成分分析,第四章 因子分析,第五章 典型相关分析,第六章 多元回归分析,第七章 通径分析,第八章 多元相关分析,第九章 聚类分析,第十章 判别分析,本课程采用区靖祥、邱健德合编的多元数据的统计分析方法一书作为课本。全程为60学时，占2.5学分。,第一章 预备知识Chapter I Elementary Knowledge,第二节 线性代数学预备知识,第一节 简单统计学预备知识,第三节 统计软件DT的使用说明,第二节 线性代数学预备知识Knowledge of Linear Algebra,矩阵运算,一些基本矩阵的定义

2、,矩阵的初等变换和矩阵的秩,逆阵,正交矩阵,方阵的行列式,线性方程的解,特征根和特征向量,统计中常用的矩阵,一些基本矩阵的定义Some Elementary Matrixes,向量,矩阵,转置阵,零矩阵,方阵,对称阵,三角矩阵,对角阵,单位阵,一些基本矩阵的定义 Some Elementary Matrixes,矩阵(matrix): n 行 m 列数据的矩形列阵称为 n m 维矩阵。,矩阵常用大写粗体英文字母表示，下标 i 表示行号， j 表示列号，小写aij、bij表示矩阵,第 i 行第 j 列的元素。例如：,两矩阵维数相等并所有对应元素都相等记为。,一些基本矩阵的定义 Some Elem

3、entary Matrixes,向量常用小写粗体英文字母a, b表示。例如：,a,a,b,b,n 维列向量,2维列向量,m 维行向量,3维行向量,向量(vector): n 1维矩阵称为 n 维列向量； m 维矩阵称为 m 维行向量。,一些基本矩阵的定义 Some Elementary Matrixes,向量常用小写黑体英文字母a, b表示。,向量又称为矢量，它既有方向，也有长度。,一个 n 维向量是在一个由 n 个相互垂直的坐标轴构成的 n 维欧氏空间中的一条有向线段。,通常把全部元素都是1的向量记为为。,向量(vector): n 1维矩阵称为 n 维列向量； m 维矩阵称为 m 维行向量

4、。,一些基本矩阵的定义 Some Elementary Matrixes,向量的长度等于所有元素的平 方之和的平方根值。向量的长 度称为模，记为 。例如：,一些基本矩阵的定义 Some Elementary Matrixes,长度为的向量称为单位向量。 是一个单位向量。因为：,向量的长度等于所有元素的平 方之和的平方根值。向量的长 度称为模，记为 。例如：,一些基本矩阵的定义 Some Elementary Matrixes,可以将一个普通向量的各个元素除以这个向量的模求得与该向量对应的单位向量。例如，已知向量 a = (1, 3, 2)的模为 相应的单位向量为：,长度为的向量称为单位向量。

5、是一个单位向量。因为：,其中 a 为行向量，b 为列向量。,一些基本矩阵的定义 Some Elementary Matrixes,常用两个维数相同的向量之间的夹角( )的余弦来衡量两个变量的关系。,夹角余弦的定义为：,图中，a = 2, 3, 5，b = 3, 2, 4,一些基本矩阵的定义 Some Elementary Matrixes,两个向量正交的充分必要条件 是它们的乘积为0。,向量乘法将在后面讨论。,当两个向量的夹角余弦为0时， 称两向量正交(orthogonal)或 垂直。这时夹角 等于90度。,其中 a 为行向量，b 为列向量。,常用两个维数相同的向量之间的夹角( )的余弦来衡量

6、两个变量的关系。,夹角余弦的定义为：,一些基本矩阵的定义 Some Elementary Matrixes,将一个矩阵的行与列的位置对调，所得到的矩阵称为原矩阵的转置阵。当A为B的转置阵，记BA。,例如：,所有元素的值都是的矩阵称为矩阵，记为 0。,一些基本矩阵的定义 Some Elementary Matrixes,如果矩阵的行数和列数相等，即 n = m，则称这个 矩阵为方阵。,如果一个矩阵的行数和列数都等于 n，即称它为 n阶方阵。,方阵(例如A)主对角线(指从左上角到右下角的对角 线)上所有元素之和称为这个方阵的迹(trace)。记为 tr(A）。,对于 n 阶方阵A，tr(A） 。,

7、一些基本矩阵的定义 Some Elementary Matrixes,如果在一个矩阵中主对角线以下所有元素都是，称这矩阵为上三角阵(upper triangular matrix)；,如果在一个矩阵中主对角线以上所有元素都是，称这矩阵为下三角阵(lower triangular matrix)；,上三角阵和下三角阵统称三角矩阵(triangular matrix)。,如果一个矩阵与它的转置阵相等，即AA，则称这个矩阵为对称阵(symmetric matrix)。,一些基本矩阵的定义 Some Elementary Matrixes,如果一个方阵中，除了主对角线上的元素外，其余所有元素都是，则称

8、这个矩阵为对角阵(diagonal matrix)。,主对角线上的元素可以是，也可以不是。,对角阵必定是对称阵。,一些基本矩阵的定义 Some Elementary Matrixes,如果一个方阵中，主对角线上的元素都是，其余所有元素都是，则称这个矩阵为单位阵 (identity matrix)。即,I =,单位矩阵在矩阵运算中的作用有点象初等数学中的 1。即有关系：AI ，IA A。,矩阵乘法将在后面讨论。,矩阵的运算Matrix Operations,如果两个矩阵(例如A和B)的维数相等，可以将它 们所有的对应元素相加，所得的新矩阵(C)称为两 个原矩阵的和，记为 C = A + B。,按

9、矩阵加法，如果A ， B,则 CAB,维数不等的矩阵不能相加。,例如，如果A ，B,则 CAB ,则 C A B,如果两个矩阵(例如 A 和 B)的维数相等，可以将它 们所有的对应元素相减，所得的新矩阵(C)称为两 个原矩阵的差，记为C = A B。,按矩阵减法，如果 A ，B,维数不等的矩阵不能相减。,例如，如果 A ，B,则 C A B ,矩阵的运算 Matrix Operations,a A,如果用一个数字 a 乘一个矩阵中的所有元素，称为 矩阵与数字相乘。那么，有关系：,例如，如果 a =3，A 那么，,a A ,矩阵的运算 Matrix Operations,例如，如果 b = 2，

10、A 那么，,当要用一个矩阵中的所有元素除以一个数字 b, 可 记 a = 1 / b，然后用矩阵与数字相乘的方法处理它。,a A ,矩阵的运算 Matrix Operations, ,如果一个矩阵(A)的列数等于另一个矩阵(B)的行 数，可以将这两个矩阵相乘得到一个新的矩阵(C)， 记为C A B AB。新矩阵(C)的行数将等于 第一个矩阵(A)的行数，新矩阵的列数将等于第二 矩阵(B)的列数。其中各元素的值将由下面的公式 算得，即，,如果A ， B,则CA B,矩阵的运算 Matrix Operations,那么，CA BA B,例如，如果A ，B,矩阵的运算 Matrix Operatio

11、ns,如果A ， B,则CA B,如果 A ，B,则CA B,如果前面矩阵的列数与后面矩阵的行数不相等，称 这两个矩阵的维数不匹配，不能相乘。,如果矩阵 A 在前，B 在后，称矩阵 A 前乘矩阵 B， 或称矩阵 B 后乘矩阵A，记为A B或 A B。,如果A、B是维数相等的方阵，它们既可以前乘， 也可以后称，但通常，A B B A。(除非A、B 都是对称阵，并且A = B。),矩阵的运算 Matrix Operations,矩阵代数的运算法则：,交换率：,矩阵加法有交换率：即 A + B = B + A,矩阵的运算 Matrix Operations,矩阵代数的运算法则：,交换率：,矩阵与数字

12、相乘有交换率：c A = A c,其中 c 是数字。,矩阵的运算 Matrix Operations,矩阵加法有交换率：即 A + B = B + A,矩阵代数的运算法则：,交换率：,矩阵加法有交换率：即 +=+,矩阵乘法没有交换率：即 A B B A, ,与 不能相乘。,矩阵的运算 Matrix Operations,矩阵与数字相乘有交换率：c A = A c,矩阵代数的运算法则：,结合率：,矩阵加法有结合率：即 (A + B) + C= A + ( B + C),矩阵的运算 Matrix Operations,矩阵代数的运算法则：,结合率：,矩阵加法有结合率：即 (A + B ) + C

13、= A + ( B + C),数字与矩阵相乘有结合率：即 ( ab )= a ( b),矩阵的运算 Matrix Operations,矩阵代数的运算法则：,结合率：,矩阵加法有结合率：即 (+)+=+(+),矩阵的运算 Matrix Operations,数字与矩阵相乘有结合率：即 ( ab )= a ( b),矩阵代数的运算法则：,结合率：,矩阵加法有结合率：即 (+)+=+(+),数字与矩阵相乘有结合率：即 ( )= ( ),矩阵的运算 Matrix Operations,矩阵代数的运算法则：,分配率：,数乘有分配率：即 ( + )= + ,或 (+)= + ,矩阵的运算 Matrix

14、Operations,矩阵代数的运算法则：,分配率：,数乘有分配率：即 ( + )= + ,或 (+)= + ,矩阵的运算 Matrix Operations,尤其要注意前乘与后乘的区别！,矩阵代数的运算法则：,分配率：,矩阵乘法有分配率：即(+)=+,或(+)=+,单个矩阵前乘两个矩阵之和时：,矩阵的运算 Matrix Operations,矩阵代数的运算法则：,分配率：,矩阵乘法有分配率：即(+)=+,或(+)=+,尤其要注意前乘与后乘的区别！,单个矩阵后乘两个矩阵之和时：,矩阵的运算 Matrix Operations,矩阵代数的运算法则：,矩阵转置规则：,() =,矩阵的运算 Matr

15、ix Operations,矩阵代数的运算法则：,矩阵转置规则：,(+) =+,() =,矩阵的运算 Matrix Operations,矩阵代数的运算法则：,矩阵转置规则：,(+) =+,() =,() = (注意：前乘变后乘！),矩阵的运算 Matrix Operations,矩阵的初等变换和秩Matrix Transformation & Rank,矩阵经过下述三种运算之一称为经过一次初等变换。,交换矩阵中两行（或两列）的位置；,把矩阵某行（或某列）乘以一个常数后加到另一行 （或另一列）上。,用一个非零常数乘矩阵的某行（或某列）；,矩阵经过一系列初等变换后变成，就称和 为等价矩阵，记为。

16、,一个普通矩阵总可以经过一系列初等变换变成一个 对角矩阵。线性代数已经证明，与一个矩阵等价的 对角矩阵中非零元素的个数是固定不变的，其数目 与所施加的初等变换的方式和顺序无关。,矩阵的初等变换和秩 Matrix Transformation & Rank,一个普通矩阵总可以经过一系列初等变换变成一个 对角矩阵。线性代数已经证明，与一个矩阵等价的 对角矩阵中非零元素的个数是固定不变的，其数目 与所施加的初等变换的方式和顺序无关。,与矩阵等价的对角矩阵非零元素的个数叫做矩阵的 秩(rank)。矩阵的秩记为()。,矩阵的初等变换和秩 Matrix Transformation & Rank,与矩阵等

17、价的对角矩阵非零元素的个数叫做矩阵的 秩(rank)。矩阵的秩记为()。,经一系列初等变换来求一个矩阵的秩的例子：,设有矩阵=,矩阵的初等变换和秩 Matrix Transformation & Rank,矩阵的初等变换和秩 Matrix Transformation & Rank,矩阵的初等变换和秩 Matrix Transformation & Rank,经过一系列初等变换矩阵变成了一个对角阵：,因此求得矩阵的秩为2，即 ()=2。,任何矩阵的秩必定小于或等于矩阵行数和列数中的 较小值，即 () Min(行数，列数)。,若一个方阵的秩等于它的阶数，称这个矩阵为满秩 矩阵(full rank

18、)。,不满秩矩阵又称为奇异矩阵(singular matrix)。,逆阵Inverse,若方阵与方阵的乘积为单位矩阵,即, 则称矩阵为矩阵的逆阵，记为-1，或称 为的逆阵，记为-1 。,只有满秩方阵才可以求逆。,有许多方法可以求一个可逆方阵的逆阵。这里介绍 一种通过对可逆方阵的各行进行初等变换来求逆的 方法。,逆阵在矩阵运算中的作用有点象初等数学中的倒数, 即有关系：-1，-1。,逆阵 Inverse,设有矩阵=,通过初等变换求逆的例子：,通过初等变换求逆的例子：,将与一个同阶的单位阵并联构成一个增广矩阵：,对增广矩阵的行进行初等变换直到左半部为单位矩 阵，这时右半部便是的逆阵-1 ：,逆阵

19、Inverse,逆阵 Inverse,现在增广矩阵左半部已经是单位矩阵，于是已知方 阵的逆阵为：,逆阵 Inverse,现在增广矩阵左半部已经是单位矩阵，于是已知方 阵的逆阵为：,-1,可以验证-1 ：,若把正交矩阵的各行(或列)看作向量，那么这些 向量的模必定为1，不同行(或列)向量的乘积必定 为0。即它们都是彼此垂直的单位向量。具有这种 性质的向量组称为正规化单位向量集(orthonormal set)。,正交矩阵Orthogonal Matrix,如果方阵的转置阵刚好等于它的逆阵，即 -1，则称矩阵是个正交矩阵。,对于正交矩阵，具有性质：。,正交矩阵 Orthogonal Matrix,

20、正交矩阵的例子：, ,方阵的行列式Determinant,阶方阵行列式的计算公式为：,方阵中所有各种不同行、不同列元素乘积的代数和 称为该方阵的行列式，记为 ()或|。,其中 为1，2, 的一个排列， 为排 列 里的逆序的个数。,方阵的行列式 Determinant,其中 为1，2, 的一个排列， 为排 列 里的逆序的个数。,(1,2)有2个排列(12，21),顺序为“+”,逆序为“-”。,二阶方阵 行列式的计算公式为：,方阵的行列式 Determinant,其中 为1，2, 的一个排列， 为排 列 里的逆序的个数。,(1,2,3)有6个排列，第1个：,与主对角线平行为“+”,三阶方阵 行列式

21、的计算公式为：,(1,2)为“+” (1,3)为“+” (2,3)为“+”,方阵的行列式 Determinant,其中 为1，2, 的一个排列， 为排 列 里的逆序的个数。,(1,2,3)有6个排列，第 个：,与主对角线平行为“+”,三阶方阵 行列式的计算公式为：,(2,3)为“+” (2,1)为“-” (3,1)为“-”,2,方阵的行列式 Determinant,其中 为1，2, 的一个排列， 为排 列 里的逆序的个数。,与主对角线平行为“+”,三阶方阵 行列式的计算公式为：,(3,1)为“-” (3,2)为“-” (1,2)为“+”,(1,2,3)有6个排列，第 个：,3,方阵的行列式 D

22、eterminant,其中 为1，2, 的一个排列， 为排 列 里的逆序的个数。,与主对角线交叉为“-”,三阶方阵 行列式的计算公式为：,(3,2)为“-” (3,1)为“-” (2,1)为“-”,(1,2,3)有6个排列，第 个：,4,方阵的行列式 Determinant,其中 为1，2, 的一个排列， 为排 列 里的逆序的个数。,与主对角线交叉为“-”,三阶方阵 行列式的计算公式为：,(2,1)为“-” (2,3)为“+” (1,3)为“+”,(1,2,3)有6个排列，第 个：,5,方阵的行列式 Determinant,其中 为1，2, 的一个排列， 为排 列 里的逆序的个数。,与主对角线

23、交叉为“-”,三阶方阵 行列式的计算公式为：,(1,3)为“+” (1,2)为“+” (3,2)为“-”,(1,2,3)有6个排列，第 个：,6,方阵的行列式 Determinant,矩阵行列式的性质；,满秩矩阵的行列式不为0；奇异矩阵的行列式值为0；,两矩阵乘积的行列式值的乘积等于行列式值的乘积。,矩阵行列式值等于它的转置阵的行列式值；,交换两行(或两列)的位置，行列式值不改变；,若有一行(或列)的全部元素为0，行列式值为0；,若有两行(或两列)的对应元素相同，行列式值为0；,若两行(或两列)的对应元素成比例，行列式值为0；,用一个非零常数 乘上某一行(或一列)后再加到另 一行(或一列)，行

24、列式值不变。,用非零常数 乘某行(或列)，行列式值增成 倍；,三角矩阵和对角矩阵的行列式值等于主对角线元素 的乘积。,方阵的行列式 Determinant,常利用这些性质将矩阵化为三角阵或对角阵，再将 主对角线上的元素相乘来求得行列式值。,两个求行列式值的例子：,方阵的行列式 Determinant,线性方程的解Linear Equations,条关于 个未知数 的方程联立为一组，并且所 有 都只有一次方时，称这组方程为线性方程组。,下面讨论判别线性方程组的解的规则。,线性方程的解 Linear Equations,下面讨论判别线性方程组的解的规则。,将矩阵和向量并联为增广矩阵()，求出 ()

25、和 ()，比较它们的大小：,若 () ()，方程无解；,若 ()= ()，方程有解；,若 ()= ()= ，方程有唯一解；,若 ()= () ，方程有无穷组解。,特别地，当 且矩阵可逆时，可用-1 前乘 方程的两边来求得方程的解。即,-1-1,-1,线性方程的解 Linear Equations,线性方程的解 Linear Equations,因为矩阵的逆阵为：,-1 ,-1,线性方程的解 Linear Equations,特别地，当向量为时，称为齐次线性方程组。,齐次线性方程组起码有一组零解，即。,但当方程组中的的行列式值为时， 方程会有无穷组非零解。,线性方程的解 Linear Equat

26、ions,|12-1 20,线性方程的解 Linear Equations,都是方程组的解。,特征根和特征向量Eigenvalue & Eigenvectors,下面举例说明一种最基本的方法。,对于 阶方阵，若存在一个常数值 和一个 维 向量，能使得= ，则称 (- )为 的特征多项式， (- )= 0 为的特征方程， 方程的解 称为矩阵的一个特征根，为矩阵 对应于 的特征向量。,对于 阶实数对称方阵，可以求得 个实数特征 根(其中可能有重根或)，对于每一个特征根可以 求得无穷多个特征向量，统计中常使用其中的正规 化(orthonormal)向量。,有若干方法可以求解特征根和特征向量。,特征根

27、和特征向量 Eigenvalue & Eigenvectors,对于 阶方阵，若存在一个常数值 和一个 维 向量，能使得= ，则称 (- )为 的特征多项式， (- )= 0 为的特征方程， 方程的解 称为矩阵的一个特征根，为矩阵 对应于 的特征向量。,( - )=,( - )=,=,特征根和特征向量 Eigenvalue & Eigenvectors,特征根和特征向量 Eigenvalue & Eigenvectors,3,求对应于的特征向量：因为= ，,记= ，,特征根和特征向量 Eigenvalue & Eigenvectors,是个|=的齐次线性方程组。,因为 ，所以 所 对应的正规化

28、向量为：,特征根和特征向量 Eigenvalue & Eigenvectors,是个|=的齐次线性方程组。,-1,记= ，,再求对应于的特征向量：因为= ，,因为 ,所以 所 对应的正规化向量为：,特征根和特征向量 Eigenvalue & Eigenvectors,对应于的正规化特征向量为：,对应于的正规化特征向量为：,可以验证有关特征根和特征向量的三点性质：,特征根之和等于原矩阵的迹：,tr(),特征根和特征向量 Eigenvalue & Eigenvectors,对应于的正规化特征向量为：,对应于的正规化特征向量为：,可以验证有关特征根和特征向量的三点性质：,特征向量构成的矩阵是正交矩阵：,特征根和