人工智能导论人工智能导论 (一)

数学基础笔记(VI)

你不是一个人在战斗!

最后修改:2018-04-19

目录

机器学习的数学基础...........................................................1

高等数学..................................................................1

线性代数.................................................................9

概率论和数理统计........................................................19

机器学习的数学基础

机器学习的数学基础

高等数学

1.导数定义：

导数和微分的概念

f(%0)=lim(1)

z

或者：/(x0)=lim/⑶一“加(2)

X-^XQX-XQ

2.左右导数导数的几何意义和物理意义

函数/1)在%。处的左、右导数分别定义为：

/(xo+4x)_/(%o)°\(x-x+^)

左导如/,-(珀=,图.=lim0

AxX-^XQX-XQ

f(%o+dx)_/(%o)/(%)-/(配)

右导数：f(%0)=lim=lim

+4X-0+AxX-XQ

3.函数的可导性与连续性之间的关系

Thl:函数/(%)在出处可微=/(x)在与处可导。

Th2:若函数在点&处可导，则y=/(x)在点“。处连续，反之则不成立.即函数连续不一定可

导。

Th3:，(xo)存在of_(x0)=r+(%o)

4.平面曲线的切线和法线

切线方程：y-y0=f'(XQ)(x-x0)

法线方程：

”(Xo)

5.四则运算法则

1

机器学习的数学基础

(16)y=chx则：y'=shxd(chx)=shxdx

7.复合函数，反函数，隐函数以及参数方程所确定的函数的微分法

(1)反函数的运算法则：设y=/(x)在点％的某邻域内单调连续，在点x处可导且尸(外中

0,则其反函数在点x所对应的y处可导，并且有?=$

me।,

dy

(2)复合函数的运算法则:若〃=0(%)在点％可导,而y=/(〃)在对应点=w(x))可导，则

复合函数y=/"(%))在点％可导,且y'=/'(〃)♦"(%)

(3)隐函数导数?的求法一般有三种方法：

dx

1)方程两边对％求导，要记住y是％的函数，则y的函数是％的复合函数.例如;，Iny,e，

等均是x的复合函数.对、求导应按复合函数连锁法则做,

2)公式法.由Rx,y)=0知?=一苦其中，尸［。/)，心。,刃分别表示"(匕、)对

axr9y\^»y)

X和y的偏导数。

3)利用微分形式不变性

8.常用高阶导数公式

(1)(谟)⑺=ax\nna(a>0)(ex)(n)=ex

(2)(sin/cx)(n)=knsin(kx+H-^)

(3)(cos/cx)(")=kncos\kx4-n-^)

(4)(xm)3)=m(m-1)…(m—九+l)xm-n

(5)(lnx)<n)=(-l)(n-1)^^

(6)莱布尼兹公式：若〃(x)»(x)均n阶可导，则：Qw)(n)=£koch(iH(n-i),其中

〃(o)=u,=v

9.微分中值定理，泰勒公式

3

机器学习的数学基础

Thl:(费马定理)

若函数满足条件：

(1)函数/(%)在与的某邻域内有定义，并且在此邻域内恒有/(%)工/(&)或/(%)N/(沏),

(2)/(%)在沏处可导,则有r(&)=0

Th2:(罗尔定理)

设函数/(%)满足条件：

(I)在闭区间［a,b］上连续；(2)在(a,匕)内可导；(3)/(a)=f(b)

则在(a,b)内m一个f,使尸(f)=0

Th3:(拉格朗口中值定理)

设函数/"(%)满足条件：

(1)在［a,〃上连续；(2)在(a,b)内可导；

则在(Q,b)内存在一个f,使弋寸⑷=((f)

0—a

Th4:(柯西中值定理)

设函数/(%),g(x)满足条件:

(1)在阿b］上连续：(2)在(a,b)内可导且/''(%),g'(x)均存在，且g'Q)HO

则在(a,b)内存在一个「使

g(b)-g(Q)一两

10.洛必达法则

法则I《型不定式极限)

设函数八"),g(x)满足条件:lim/(x)=0,limg(%)=0;f(x),g(x)在/的邻域内可导

x->x

0x->x0

(在出处可除外)且g'(x)/0;

4

机器学习的数学基础

㈣籍存在（或⑹。

则：妈怒=色籍

法则I，《型不定式极限）

设函数f(x),0(k)满足条件；lim/(x)=0,limg(x)=。;存在一个X>0,当|x|>X

XT8

时"⑺屈公可导，旦如），。妈怒存在（或8）。

则：lim某=lim噜

x->x0S(x)X-^XQ9'(.X)

法则n（?型不定式极限）

设函数/a),g(x)满足条件：limf(x)=oo,limg(x)=oo；/(x),g(x)在&的邻域内可

XT"。Q

导（在右处可除外）月*0;lim军存在（或8）。

x-»x0g人x）

则：如怨=风箭・

同理法则喏型不定式极限）仿法则「可写出

11.泰勒公式

设函数/■（%）在点事处的某邻域内具有n+1阶导数，则对该邻域内异于与的任意点X，在&

与工之间至少存在一个f，使得:

n

f(x)=/(Xo)+f(x0)(x-x0)+打”(%o)(x-&)2+…+(X-%o)+Rn(x)

n

其中RnW=――华（%-％o）+i称为f（x）在点%o处的九价泰勒余项。

令&=0,贝心阶泰勒公式:

fw=/(o)+r(o)x+|r(o)x2+…+粤肝+RnM

“+】)⑹

⑴其中RnM=%九+1,9在0与％之间。（1）式称为麦克劳林公式

⑦十1)!

5

机器学习的数学基础

常用五种函数在&=0处的泰勒公式：

I)e'=l+%+#+…+—xn

n!5+1)!

或=l+x+12+...+如n+0(%n)

c\•13..xn.nnxn+1.(r,71+1\

2)sinx=x--xdH-----F--sin——+,-——-sin(<+——n)

3!n!2(n+1)!2/

t13।,xn.nn.zx

或=x——x6+•••H—sin----ho(xnn)

3!n\2k7

n+l

112I.xnnIx

cos%=1——xz4-----1——cos——Fcos(f+等兀)

3)2!n!2(n+1)!

或=1//+…+3os半+0(”)

ln(l+%)=%-1x2

4)+/--+(-l)-+(n+1)(1+^n+1

或=x_1x2+|x3-------F(—l)n-1亍+o(xn)

5)(1+%严=1+皿+吗+…+如二*^”

7n(7n-l)-(m-n+l)n+lm-n-l

4-v(1+9

(n+1)!

或(1+%)m=1+mx+^12/+…+皿*1)广〃+1)/+o(xn)

12.函数单调性的判断

Thl:设函数f。)在(a,b)区间内可导,如果对Vx€(a,b),都有/'(无)>0(或/•'(不)<

0),则函数/(均在(a,8)内是单调增加的(或单调减少)。

Th2:(取极值的必要条件)设函数/(均在右处可导，且在右处取极值，则/(%)=0.

Th3:(取极值的第一充分条件)设函数f(x)在右的某一邻域内可微，且/'Qo)=0(或

/(%)在右处连续，但广(与)不存在.)。

(1)若当%经过&时,/'(%)由“+”变，则/(3)为极大值;

(2)若当“经过与时，f'a)由”变“+”，则〃物)为极小值;

6

机器学习的数学基础

(3)若/■'(%)经过x=a的两侧不变号，贝叶(右)不是极值，

Th4:(取极值的第二充分条件)设f(x)在点&处有尸且/'(%)=0,则：

当r'(q)<0时，/(a)为极大值；当r'(Xo)>O时，/(&)为极小值.注：如果

尸'(%0)0,此方法失效。

13.渐近线的求法

(1)水平渐近线

若lim/(%)=或lim/(x)=b,则y=称为函数y=f(x)的水平渐近线。

X->+OOb,4T-8b

(2)铅直渐近线

若lim_f(》)=g,或lim/(Y)=oo,则工=工。称为y=f(rv)的铅直渐近线。

X-^XQ

(3)斜渐近线若Q=lim畋，b=lim[/(x)-ax],则y=ax+b称为y=f(%)的斜渐

X-»8XX-»0O

近线。

14.函数凹凸性的判断

Thl:(凹凸性的判别定理)若在I上f〃(x)<0(或尸(幻>0),则f(x)在I上是凸的

(或凹的)。

Th2:(拐点的判别定理1)若在々处/'〃(%)=0，(或/"(乃不存在)，当X变动经过与时，

/〃Q)变号,则(&,/(&))为拐点。

Th3:(拐点的判别定理2)设/'(%)在%°点的某邻域内有三阶导数，且尸(%)=0,/〃'(%)工

0，则(%o，/(%o))为拐点。

15.弧微分

dS=y/1+y'2dx

16.曲率

曲线y=/(%)在点(％y)处的曲率k=(]+等/2.对于参数方程：

7

机器学习的数学基础

(%=@(£),_即，©"〃⑷-0〃(t)3«)|

Iy-W(t)'"⑴+“2(03/2

17.曲率半径

曲线在点M处的曲率工0)与曲线在点M处的曲率半径p有如下关系：p=：

K

8

机器学习的数学基础

线性代数

行列式

1.行列式按行(列)展开定理

(1)设A=(ai/)nx，则：aiM/i+aAj+-+aA=

ni22injnO,i*j

\A\,i=j

或+aA+-+aA=

2i2Jninj0，W

41“12“In

力42242n

即AA9=A^A=|川瓦其中：A4=21=(4。=(4j)7

力M24nn，

11...1

X1

Dn=血-/==n】$«is(4一芍)

・・••••••••••

n-ln-1n-l

人v1八Y2•••人v

(2)设48为n阶方阵，=\A\\B\=\B\\A\=\BA\,但|4±B|=|川土山|不一定成

立。

⑶化川二k”|川,A为〃阶方阵。

(4)设4为九阶方阵，|4丁|二|川；|力-“=|川t(若力可逆)，|A*|=|川叱1

n>2

(5)A,4B为方阵，但

521=12汩CD1

°Amxm

Bnxn°

11...1

⑹范德蒙行列式4=与不…马==ni/is8-勺)

・・・・・・・・・・・・

n-1n-1n—1

4Y[4v2•••人v

设4是n阶方阵,%(i=1,2…,n)是4的n个特征值,则⑶=n%A

9

机器学习的数学基础

矩阵

«11a12…

矩阵：个数均排成加行九列的表格°21022…02rl称为矩阵，简记为小

Q?nlQ?n2…^mn-

或者(4j)mxn。若m="，则称4是n阶矩阵或n阶方阵。

矩阵的线性运算

1.矩阵的加法

设4=Qj),B=(%)是两个mxn矩阵，则mxn矩阵C=(%)=+如称为矩阵A与8

的和，记为A+8=C。

2.矩阵的数乘

设力=(4力是mxn矩阵，k是一个常数，则矩阵(M))称为数k与矩阵4的数乘，记

为kA。

3.矩阵的乘法

设4=(q/)是THx71矩阵，B=(瓦))是九xS矩阵，那么mxS矩阵C=(%),其中々=

。门瓦j+ai2^2j+--卜ain^nj=£2=1。枚%/称为48的乘积,记为。=AB。

4.AT.A-\4*三者之间的关系

(1)(")7=A,(48)7=BTAT,(kA)T=kA1',(A±F)T=AT+BT

(2)(力-1)-1=A,(AB)-1=(kA)-1=J/T】，

K

但Q4±B)-】=A-1±BT不一定成立。

(3)W)*=\A\n-2A(n>3),G4B)*=B'/T,(M)*=k^A*(n>2)

但(4±B)*=/T土配不一定成立。

(4)(4-1)7=(*)一1,(4T)*=(力力*)-1,(4")7=(")*

10

机器学习的数学基础

5.有关4*的结论

(1)A4*=A*A=\A\E

X

(2)\A\=①「一1(九>2),(。)*=M-%*,(4*)*=⑷n-2力(/>3)

(3)若月可逆，则4=|川力-1,(力)

Ml

(4)若4为n阶方阵，则:

n,r(/4)=n

1,r(?l)=n-1

(0,r(/l)<n-1

6.有关4T的结论

力可=氏o|川W0；=r(A)=n;

Q/l可以表示为初等矩阵的乘积；04无零特征值；QAx=0只有零解。

7.有关矩阵秩的结论

(1)秩r(A尸行秩二列秩;

(2)r(Amxn)<min(m,n);

(3)A*0=>r(/l)>1；

(4)r(A±B)<r(A)+r(B);

(5)初等变换不改变矩阵的秩

(6)r(4)+r(B)-n<r(AB)<min(r(A),r(8)),特别若AB=0

则：r(/l)+r(F)<n

(7)若/t存在=r(718)=r(B);若存在=r(AB)=r(4);

若r(4mxn)=〃=r(AB)=丁(B);若r(4mxs)=几=r(4B)=r(A)o

(8)r(/lwxs)=n<=>Ax=0只有零解

11

机器学习的数学基础

8.分块求逆公式

-1-11

M。「=M0\(AL\=/A--A-iCB-i

I。B)V0B-1)\0-V0L

1

A-。\

)

1

8一/

这里4B均为可逆方阵。

向量

1.有关向量组的线性表示

(1)的,戊2,…,出线性相关=至少有一个向量可以用其余向量线性表示。

(2)。2,…，%线性无关，…，%，0线性相关00可以山…，为唯一线性表

不。

(3)6可以由%,02,…,为线性表示0r(。1，戈2,…,%)=丁(%,。2,…,%，0)。

2.有关向量组的线性相关性

(1)部分相关，整体相关；整体无关，部分无关.

(2)①71个n维向量仁1，电…曲线性无关O|%。2…即］lH0,九个九维向量。1，。2…0n线

性相关O|口1，。2,…,=。。

②71+1个九维向量线性相关。

③若小,02…的线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分

量后仍线性相关。

3.有关向量组的线性表示

(1)即〃2,…,出线性相关=至少有一个向量可以用其余向量线性表示。

(2)的,戊2,…,出线性无关，夕线性相关Q0可以由%,。2,…,应唯一线性表

zKo

(3)(可以由…,为线性表示Q厂(即,。2,…，％)=/(。1，。2,…，％/)

12

机器学习的数学基础

4.向量组的秩与矩阵的秩之间的关系

设r(4mxn)=r，则力的秩r(4)与力的行列向量组的线性相关性关系为:

(1)若r(力mxrj)=r=m,则力的行向量组线性无关。

⑵若r(4nxn)=r<m,则力的行向量组线性相关。

⑶若r(4mx〃)=r=n,则4的列向量组线性无关。

(4)若丁(4nxn)=/<九，则4的列向量组线性相关。

5.n维向量空间的基变换公式及过渡矩阵

若的,©，…,即与仇邛2，一,，&是向量空间V的两组基，则基变换公式为:

c

邛”。2,…,Bn)=…，%i)=(alfa2,-,an)

其中C是可逆矩阵，称为曰基斯,。2,…，即到基01,02,…，瓦的过渡矩阵。

6.坐标变换公式

若向量y在基仁1，a2,…,即与某61.02,…，6n的坐标分别是X=…,3n)T，

Y=…，%1),即：Y=+x2a2+-+xnan=+y2p2+-+ynpn,则向

量坐标变换公式为X=。或K=C^X,其中C是从基%,如，•••，时到基01,02,…，区的过

渡矩阵。

7.向量的内积

(«,/?)=。速1+a2b2十…十anbn==0,a

8.Schmidt正交化

若劭,电，…,有线性无关，则可构造供,M…，区使其两两正交，且氏仅是的,%%•的线性

组合(i=1,2,…,n),再把我单位化，记匕=卷，则力,於，…，匕是规范正交向量组。其中

IPil

(。四)(。册)

仇=的，的=戊2-缺片'”3=03-33202»

(鱼岛)A-(02,。2)

13

机器学习的数学基础

…Q(%，61)Q(叼为)〃…一(%，区-1)Q

9.正交基及规范正交基

向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向

量，就称其为规范正交基，

线性方程组

1.克莱姆法则

Qi6i+a12x2+…+alnxn=必

021X1

线性方程组4+&2也+…+«2nXn=①，如果系数行列式。=|川工0,则方程

Q“1无1+Q〃2无2+…+Qnn^n=

组有唯一解，X1=^,X2=^,-fXn=^,其中乌是把。中第洌元素换成方程组右端

的常数列所得的行列式。

2.n阶矩阵4可逆o4%=0只有零解。==b总有唯一解，一般地，r(Amxn)=

n<=>zlx=0只有零解。

3.非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构

(1)设4为租x/矩阵，若r(i47nxn)=m，则对力无=b而言必有r(A)=r(A-b)=m,从而

Ax=b有解。

(2)设%1，%…力为=b的解，则自与+k2x2+…+ks%s当h+&+•♦•+&=1时仍为

Ax=b的解：但当自+6+•••+%=0时，则为<％=0的解。特别士产为力x=b的解；

2X3-Oi+小)为4％=0的解。

(3)非齐次线性方程组4%=b无解or(A)+1=r⑷<=>匕不能由力的列向量内,%…，斯线

性表示。

4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解

14

机器学习的数学基础

(1)齐次方程组4%=0恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍

是该齐次方程组的解向量，因此4%=0的全体解向量构成一个向量空间，称为该方程组的

解空间，解空间的维数是”-r(4),解空间的一组基称为齐次方程组的基础解系。

(2)小,〃2,…，%是Ax=0的基础解系，即：

1)»,〃2,…，小是4%=0的解；

2)生,〃2,…，仇线性无关；

3)4%=0的任一解都可以由力,7/2,…，外线性表出.自砧+女2〃2+…+左外是Ax=0的通

解，其中抬/2,…，&是任意常数。

矩阵的特征值和特征向量

1.矩阵的特征值和特征向量的概念及性质

(1)设2是4的一个特征值，则44。4+/?瓦炉,46/(4),47,4-10有一个特征值分别为

4尢办+匕1胪/⑷尢尸,?且对应特征向量相同(*例外)。

(2)若加加…人为人的一个特征值,则£片儿=£%~,11%1%=|川，从而|川。004

没有特征值。

(3)设；I1,a，-，4为4的s个特征值，对应特征向量为由,。2,

若：a=k1a14-k2a24-■,1+ksas,

nnnn,a

则:Aa=k-lAa1+k2Aa2++ksAas=k1A{a1+k2^a2+…ks^ss°

2•相似变换、相似矩阵的概念及性质

(1)若力〜B,则

1)AT〜川,人-1〜〜B"

2)|川==%也/⑷=r(B)

3)\AE-A\=\AE-B\,对V4成立

15

机器学习的数学基础

3.矩阵可相似对角化的充分必要条件

(1)设4为九阶方阵，则力可对角化O对每个心重根特征值A，有九一r(AE-4)=发

(2)设4可对角化，则由PT4P=4有4=P/PT,从而4n=P/”pT

(3)重要结论

4o8o

\若

JCD

/

。COD

2)若4〜8,则其中/(4)为关于〃阶方阵力的多项式。

3)若4为可对角化矩阵，则其非零特征值的个数(重根重复计算)=秩(力)

4.实对称矩阵的特征值、特征向量及相似对角阵

(1)相似矩阵：设48为两个九阶方阵，如果存在一个可逆矩阵P,使得B=P-〜P成立，则

称矩阵A与8相似，记为4〜8。

(2)相似矩阵的性质：如果A〜8则有：

1)川〜/

2)2T〜8T(若4B均可逆)

3)/〜Bk(攵为正整数)

4)\AE-A\=\AE-B\,从而48有相同的特征值

5)\A\=\B\,从而力,8同时可逆或者不可逆

6)秩Q4)=秩-川=48不一定相似

二次型

Ln个变量与,小，…，/的二次齐次函数

16

机器学习的数学基础

/'(X1，小，…，曰)=£陶£：=1%修“，其中阳=%(，,/=1,2,…,n),称为n元二次型，简

%aln

必a

称二次型.若令工=2n，这二次型/■可改写成矩阵向量形

式/■二”4%。其中4称为二次型矩阵，因为。灯=即&/=1,2,…,几)，所以二次型矩阵均为

对称矩阵，且二次型与对称矩阵一一对应，并把矩阵4的秩称为二次型的秩。

2.惯性定理，二次型的标准形和规范形

(1)惯性定理

对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负惯性指

数与所选变换无关，这就是所谓的惯性定理。

(2)标准形

二次型f=…，如)=/AX经过合同变换％=Cy化为/=x'rAx=yTCTAC

、=乎=14久称为/(rWri)的标准形。在一般的数域内，二次型的标准形不是唯一的•与

所作的合同变换有关，但系数不为零的平方项的个数由的秩)唯一确定。

(3)规范形

任一实二次型f都可经过合同变换化为规范形/=Zf+Zf+…+-Z2+1-----,其中r

为A的秩，p为正惯性指数，r-p为负惯性指数，且规范型唯一。

3.用正交变换和配方法化二次型为标准形，二次型及其矩阵的正定性

设4正定=。(4>0),47,/1-1,力*正定；|川>0,4可逆；ait>0,且14d>。

A,9正定=>4+9正定，但/乩不一定正定

A正定=/(x)=xTAx>0,Vx0

=A的各阶顺序主子式全大于零

=A的所有特征值大于零

04的正惯性指数为"

17

机器学习的数学基础

O存在可逆阵P使A=PTP

O存在正交矩阵Q,使QTAQ=QT/1Q=

其中A>0,i=1,2,…，n.正定=kA(k>0),”,4工4正定;M|>0,力可逆；an>0,且

Mill>。。

18

机器学习的数学基础

概率论和数理统计

随机事件和概率

1.事件的关系与运算

(1)子事件；AuZ?,若4发生，则3发生。

(2)相等事件：A=B,即力uB,且Bu/1。

(3)和事件：A\JB(或A+8),力与8中至少有一个发生。

(4)差事件：A-B,A发生但B不发生。

(5)积事件：AC\B(或AB),4与B同时发生。

(6)互斥事件(互不相容)：ACIB：。。

(7)互逆事件(对立事件)：力08=。,41)8=2/1=瓦8=3。

2.运算律

(1)交换律：A\JB=B\JA,AC\B=BC\A

(2)结合律：AUBUC=AU8UC；A[}B[yC=AC\BC\C

(3)分配律：A\JBC\C=AC\C\JBr\C

3.德,摩根律

AUB=A(\BAC\B=MB

4.完全事件组

442…4n两两互斥，且和事件为必然事件，即an4=0,iH=。

5.概率的基本概念

(1)概率：事件发生的可能性大小的度量，其严格定义如下：

19

机器学习的数学基础

概率P(g)为定义在事件集合上的满足下面3个条件的函数：

1)对任何事件4，P(A)>0

2)对必然事件c,p(n)=1

3)对…An，…，若4&=0(iHj)，则：P(GA)=£M1PG4).

Ji=l

(2)概率的基本性质

1)p(A)=i-p(Ay,

2)P(A-F)=P(A)-P(4B);

3)P(AU8)=PG4)+P(8)-PG4B)特别，当Bu4时，P(A—B)=PQ4)-P(8)且

P(R)<P(4)：P(/1U«UO=P(4)+P(R)+P(0-P(AR)-P(RC)-P(AC)+P(ARC)

4)若4,力2,…两两互斥，则p(64)=EN](P(4)

i=i

(3)古典型概率：实验的所有结果只有有限个，且每个结果发生的可能性相同，其概率计

事件4发生的基本事件数

算公式:P(4)=

基本事件总数

(4)几何型概率：样本空间。为欧氏空间中的一个区域，且每个样本点的出现具有等可能

力的度饿(长度、面积、体积)

性，其概率计算公式：P(4)=

八的度量(长度、面积、体积)

6.概率的基本公式

(1)条件概率：P(B|/)=黑，表示A发生的条件下，8发生的概率

(2)全概率公式：P(A)=£之iPG4|8i)P(B)Bi%=0,t中J，&Bi=H.

(3)Bayes公式:

P(即4)-£“(川吁(B(w_1,2,,n

注：上述公式中事件用•的个数可为可列个.

20

机器学习的数学基础

(4)乘法公式:PGM2)=P(41)P(42l4)=P(42)P(41I42)P(442…4J=

P(4)P(A2M1)P(A3M/2)…POnlMAz…An-1)

7.事件的独立性

(1)A与B相互独立oP(48)=PG4)P(B)

(2)A,B,C两两独立«P(AB)=P(/l)P(j?);P(fiC)=P(B)P(Q;P(4C)=P(4)P(C)；

(3)A,B,C相互独立oP(4B)=P(A)P(B);P(BC)=P(B)P(C);PQ4C)=P(4)P(C);

P(ABQ=P⑷P(8)P(C).

8.独立重复试验

将某试验独立重复n次，若每次实验中事件A发生的概率为p,则n次试验中A发生k次

的概率为：P(X=k)=CM°-pyi。

9.重要公式与结论

(1)P(A)=1-P(A)

(2)P(/1UF)=P(A)+P(B)-P(AB)

P(AUBUC)=P(A)+P(E)+P(C)-P(_AB)-P(BC)-P(AC)+P(ABC)

(3)P(A-8)=PQ4)-尸(48)

(4)P(A后)=P(A)-P(AB),P(A)=P(A8)+P(A后)，P(4UB)=P(A)+P(彳B)=

P(力B)+P(疝)+P(AB)

(5)条件概率P(C1|B)满足概率的所有性质，

例如：.P(4|B)=1-P(AI|B)P(4IU42|B)=P(AI|8)+P(A2|B)-PGM2I8)

P(A4|B)=P(4|8)PG42|4B)

(6)若4,々，…，(相互独立，则p(n&I4)=HJUP(A),p(uVi4)=n%(i-p(4))

(7)互斥、互逆与独立性之间的关系：A与B互逆nA与B互斥，但反之不成立，A与B

互斥(或互逆)且均非零概率事件=/1与13不独立.

21

机器学习的数学基础

(8)若力^々，…，力也即电…出口相互独立，贝火心心…)3与9(%%,…,%)也相互

独立，其中/xcage)分别表示对相应事件做任意事件运算后所得的事件，另外，概率为1

(或0)的事件与任何事件相互独立.

随机变量及其概率分布

1.随机变量及概率分布

取值带有随机性的变量，段格地说是定义在样本空间上，取值于实数的函数称为随机变

量，概率分布通常指分布函数或分布律

2.分布函数的概念与性质

定义：F(x)=P(X<%),-oo<x<4-oo

性质：(l)0WFa)Wl(2)/(%)单调不减

(3)右连续广(％+0)=尸(x)⑷/(-8)=0,9(+8)=1

3.离散型随机变量的概率分布

P(X=xt)=piti=1,2,…，n,…pt>0，E?iPi=1

4.连续型随机变量的概率密度

概率密度/(%);非负可积,且：(1)/(%)NO,⑵亡；f(x)dx=1(3)%为f(%)的连续点，则：

/,(%)=r'(%)分布函数尸(%)=

5.常见分布

(1)0-1分布:P(X=/t)=pk(l-p)l-k,/c=O,l

(2)二项分布分(n,p)：P(X=k)=C&pk(1-p)n-k,k=o,l,…，n

(3)Poisson分布：pQ)：P(X=k)=三。'，^>°，k=°，1，2…

1

(4)均匀分布U(a,b)：f(x)=b-a,a<x<

0,

22

机器学习的数学基础

1(x-g)2

(5)正态分布:N(出。2)：(p(x)=~f=^e2ffi>CT>0,—OO<%<4-CO

⑹指数分布:E(A):f(x)=(Ae-Ax,x>0,A>0

Iu,

(7)几何分布：G(p):P(X=k)=(1-p)kfp,0<p<l,k=1,2,­••.

(8)超几何分布：H(N,M,n):P(X=k)=笔沪=0,l,-,min(n,M)

CN

6.随机变量函数的概率分布

(D离散型：P(X=%)=Pi，Y=g(X)

则：P(y=yj)=2gg)=y/(X=；q)

(2)连续型：X~fx(x)，Y=g(x)

则：4(y)=P(Y<y)=P(g(X)<y)=fg(x)iyfxMdx,fY(y)=F'y(y)

7.重要公式与结论

(1)X〜N(0,l)=w(0)=卷，巩0)=p0(-a)=P(X<-a)=1-0(a)

(2)X-NQ,*=—7(0,1),P(X<a)=巩于)

(3)X〜E(/l)=P(X>s+t\X>s)=P(X>t)

(4)X〜G(p)=P(X=m+k\X>m)=P(X=k)

(5)离散型随机变量的分布函数为阶梯间断函数；连续型随机变量的分布函数为连续函

数，但不一定为处处可导函数。

(6)存在既非离散也非连续型随机变量。

多维随机变量及其分布

1.二维随机变量及其联合分布

由两个随机变量构成的随机向量(X,V),联合分布为=P(<X<x,Y<y)

23

机器学习的数学基础

2.二维离散型随机变量的分布

(1)联合概率分布律P[X=xitY=yj}=Pij；i,j=1,2,

(2)边缘分布律=Z/iiPij>i=1,2,p.j=SrPij,j=1,2,-

(3)条件分布律P[X=xjy=”•}=■P[Y=yj\X=勺}=鲁

3.二维连续性随机变量的密度

(1)联合概率密度/(%))：

1)/(x,y)>02)y)dxdy=1

(2)分布函数：F(x,y)=乙匕f(u,u)dudu

(3)边缘概率密度：fxM=f^f(x,y)dyfY(y)=f^f(x,y)dx

(4)条件概率密度：fxlYMy)=普/y|x(y|x)=需

JY^y)Jxm

4.常见二维随机变量的联合分布

意，(阳，)6。

(1)二维均匀分布:®y)~U(D),/(3)=

0,其他

(2)二维正态分布：(X,r)~N(〃i，〃2，d，^，P)

r/_1“nf-1「(刀一”1)2(x-〃l)(y一〃2)

f8vy)-2：2g.expk商1-^2-_2P.+

5.随机变量的独立性和相关性

X和y的相互独立:=F(x,y)=&(x)Fy(y)：

=Pij=Pi.•p.j(离散型)=f(%y)=&a)/y(y)(连续型)

x和y的相关性：

相关系数Pxy=0时，称X和丫不相关，否则称X和丫相关

24

机器学习的数学基础

6.两个随机变量简单函数的概率分布

离散型：P(X=xitY==pij,Z=g(XfV)则：

P(Z=Zk)=P{g(X,y)=zk)=2g(肛M)=ZkP(X=xitY=%)

连续型：(X,y)〜/a,y),z=g(x,y)则：

同⑵=P{g(X,y)<z)=((叩)女f(%，y)dxdy,加z)=F'z(z)

7.重要公式与结论

(1)边缘密度公式：fx8=fy(y)=J7^/(x,y)dx

(2)P{(X,Y)ED)=ffDf[x>y)dxdy

(3)若(X,V)服从二维正态分布N(〃I，〃2,而，遨,P)则有：

1)X〜N(此而),V~N(火,布).

2)x与y相互独立op=o,即x与y不相关。

3)C1X+GY〜N(G%+Q%，C,及+Cl0l+2cle2W2。)

4)X关于Y=y的条件分布为：N(〃1+p含(y-〃2)，光(1一p2))

5)V关于X=%的条件分布为：NW+P券(无一〃。域(1一。?))

(4)若X与y独立，且分别服从N(%,/),NQ1，谴),则：

(乂丫卜人血,火，哈巨，o)，ax+C2Y'N(G%+C2〃2，c时+废功.

(5)若X与丫相互独立，f(x)和g(x)为连续函数，则f(X)和g(Y)也相互独立。

随机变量的数字特征

1.数学期望

离散型：P(X=Xj}=Pi，E(X)=£%iPi；

25

机器学习的数学基础

连续型：X〜/(无)西3)=虞好(乃公

性质：

(1)E(C)=C,E[E(X)]=E(X)

(2)E(GX+C2Y)=QE(X)+C2E(Y)

(3)若X和Y独立,则E(XY)=E(X)E(Y)(4)[E(XY)]2<E(X2)E(y2)

2.方差:D(X)=E[X-E(X)]2=E(X2)一[