向量矩阵偏导数机器学习深度学习基础

1、矩阵的导数运算1.矩阵Y=F(x)对标量x求导相当于每个元素求导数dYdxdfii(x)dxdf2i(x)dxdfml(x)IL dxdfi2(x).dfin(x)dxdxdf22(x)df2n(x)dxdxa+ .adfm2(x)dfmn(x)dxdx2.标量y对列向量x求导注意与上面不同，这次括号内是求偏导，对m< i向量求导后还是 m< i向量dyy = f (x)dxcf次m3.行向量)丁对列向量x求导注意i冲向量对 m< i向量求导后是 m<n矩阵。将y的每一列对x求偏导，将各列构成一个矩阵。用(x) 疏2(x) fn(x)禽欲i欲iT q(x)芸 f2(x)

2、 计n(x)dyc&口CM2。乂2Cx2dx:+.:甘i(x)潦2(x) 涝n(x)r=I-m尝xm尝xm _重要结论：=I dxd( Ax )Tt=Adx4.列向量y对行向量xT求导转化为行向量 yT对列向量x的导数，然后转置。注意mP< 1向量对1 Xn向量求导结果为nm< n矩阵。f T J 团(X)甘2(X) dyidy )H：二.T = ；I 或2&2dxI dx JCfm(x)f%m(x)#2agfm(x)饥(x)£f2(x):纨&ndxdxT=I重要结论:d( Ax)dxT5. 向量积对列向量x求导运算法则注意与标量求导有点不同。d(

3、uTv) d(uT)dxv虹u d xdxd( x T x)dxd(xTAx) d(x')dx重要结论:d( xT)d(xT)=-x - x= 2 x dx dx'二 Ax dU x=(A AT)xd xdx6. 矩阵Y对列向量x求导将Y对x的每一个分量求偏导，构成一个超向量。注意该向量的每一个元素都是一个矩阵。飞F以iI再:x2dYY = F (x) = d x-F»m7. 标量y对矩阵X的导数类似标量y对列向量x的导数，把y对每个X的元素求偏导，不用转置。一旦%J-：X|2dydX£f-：X21cf cfmlXm2fl右xin甘CX2nacf-xmn重要

4、结论:di£xv) =udXd(uTXTXu )dX= 2Xud(Xu -v)T(Xu -v)dX=2( Xu -v) uT8. 矩阵Y对矩阵X的导数将Y的每个元素对X求导，然后排在一起形成超级矩阵。例设 =况，顼=五，根据”2）矩阵对列向重求导法则，有8(方一芬00"dAdXdXdX2x1MEd x2x务1_ dXdXdx_ 02x0_a£>c|例设F=，占=卜 y ,根据H5）矩阵对矩阵求导法则，有ds f&莎灵如#一初孝神 N（1）矩阵、向量求导法则设yr =yn是«维行向童，X是元素，M力"dx（2）列向款f元素求导.外.

5、是m维列向室，x是元素，则5y 中dx（3）矩阵对元素求导出1 设丫=: 是fnxn矩阵，x是元素，则.八1皿_dY（4）元素对行向童求导设y是元素，xr =工（5）元素对列向童求导 一设y是元素，x =:是（6）元素对矩阵求导Z11 设y是元素，X =:dX凯1纨. . dxdxMl %W dT_J是q维行向重，则当玄也4dxr 豹 气维列向童，则* =ax: 是pxq矩阵，则?4 _dydy豹1办14. 0dydy礼1礼q（12）炬阵对列向童求导>n虹设Y = . .是m.n矩阵，x =.Md 是P维列向童，则（15）设 yr =bi维行向重,是pxq矩阵，则弓】（14）列向童对矩阵求导过dXdxn>1'xn死设V =是m维列向重，X = .乙.xpl为是pxq矩阵，则Jx3ydX丛dX（15