向量、矩阵偏导数(机器学习、深度学习基础)

1、矩阵的导数运算1.矩阵Y=F（x）对标量x求导相当于每个元素求导数LmJLmJdfn（x）d YdXdXdf21(x) dX9dfm1(X)dXdf12(X)dfm(X)dXdf22(x)dX9+dxdf2n(x) dxadfm2(X)dfmn(x)dxdxLmJLmJ2.标量y对列向量x求导注意与上面不同，这次括号内是求偏导，对站1mX1向量求导后还是 mX 1向量LmJX：x2| 打1(x)2（X）CX-Iff1(x)ff2（X）cx2icx29打1（x）f2（X）-&mOXmd yTdxdyy = f (x)-dx-：Xm3.行向量yT对列向量x求导注意1 Xn向量对mX 1向量求导后是

2、 mXn矩阵。将y的每一列对x求偏导，将各列构成一个矩阵。fn(X) I织fn(X)CX2a瞬n(X)%重要结论:dxd( Ax)T *dx4.列向量y对行向量xT求导转化为行向量 yT对列向量x的导数，然后转置。注意mX 1向量对1 Xn向量求导结果为fm(X)Tdyd xTfi(x)纠橫2（X）&2-CX2-吋1（X）拼2（X）欣n条nmKn矩阵。:fi(x)f2(X).T:x1fm(X)jx2fm(X)：Xn重要结论:dx廿Jd xd( Ax) A dxT A5.向量积对列向量x求导运算法则注意与标量求导有点不同。d(uTv) d(uT) vd x也udx重要结论:d( x T x)dx

3、d(xTAx) d(x)dxd( xT)d(xT)xx= 2 xdxdxAx 血口 x 二(A AT)x d xdxLmJLmJ6.矩阵Y对列向量x求导将Y对x的每一个分量求偏导，构成一个超向量。 注意该向量的每一个元素都是一个矩阵。飞F 1Y 二 F (x) dYd xcXi 空 cX2-FLmJ7.标量y对矩阵X的导数y对列向量x的导数，把y对每个-吋 & 1次11CX12Gxincf冴dy$21GX22X2nd X3a+3拼cf拼_FXmiXm2EXmn类似标量X的元素求偏导，不用转置。重要结论:d (u T Xv)udXd(UTXTXU ) =2Xu dXvTd(Xu -v)T(Xu

4、-v)dX2(Xu -v) uT8矩阵Y对矩阵X的导数将Y的每个元素对X求导，然后排在一起形成超级矩阵。，扌艮据矩阵对列向量求导法则，有Q3)00dXdXdX2x1日屮-比违日3)d x2x1_ dXdXdx_ 02x0_，根据（15）矩阵对矩阵求导法则，有a h c def1C0axai気az聊&龛聖加萸一気諏乔更乔矩阵、向量求导法则（1）dx设y二仏 儿是维行向量，X是元素，则 河（2）列向飯f元素求导1是從维列向量，X是元素，则dy -创1 dx儿dx乱2 4dx 设y二（3）矩阵对元素求导x是兀素,（4）元蓋对行向量求导设y是元素，xr =心（5）元素对列向臺求导设y是兀素，x =（6）元素对矩阵求导设y杲元素，X =111/ 1dxdx叽 .dxdx .q是g维行向量，则维列向壘，则空二 ax-是pxq矩阵， 如 odx呈则dYdx（12）矩阵对列向重求导九儿设Y =是m.n矩阵，x =丁曲1y祕.X*是P维列向量，则dY叽dx叽7T（15）行向重对矩阵求导xn设yrLyi儿是n维行向氫x =:是pxq矩阵，则何 %11 叽dxfi 叽（14）列向量对矩阵求导i和设y =-是m