哈工大模式识别—多层神经网络

1、1会计学哈工大模式识别哈工大模式识别多层神经网络多层神经网络1,dti iiyffwxwxf称为激活称为激活函数函数第1页/共51页 输入层输入层 隐含层隐含层 输出层输出层第2页/共51页第3页/共51页 1,01,0 xf xx第4页/共51页 f xx第5页/共51页 11xf xe第6页/共51页 tanh( )xxxxeef xxee第7页/共51页第8页/共51页第9页/共51页 210011Hndkkjji ijkjigfwfwx wwx第第k个输出层神经元的输出，其个输出层神经元的输出，其中中d为特征维数，为特征维数，nH为隐层节为隐层节点数。点数。第10页/共51页 2211

2、122ciiiJt zwt-z 1Jmmmm wwwww迭代公式：迭代公式：第11页/共51页kkjkkjnetJJwnetw1,Hnkki iinetwykjkjnetyw kkkkkkkzJJtz f netnetz net kkkjkjkjJtz f net yyw kkkktz f net第12页/共51页jjjijjjiynetJJwy net w jjjyf netnet1djjm mimjijinetw xxww 第13页/共51页21112cckkkkkkkjjjzJtztzyyy 11cckkkkkkkkjkkkjznettztz f net wnety 1ckkkkjjik

3、jiJtz f net w f net xw1cjjkkjkf netw,j ijiJxw第14页/共51页,k jkjJyw kkkkt z f net ,j ijiJxw1cjjkkjkf netw第15页/共51页第16页/共51页11.end第17页/共51页11d wd 111bpmmmm wwww第18页/共51页第19页/共51页第20页/共51页第21页/共51页第22页/共51页第23页/共51页 1ktkkkkkJJJJwwwwwwwww ktkJ wwwww 0ktkkJJw wwwww目标函数增量：目标函数增量：使目标函数下降最大：使目标函数下降最大：第24页/共51页

4、 12kttkkkkJJ wwwwwwHww 0kkkkd JJd w wwwHwww 1kkJw wwwHwH是是Hessian矩阵，求取目标函数增量的矩阵，求取目标函数增量的极大值：极大值：第25页/共51页 11mmmdJdww mw mdJdJdwdw 第26页/共51页0tH l 对于二次优化函数对于二次优化函数，权值沿着任意一，权值沿着任意一个初始方向移动到个初始方向移动到最小点，然后再沿最小点，然后再沿着该方向关于着该方向关于H的的共轭方向移动到最共轭方向移动到最小点即可达到全局小点即可达到全局最小点。最小点。第27页/共51页 1mmJmm www3.如算法未收敛，则继续在共轭

5、方向上如算法未收敛，则继续在共轭方向上计算下一个搜索方向。计算下一个搜索方向。 111tmtJmJmJmJmJm wwwww第28页/共51页 vw t-z 1ttkkkkkkwJ w J wIJ w v w 111122221212nnNNNnvvvwwwvvvwwwvvvwwwwwwwwwJ wwww权值增量：权值增量：其中其中I为单位矩阵，为单位矩阵，k k为参数，为参数，J J为为JacobiJacobi矩阵：矩阵：第29页/共51页第30页/共51页 expPEEkT其中其中T是固体的温度，是固体的温度，k为为Boltzmann常数常数第31页/共51页第32页/共51页 2expP

6、Ew T第33页/共51页第34页/共51页Ew第35页/共51页第36页/共51页第37页/共51页第38页/共51页第39页/共51页g = w11,w12, w13; w21,w22, w23; w31,w32, w33第40页/共51页, , ; , , ; , ,abcde f ghi, ,; , , ; , ,rstuvwxyz, ,; , , ; , ,rstde f ghi, , ; , , ; , ,abcuvwxyz, , ; , , ; , ,abcdef ghi, ,; , , ; , ,rstuvwxyz22222,;, ,33333a r b s c t d ui

7、z22222,;, ,33333r a s b t c u bz i第41页/共51页 , , ; , , ; , ,;, ,abcd e f ghiaabbccddii 第42页/共51页1,dti iiyffwxwxf称为激活称为激活函数函数第43页/共51页 tanh( )xxxxeef xxee第44页/共51页jjjijjjiynetJJwy net w jjjyf netnet1djjm mimjijinetw xxww 第45页/共51页第46页/共51页第47页/共51页 1ktkkkkkJJJJwwwwwwwww ktkJ wwwww 0ktkkJJw wwwww目标函数增量：目标函数增量：使目标函数下降最大：使目标函数下降最大：第48页/共51页, , ; , , ; , ,abcde f ghi, ,; , , ; , ,rstuvwxyz, ,; , , ; , ,rstde f ghi, , ; , , ; , ,abcuvwxyz, , ; , , ; , ,abcdef ghi, ,; , , ; , ,rstuvwxyz22222,;