模式识别关于男女生身高和体重的神经网络算法

1、学院模式识别实验报告二）专业：学号：姓名：xxxx教师：目录1 实验目的12 实验内容13 实验平台14 实验过程与结果分析14.1 基于BP神经网络的分类器设计.14.2 基于SVM的分类器设计44.3 基于决策树的分类器设计74.4 三种分类器对比85.总结81) 1实验目的通过实际编程操作，实现对课堂上所学习的BP神经网络、SVM支持向量机和决策树这三种方法的应用，加深理解，同时锻炼自己的动手实践能力。2) 2实验内容本次实验提供的样本数据有149个，每个数据提取5个特征，即身高、体重、是否喜欢数学、是否喜欢文学及是否喜欢运动，分别将样本数据用于对BP神经网络分类器、SVM支持向量机和决

2、策树训练，用测试数据测试分类器的效果，采用交叉验证的方式实现对于性能指标的评判。具体要求如下：BP神经网络一自行编写代码完成后向传播算法，采用交叉验证的方式实现对于性能指标的评判(包含SE,SP,ACC和AUC,AUC的计算可以基于平台的软件包)；SVM支持向量机-采用平台提供的软件包进行分类器的设计以及测试，尝试不同的核函数设计分类器，采用交叉验证的方式实现对于性能指标的评判；决策树-采用平台提供的软件包进行分类器的设计以及测试，采用交叉验证的方式实现对于性能指标的评判(包含SE,SP,ACC和AUC，AUC的计算基于平台的软件包)。3) 3实验平台专业研究方向为图像处理，用的较多的编程语言

3、为C+，因此此次程序编写用的平台是VisualStudio及opencv，其中的BP神经网络为自己独立编写，SVM支持向量机和决策树通过调用Opencv3.0库中相应的库函数并进行相应的配置进行实现。将Excel中的119个数据作为样本数据，其余30个作为分类器性能的测试数据。4) 4实验过程与结果分析4.1基于BP神经网络的分类器设计BP神经网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。其学习规则是使用梯度下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hiddenlay

4、er)和输出层(outputlayer)。在独自设计的BP神经中，激励函数采用sigmod函数，输入层节点个数为5，一个隐层并且节点数为5,输出节点数为1个，通过读取excel中相应的特征数据，进行训练，再用测试数据进行测试。如图4-1为所设计的BP类。HfndcfBPirET_HtierineBERIT_Itiafineinziodsm/7第.扎站点鼠/&Mefi-n亡?idena(i=X爲含詳瘟篡Z/5tierineCUtDOde1/S&出结点數/nidsfinezrainsanpl=LL9/EP训竝栏我歎测试数据北个publicsvoid,train(do'jbL

5、epftrainsaziiTileinr：2derdot±lettrainsMpleoiLtnode|ijltleatciaLDsamclTiLnnodE:仃暂人的毎本dnjt.ettraLSErnpjJnitncnej/V挣乐至弟士的dD'ibLcsogniaz(dDjiL匚Esffetf:r:rzusL*BpMEt(J:匸上llu;thld:|;dDibLcwinnDd£；jiiienodi：:儿左含詰月咬憧ulhide:jielcj.tojjel汀/逐F出壬.疋战宜aoniieniunnenDde:"隠會垂.勻陌值daubleb2otCnode;&#

6、39;/1；j出皓点阀值injfpTHtewr"权這孝习空：输入怎-隠含目iibLe海e-U权宜学习宝：竟言互-崭出层i丄述匚N：/琏兰层铤直学习舉IlJfPFUF'E：."轮H耳痕晉全习室daublc/很垂计赛.aontie亡rror;"允许的最太逞垄dDiblerGsult匚iituriJEEp*匸上牝naif图4-1BP类的设计源码如图4-1，其中重要的两个函数便是神经网络的训练train和识别函数recognize，具体的源码如图4-2，图4-3，图4-4。其中训练函数包括了前向传播以及后向传播的权值修正，而识别函数只包括了前向传播后输出计算结果。

7、vadBpHet:trando口hlrpttrfiLna-anpleliuiade,douxilEt|tral口刁占吨二已口口七血口日上dsuhkpphidonndo讥磯.営结点的校正富荃doublemloutnodeI;/希證胸迅迫与实苗辎I岀值的侯差doubleydoutnode;/#38±&doublexLiimode;向：fid-z-ubl*zj.hde-nzds"建皆站点扌?辅出fioz-uhlex2outnoiel;"冷出卢输出值iZ'Ubl*口1hidEnoda:/隐含5输入值double垃hldBiujdB:"轍出登扁入也

8、roi(ini-iaanp-;isaim：r<T.rainsanrole;isajnp*)/ffi环i逹京样品forint3L0;liiuiade-;.*+)x£=pi=anipli;理输.”扎的悴*f-srin±i=：i<oautriodafi+)FditCiaanpi：h"期丑输魁的稈本和枸造毎牛样品在萝号的蛹入和笋出驗人层待隐含层forintj"0;j<hi-ienode;亍卄】口ij=隐含激清值forlinti-Kiruioda;i+*j|olj)-ol(j*wi|j*x(i|r/®含层各单云辐入激活價sltjj-0/

9、1*expc-oljjMj门汀/PS含层各車元4齡出即£画数怕为憶含结点阀直forint上-口；k<autHDiisrk+)憶苗辰到輪出层2110.0fortintj口;j<hidenode?j+oZkj-o?|k*wlijjkJ*工:Lj;和辎出呈各里远轶輿;舌凿图4-2BP分类器的训练函数一2k4.0;faz(intj=j;j-H-J口占K=02It+Wljll*M；Ljn打争出锻各鱼元输.、塑箔直k2jc1,0/£1,1+sKp1-D2k|-b2>J);打袜出层各至元鶴出£*卩口Hkr卄j"祇搭諭出计葺隐巻&到常册层之间旳

10、机直町町-(-l(ydk-K2k|pX2：xl£1-K2kH总译整对于勺点痢.入的幡孚即廿虎轲出的课墓具体看曲文档企述fqzintjJ;j44)2jR：vtQ_Wll|"第度下降洼求的下一氏的聘含号和金出.居之间的葫连接权farI丄口右j-);i<Jiid®node;j+十"fftfS輪Ek悽计鼻褊人畫孔陀甘层乏冋的权1RPljl"讥“far匚口七i.jk<o-dtnodfe-,!上“"反向求圏含节岂轲出为总溟差FF：ppj+明k*wlji|ipp|=ppj*4j*fl«ljj)?"建含启的枝正谡埜堆益

11、具体益武看"文苕:E口丈(iriL1=;i-Cinnodfl,I+JMijEg帕P刃*»£?下降进更蔚下一真的輪入虽和曲合层之间的梅桂枚forlicit;k-0WaLtnodej1H"+e+-fatj5(ydfc-K2k)'fHi5<7di)-«2k|i;"计jt均方差arror=口/匕仍“阳日丸鬧为训毎前目标雪舉即淇差更甄使其尽可能的小forflocX=0;KXoat.Jiocfe;fc-H-b2：i-b2h-F"下获的冏肯袒和辎H雇之间的新圉0forI丄口t;j-0j<Jiiden-z<3e7j

12、+Jbljl-hlj-rate_bL*ppFjlF"下一铁的输入昙和隐皆层之间的新闹匱图4-3BP分类器的训练函数二double*BpNet!srecagriize(double*p)doilbledoubledoubledoubledDilblek-made;"辅入向亘XlUldtncKle:/瞠吉詰.藏巳世x2outnode;"输出结点输出值alhidenod=;"壺含层输入值u2rnid-encKie；"斟C工輕入哇for(inti0ji<innade;i-»-+)盂【i=pL；"正向计蛀睡言层的畅入和戟出for

13、(intj=0;j<hideno-dE;j-)Di=0.IJ；for(intl=J;iinnode:i-H-)Q：j-olj+wij百kz;"瞪台层各岂元議洁僅X1jj=1.0/(1.j十cxp(-olj-;"肚含层哥单元输出"正向计算输出倍的输入和输出for(int-kD;k<outncpde;k十十)d2kJ=0.0;for(intj21;j<hidenode;j-n-)o2k=o2k十wljk*alj岀层各芭元激活直X2JC=1,0/(1,D+expl-OZJC-U2ld昇："藏出层各单元赣出/if(d2k|-kb2k>0)

14、ic2k=l;/eloex2k-D;"1+谆擔尿for(intk0jk<outnQde;k+)r-esultEj=kzEJ"返叵结杲returnresu匸：图4-4BP分类器的识别函数输入119个样本数据进行训练后，输入30个测试数据进行测试，测试结果如图4-5所示。通过数据可以看出共30个测试数据，其中有两个正样本被分为负样本，即男生分类成了女生。其中ROC曲线（受试者工作特性曲线）如图4-6，可见该曲线的AUC值为0.96表示分类器的效果是较好的，从敏感性（SE）、特异性（SP）和准确率（ACC）也可以看出分类器的效果还是不错的。TP=23TH=5FP：8FN：2

15、SE：0-92£P：1fiCC：8.21739图4-5BP测试结果4.2基于SVM的分类器设计SVM即支持向量机。SVM的主要思想可以概括为两点：第一是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。通常在线性不可分的情况下，通过核函数进行非线性映射达到线性可分的效果。其中核函数的类型包括线型、多项式型和RBF高斯核等，采用不同的核函数可能造成的分类效果有所区别，在本实验中分别利用三种核函数对测试数据进行测试°SVM调用

16、0pencv3.0中的库函数来实现，0pencv3.0所集成的SVM为libsvm。源码如图4-7。/刑省言-建护云蛍备較FtrCDZ*rndEZ=51世：:create();wxk1->5rtln>t(SVM：:_S7C；"強文持囱亘分癸*1总识用异弐豈愛月匡子c进存不完全ij奧mcdel-JseLKerniel(S1:EBfl:W和二丁芒、HEF5=的现I苦貳只有：gB!i菲:帝路果彫响轻大】1逸题(:轻向基)后.该函数自带的一卒替数注定了敎据朝更新丁三二逻间后的労布medel->rtL3orrB：,：_);7mtyiel.->3EtC(10<i!V

17、对诗臬产二砥羽：隹制案赴时*令酋更窖建僅苑右，去示議不钝窪电三辺谟芝mede1-?&eLiernicriL：riapenreriLzria(c,_：ERHC3ii_iE:1.000,ELi_iE:noi);，v终止亲“'二：§丈送：口孔衣Ptr/IrairiCaia>Ijeze=TrainUata:createtraiirzZ=.zaHat5£-W_FimPLE,labelal-zj./训芸分类蟹"mcdel-strain(tLetaJ;ccut«工注二nt二阳!i!"«enll;f&r(inti0;i&

18、lt;iD?I)MatearpleKat-MitLr5CV_32EClrzestdZ.Qai?"兰成更富数捋ilQatrespaue=irdeL-pKiliDtlcrpleEat;返耳L或0tescEzpaati-(iitt)respite,:DDUt«工申pc肚«eodl；图4-7SVM调用源码由图4-7可以看到，首先对SVM进行了参数设置，接着调用训练函数，接着进行测试数据测试，分别采用高斯核、线型核和SIGMOD核测试结果如图4-8到4-10，所对应的ROC曲线如图4-11到4-13所示。TP：23TH=5FP=0FN：2SE：0_92SF：1ACC：8_2

19、1739图4-8高斯核分类结果TP：22TN：5FP：0FN：3SE=0S8SP：1fiCC：9-22727图4-9线型核分类结果TP：25TN：SFP：5FN：SSE：1SP：0ACC：0.S33333图4-10SIGMOD核分类结果5ooh絲熒aowoIS2寸ffi苣審一融口0=S寸O9.0書0LooO，L.B<0O-OnuOO苫石UP豊500mposg'Q9QDZ-.tiLAqisuec：由上面的图4-8到图4-13可以看出，高斯核出现2个分类错误，线性核出现3个分类错误，而sigmod核未出现分类错误，再结合ROC曲线及AUC值，可以看出对于测试数据，sigmod核函数具

20、有最高的分类效果，可以实现完全的正确分类，而高斯核其次，线性核性能稍微差一点，出现误差的类型都是将男生错分为了女生。4.3基于决策树的分类器设计决策树(DecisionTree)是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。在本次实验中，调用Opencv3.0中的决策树类来进行数据的训练与分类。调用源码如图4-14。"績荣时鱼建并V18S

21、.険剥PtKDTr*e3>d»re±=DTreesz：Er-EatsQ?d-re?->3ei:HaiCepEh.CIO):"可白E的龟丈潭宝dT：ree->aetHln5MjplC(t(：;/左金节克业的样龙敷屮于工司粹不士裘业工隹-冋己匚歆巾工緒£1：皿2亡0£3曰叮:)打1同店厲廿生计湼餐栏W直曲誉户于6?.|不再甘裂d.ZTts->5ct0seSurrz-g,ats5(fals-e);/truef?Ed"比fh!：H"竺=213(tq书点旳分又款:m鳶光样点町箱匹宜.拱它疑过则舍井到韻丈牛类卓小

22、计理呈2分型谿毛不到di：reE->3etCVToLdB<|uiireeaetaselSERLLlefalse;d.-±es->sstT工unciitsPzr-Lisdlret£dtre->3etFriDr5(yHt(j|:Frr<TralnData>rDaw-TralnDaw;sareaceQrainiogDataMat-jRDW_5MPLEjLabelaMat)?/.-Ill慕甘英芋d-STts->txaj.n.-EDa.taJ亍For|inti«0?i.<20;i-M-JM1QSdirLeMdQ-NdG£Lr5CT_32rCLr応日匚血斗顽口卄"生礎测菽卑：舟:fLzatrespcnr-=业1：决>p氓di匚tgpl怛血倂f"进行预辺返回1或dit£3EZxp-out|i(it|respn-nje;；cdug«reapDna亡«endL?图4-14决策树调用源码在图4-14中，首先初始化决策树，设置了决策树的最大深度等初始化信息，接着进行样本数据训练，最后进行预测数据预测，其结果如图4-15和图4-16TP：23TN：5FP：0FH：2SE：0_92SP：1ACC：S.2