[硕士论文精品]基于bp神经网络的住院费用建模研究

浙江大学硕士学位论文基于BP神经网络的住院费用建模研究浙江大学医学院流行病与卫生统计学04级硕士研究生导师刘碧瑶沈毅中文摘要近年来。医疗费用急剧上涨，高额的医疗费用特别是住院费用给老百姓带来了严重的经济负担如何有效控制住院费用的上涨成为研究者关心的问题。控制住院费用应该从其影响因素着手，通过建立有效的住院费用拟合模型，对住院费用及其影响因素的关系进行分析这是对住院费用进行研究的关键。目前最常用的住院费用建模分析方法为多重线性回归，但是它对资料有一定的要求如独立性、正态性、方差齐性、线性等，而住院费用及其影响因素之间可能存在非线性关系，各影响因素之间也可能存在多重共线性，因此应考虑采用另外一种适合住院费用数据特征的建模方法。人工神经网络，简称为神经网络，是一种模拟生物神经元工作方式的数学模型，在多个学科领域被广泛应用于模式识别预报预测，数值逼近等。反向传播BACKPMPAGATION，BP神经网络是神经网络中的一种，它是一种多层感知机MU瑚AYERPERCEP打ON，因网络权值的调整规则采用误差反向传播算法，即BP算法而得名，是神经网络中目前发展最成熟，应用最广泛的网络模型。理论上证明，对于任何在闭区间内的一个连续函数都可以用具有一个隐含层的BP神经网络来实现N维到M维的任意精度的函数逼近。由于标准的BP算法存在着收敛速度慢。极易陷入局部极小点以及网络推广能力差等缺点，90年代以来各种针对标准BP算法进行改进的优化算法相继提出，使得BP神经网络得以在应用和推广性能上更趋完善。由于BP神经网络对于资料的类型、分布等无任何要求，且具有一定的容错性能通HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文过自我学习，自我调整实现输入变量和输出变量之间的复杂映射关系，因此可以考虑将BP神经网络用于对住院费用及其影响因素进行建模，实现住院费用及其影响因素之间的关系拟合。研究目的在BP神经网络建模过程中对模型参数的优化进行探讨通过对参数的合理设定建立基于BP神经网络的住院费用拟合模型。并在已建立的神经网络模型的基础上，进行影响因素的敏感度分析。利用本研究的建模过程中关于参数选择的一些结论以及建模结果，为BP神经网络建模的方法学提供一定的参考依据，并能帮助卫生管理决策者和医疗保险业者做出正确的决策和分析。资料与方法本研究资料来自于浙江省两家综合性医院提供的20022003年消化系统恶性肿瘤住院病人的病案首页，全部资料经计算机重新编码，并剔除有缺失值、治疗结果为“未愈”和不符合逻辑的病例，合计得有效样本3893份，占全部病例的8022。采用BP神经网络进行住院费用的函数拟合建模，在建模过程中采用，检验、方差分析、非参数检验等对不同训练算法、不同隐含层神经元数进行比较分析，在已建立的模型基础上采用敏感度分析进行住院费用的影响因素分析。以上R检验、方差分析、非参数检验在SAS82中进行。BP神经网络建模和敏感度分析均通过在M枷，AB软件中进行编程得以实现。主要结果一、建模参数的比较结果通过对隐含层神经元数分别为5、10、30和60的网络均采用LM算法和变尺度共轭梯度算法进行训练，每种网络各随机训练500次，得出隐含层神经元数为5、10、30和60时，LM算法不论在拟合能力还是推广能力上均优于变尺度共轭梯度算法。通过对LM算法在隐含层神经元数为5、10、30、60时的网络训练时进行比较，经两2HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文两比较发现隐含层神经元数为5、10时两者的网络推广能力无差别增加至30甚至60时。网络的推广能力逐步降低隐含层神经元数为5、LO、30时，随着隐含层神经元数的增加，网络训练集萨增加，网络的拟合能力提高，而神经元数为30和60时，网络的拟合能力无差别。结果表明，若采用LM算法进行建模，则应该设定隐含层神经元数在LO个左右才能取得较优性能。通过对隐含层神经元数分别为5、7、10的网络均采用贝叶斯规则BP算法进行训练，每种网络各随机训练500次经两两比较发现随着隐含层神经元数的增加网络推广能力降低，而拟合能力增加。结果表明，若采用贝叶斯规则BP算法进行建模，考虑到满足网络的推广能力为前提，则应该设定隐含层神经元数在5个左右才能取得较优性能。二、建立的模型性能及相关参数设定根据模型参数选择的比较结果，选择隐含层神经元数在LO个左右的L1H算法，以及隐含层神经元数在5个左右的贝叶斯规则BP算法进行本研究的BP神经网络建模。通过尝试不同算法、不同隐含层神经元数以及不同的初始化权值和闭值，最终建立了一个消化系统恶性肿瘤住院病人住院费用及其影响因素的BP神经网络模型测试集和训练集的残差图均显示残差基本在0上下随机波动，模型拟合能力较好。该模型网络结构参数为单隐含层，隐含层9个神经元，输入层12个神经元，输出层1个神经元；网络训练参数为采用结合早停止策略的LM算法进行训练，设定学习速度为0OL，设定鼹E为网络误差性能指标，网络训练停止时共迭代24次，嬲G达到14906；训练集拟合结果为RO85744，一O7352L，磁O7201，鼹G10146时012，盔蛆4592兜008，R积庐21431；测试集仿真结栗为RO82695，詹O68385，J吃O62275，鼹目52225EOLL，旌层801E008。R岱酷乏8302。三、敏感度分析结果敏感度分析显示。各影响因素的敏感度从大到小依次为住院天数092113，手术情况O84083。抢救次数O83802次要诊断060272，年龄040353疾病类别035043医院代码034762，转归情况O32585，费用类别O30425，入院情况025735，职业类别O25312，性别0075872。显示对住院费用影响最大的因素是住院天数，最小的是性别。3HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文结论通过本次研究可以得出以下结论采用BP神经网络可以实现对住院费用进行拟合建模，通过对不同模型参数的设定选择可以达到优化模型的作用神经网络的拟合能力和推广能力不能两全，当拟合能力很好时，由于学习过多的训练样本信息，网络的推广能力就会下降，因此在建模时应根据实际情况对两者加以权衡，一个好的神经网络模型应首先具备好的推广能力，否则即使样本拟合能力再好却无法推广。这样的模型也是没有意义的；通过敏感度分析可以在BP神经网络模型的基础上显示输入变量对输出变量的影响程度大小。由于本研究所选择的病案首页信息有限，且同时考虑到网络的推广能力和拟合能力，因此建立的模型对住院费用预测的精度有限，可以提供一定的理论参考。在该模型的基础上进行敏感度分析以衡量输入变量的影响程度大小是切实可行的。由于不同的参数设定对网络的结果有不同的影响如不同隐含层神经元数、不同初始权值和闻值等，目前仍缺乏理论上的支持，有待进一步研究。关铡词BP神经网络；神经网络；住院费用；消化系统恶性肿瘤；影响因素LM算法4HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文RESEARCH0FESTABIISHINGHOSPITALIZATIONCHARGEFITTINGMODELBYUSJNGBPNEURAINETWORKDEPAR缸NENTOFEPIDERNJOLOGYANDHEALTLLS协TISTICS，SCHOOLOFMEDICINE，ZHEJIANGURNIVERS埘POS蟾RADUATET、LTORABST阳CTLIUBIYAOSHENYIDILRINGREMAFEWYEARS，TLLECMRGEOFMEDICALCAMHINCRE觞EDR印IDLYTHELARGELEDICALCARECHAIGE，ESPECIALLYT11屺HOSP怕DI删IONCHARGC，BRINGHVYECONOMICALBURDENTOPEOPIEHOWTOC伽仃01TL他HOSPI扭L甑ONCHA唱ESOMATITC柚NOTI11CRE擞S0RAPIDLYISWH砒他SCARCHERSCONCEMEDMOSTANEM耐IVEWAYT0COMROLNISTORCSCARCHABOUT弛INNUENCEFACTORSTOFITTILERELATIONSHIPBC似NHOSPITALIZA廿ONCHARGE锄DI乜INNUENCEFACTORS，蛐DES协BJJSLLE彘C廿VEHPITALI毖TIONFHT咄MODELIS土HEKEYTOPICINTHERESEH0ILEMETHODWHICHISUSEDFEQU曲TLYFBRANALYZINGHOSPITALI盈TIONCHARGEISMUHPLELILLE孤REGRESSION，BUTNHSOMELIMITATIO璐，SUCH鹊INDEPENDENT，NOMALDIS砸BUTION，EQ删V州鲫CE，LINEAR舭DSOONINF如T，THEREL蚵OILSHPKT、VEENHOSPITALI强DONCHARGE鲫D砥I棚NCEFACOORSISVEIYCOMPLEX，ITISPCRH印SNOTL8ORME坤MAYBEMULTICOLLI盯ITYINIILN鹏SCEFLACTORSSOWENEEDT0DEVEIOP柚OTLL盱惦EFILLRNODELWHICHISSUITABLEFBRH唧ITAL础0NCB鹕ETOEXP坤SSTHEMLATIONSLLIPANIFCIALNE删NETWORLALSOLMOWN踮NEURALM舢ORKISAMAMCM砒ICALMODELWHICHW船DEVELOPEDAORDINGTOTIIEWO出OFBIOLOGICALI碡UR锄NEUMLR峙TWORKISWIDELYUDFOR5HTTP/INFO3DOUCOM/互动营销HTTP/INFO3DOUCOM/互动营销浙践大学硕士学位论文NDALLY，MDCHWE障8022盯TL他酊TALCAS船WB璐EDBPMIMT、VORKTO妇TFILNC吐ONBETWE锄砌UE嘴EF如TO瑙如DH嘴PI诅LIZA_吐ONCHA培EWHICHISNOTVISIIALDURINGPRE豁OFCSTABNSLLMGMODEL，ANOVA，TCST卸DNP咖琳N记TESTWE舱AUILSEDTOCOMPA嘴DI丘B咖T佃LI曲呜ARI山METI柚DDI矗B瑚LTM吼BEBOFNEUMMILIIIIDDENLAYELSE璐NIVI时AIIALYSBW越U辩DTOALLALY笳T110SEIIIN啪NFHCTO糟B粘EDONTLLEMODELANOVA，FTESTANDN脚E砸CT嘣WEMALLCOMPLE自EDBYUSH唱SAS82。跏DC蛐出LISHINGOFBPNEURAINE咖RKMODELDNSITIVITYA11ALYSISWEMBANIC嘲PICTCDBYMMGRESULTS1RESULTSOFCOMP丑响【IGPAMMETE培OFMODELEST曲LISLLINGFOTY】PESOFBP嗽INE啪RKWEREDES拄IBIISH甜，5，LO，30蛐D60WE辑LLSED髂TTIENUMBEROFMU砌峪INHIDDENLAY盯S叩ARATELY，觚DE北H帅EOFMMORKUSEDLM嫡TLIIMTICANDSCG耐恤LETICP啪TEIYSO。EIGLLT帅ES0FNEU豫LNEMORK、“ME蛐1ISHED，龃DALLM啉LTWORLS、VE他扛AID500DMEST弧EMGILLTW丛TLLATMATI盯HOWM柚YNEM伽TLLEHJDDENLAYERH鹊，LM嫡TIIRNETICISBETTERN1拍SCG越L眦TICMBOMFITTIILGANDGEN眦LIZATIONBYC锄PARINGMEPERFM啪CEOFLMARNHRNETJCINMERL咖RKEACHH雏5，10，30如D60NEURO璐ILLHIDDENIA，ELWEFOUNDT量L砒WHENTHEN啪BEROFNCUMNSINNELIMIM栅ORKIS5锄DL0GENE删圳ABILITYOFNEURALNE呐。出H髂DI债糟NCE，OMERSH鹅D脏RENCEBETWEELLEHOTHELWHENTLIEN啪B盯OFNEUM雌HHIDDENLAYERIS30OR60。GE脯RALI翻TION曲ILITYOF他URALM“VORKDECM船EDWHCN增N啪BEROFMUFONILLHIDDENIAYERIF5，10OR30，IF也ENNLXRINCREAD，一OFN咖SETINC咒A辨D，FI砸ILGPERFBLLII柚CEOFNETWORKISBENEWHEN血ENUMBCRIS30OR60ME他ISNODI丘HENCEBETWNEHN咖ORK1HE燃ULTSHOWEDTLATIFLM耐TLLMETIC哪CHEIITLIE耻MT埘OFNEUMI毽INLLIDDLA”RSHOUIDBE啪啪DLO，SO吐I砒TLLE雕T、，旧RKC趴GETBETTERPCFFBRMAEA110TH盯TILL臀帅ESOF髓N烈JIALNETWORKW啪EBI踟D5，7锄DLOW惭D船MC7HTTP/INFO3DOUCOM/互动营销HTTP/INFO3DOUCOM/互动营销HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文基于BP神经网络的住院费用建模研究浙江大学医学院流行病与卫生统计学04级硕士研究生导师刘碧瑶沈毅第一章前言11研究背景111住院费用研究概况近年来医疗费用急剧上涨，“看病难看病贵”成为老百姓关注的重点问题。卫生部2004年底公布的第三次国家卫生服务调查主要结果显示我国医疗服务费用增速超过了人均收入的增长医药卫生消费支出已经成为家庭事物、教育支出后的第三大消费；居民平均每次门诊费用在2003年达到了1082元，比1998年增长了575而每次住院费用达到了39107元，上涨了761，都远远快于居民收入的增长速度吐因此，控制住院费用的上涨势在必行。针对住院费用及其影响因素，如何建立有效的住院费用拟合模型是对住院费用进行研究分析的关键。以最常用的多重线性回归分析为例。它对资料有以下几点要求自变量与因变量问的关系存在线性趋势。每个个体观察值之间相互独立。给定X值，对应的Y服从总体均数为咖、方差为盯2的正态分布。不同X所对应Y的方差相等，均为盯2。自变量之问相关性不应过强。然而住院费用及其影响因素之间关系错综复杂，可能存在复杂的非线性关系比如大多数影响因素在直接影响住院费用的同时，通过影响住院天数来间接影响住院费用。且王凯戎等8L研究发现住院天数和住院费用之间并不是里直线相关关系。分别以住院日和住院费用为横、纵坐标。画出的曲线表现为先较陡上升然后缓慢下降，并逐渐持平的形态莫春梅等91研究发现住院费用并非随着年龄增大而直线增加，10HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文而是近似一条二次曲线，当病人年龄超过60岁以后，住院费用随着年龄增大而降低若采用多重线性回归进行住院费用建模，还要进行残差分析和共线性诊断若资料本身不符合多重线性回归拟台的条件则所建立的模型是不适宜的，此时应考虑更加适合该住院费用数据特征的建模方法。112BP神经网络简介人工神经网络A币FICIALNEURALN时WOD【S，简称为神经网络，是模拟生物神经网络的一种数学模型。它是由许多简单神经元构成的网络。各神经元之间通过权值相连。每个神经元包含一部分的网络信息。神经网络具有并行性、非线性、容错性以及自适应学习能力，目前被广泛用于处理模式识别、函数逼近、分类、预测等各方面问题【】。神经网络的发展并不是一帆风顺的，它经历了鼎盛时期，也经历了低潮期。神经网络的研究起源于19世纪末20世纪初基于物理学、心理学和神经生理学的跨学科研究，但是这些早期研究主要还是着重于有关学习、视觉和条件反射等一般理论并没有包含有关神经元工作的数学模型。通常我们认为神经网络领域研究工作的开始是20世纪40年代美国心理学家W妇NMCCLILLOCH和数学家WALTERPITCS的研究。1943年，他们构建了H伊模型首次用简单的数学模型模仿出生物神经元的活动功能，并揭示了通过神经元的相互连接和简单的数学计算，可以进行相当复杂的逻辑运算。神经网络的第一个实际应用出现在20世纪50年代后期，FM|IL【IBSENB】AN提出了著名的感知机模型；同时，另外两位美国工程师BEM8RDWIDROW和TMHOFR提出了自适应线性神经网络，它在结构和功能上类似于RO螗NBL蚍的感知机然而，RO神NBI甜和晰DRDW所提出的感知机均存在局限性，只能进行线性分类，对于线性不可分的输入模式，即使是简单的“异或”问题，都无能为力。神经网络的研究一度陷入低谷，停滞了十多年。此后，两项重大的研究对神经网络的复苏起到了关键性的作用。第一项研究是在1982年，美国学者JOLLILH叩FIELD提出了HOPNELD网络模型将能量函数引入对称反馈网络使网络稳定性有了明确依据，并利用HOPFIELD网络的神经计算能力解决条件优化问题另一项突破性的研究是1986年，D枷DR啪EMAFT和JNMSMCCLELLD提出了最具影响力的误差反向传播算法BP算法，从根本上解决了感知机不能处理线性不可分的输入模式的问题。白此，基于BP算法的多层感知机，即通常所说的BP神经网络。在实际问题中得到了广泛的应用吼HTTP/INFO3DOUCOM/互动营销HTTP/INFO3DOUCOM/互动营销HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文其中上标L表示第一层，下标表示该阈值是第S1个神经元的阚值。各神经元与隐含层各神经元之间以相应的权值相连，以隐含层的第一个神经元为例，它从输入层的每一个神经元处得到其输出值与权值的乘积，并进行累加，得爿丑WI。I与。W12L最“W1R，加上阐值日，通过传输函数，的转换，得到该隐含层神经元的输出值耐耐，墨W11忍W12L最W1矗舛对于输出层神经元，它从隐含层的每一个神经元得到其输出值与权值的乘积，并进行累加，得Y爿研Z谚L。X以。，加上闽值62，通过传输函数，的转换得到该输出层神经元的输出值口2，卅研硅以LX嵋。6222BP学习算法及原理BP算法是针对多层感知机加LP提出的一种学习算法，BP神经网络的隐含层传输函数采用的是连续可徽的非线性函数，通常为SIGMOID函数，输出层的传输函数可采用线性函数或SI粤NOID函数，具体因输出层向量的分布范围而定。算法基本步骤1置各权值或阙值的初始值W_，IO，QO为小的随机数值。2提供训练样本输入向量以，七12，尸；期望输出以，七L2，尸；对每个输入样本进行下面3到5的迭代。3计算网络的实际输出及隐层单元的状态乃KG4计算训练误差岛1一一口茸输出层14HTTP/INFO3DOUCOM/互动营销浙江大学预士学位论文毛1一屯隐含层5修正权值和阐值01KF，7哆，DH口【BF一O1】GF1已F，7烈610一岛O一1】6当七每经历L至尸后，判断指标是否满足精度要求ES；占精度7结柬23建模基本步骤不同于传统的统计分析，BP神经网络建模对数据类型分布无任何要求，对数据可以不进行任何转换。但是它不能处理缺失值。因此，在进行BP神经网络建模之前，先剔除有缺失数据的记录。特别是对于在MALLAB中进行建模者，数据集太大对计算机内存的要求也很高。BP神经网络建模的基本步骤简单地说包括三步1初始化网络2训练；3仿真。初始化网络包括一些网络参数的选择和设定，如网络层数、各层神经元数、各层传输函数、学习速度、权值和阈值以及训练算法等；训练时应该注意要防止模型过度拟台，即训练出来的模型对于用于训练的样本具有非常好的拟合能力。但是对于同质的其他样本则拟合能力差。因此，构建BP神经网络模型时，如何初始化网络以及提高模型推广能力是非常重要的。231数据归一化和反归一化由于BP神经网络隐含层采用的是非线性可微的SIGMOID传输函数在学习的时候采用的是梯度下降法，比如对于对数S形函数，如果自变量在【0，L】之外。则函数的导数会变得很小，梯度也随之变小，那么下降就会很慢，学习也很慢，可能会导致无法网络收敛。因此，在实际应用中，对输入变量和输出变量进行归一化是非常必要的。具体归一化方法因数据而异，通常包括以下几种变尺度、标准化和规范化【4】。变尺度是指将向量加或减一个常数后乘或除一个常数，可以用来对数据单位进行转换标准化通常包括两种，若数据为服从正态分布的随机值，则可将其进行标准正态转换，使其均值15HTTP/INFO3DOUCOM/互动营销浙江大学硬士学位论文为0，标准差为L；或者使归一化到【L，L】区间。规范化是指压缩数据范围至【O，L】区间常用的归一化公式有J标准化1标准化2规范化曼墨型竺STD。苎型生型业丝。M懿一MINO，2墨二型型。MA曲一ININ对于分类变量，一般采取标准化2公式或规范化公式，对于连续性变量，可以采用标准化公式。也可以采用规范化公式网络仿真结束之后。需要通过反归一化将仿真结果转换成原始数据尺度，也就是将仿真后的结果代入毛，得出毫。232传输函数的选择争F一图22厂。图23L对数S型函数AR万其输出值区间为【0，L】；双曲正切函数盘菩；其输出值区间为卜L，L】；线性函数口，其输出值无区间限制。竺7图24BP神经网络的传输函数分为两类。包括非输出层即输入层与隐含层或隐含层与隐含层间以及输出层即隐含层与输出层闯的传输函数非输出层多层感知机的功能强大之处就在子其拟合非线牲关系的功能，因此在输入层与隐含层或隐含层与隐含层问应采用的是非线性函数，而BP神经网络则要求该非HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文线性函数为可微分的，通常为S形函数，如对数S形函数图22或双曲正切函数图23。选择哪种S形函数无明确标准，一般认为，如果输出变量值均大于O则最好采用对数S形函数，如果输出变量值有小于O者，则最好采用双曲正切函数。对于采用S形函数的神经元，最好将输入数据归一化到【O，L】或【一1，L】以避开函数的饱和区，以免造成网络收敛速度很慢。输出层输出层传输函数的选择应该基于输出值的分布进行选择当归一化后的样本输出值的范围在【O，L】对应采用对数S形函数，在【L，1】时应采用双曲正切函数当输出值归一化后没有界值，则应采用线性函数；当输出值归一化后为正数，但没有明确的上限，则可以使用指数函数。在M枷AB神经网络工具箱中没有现成的指数函数，需要自行编写。233神经网络层数及各层神经元数的设定网络层数的确定由映射存在定理可知“给定任一连续函数FU且R，FXY。这里U是闭单位区间O。1F可以精确地用一个三层感知器网络实现”。任意连续函数可由一个三层感知器网络逼近【61因为只有一个隐含层的神经网络能够以期望的精度逼近非线性函数。因此一般来说对于实际问题的应用，隐含层取12层即可，三层基本上是不需要的。增多层数会增加网络的复杂性，可能会影响到网络收敛的速度。各层神经元数的确定；对于输入层，其神经元数根据实际问题而定，相当于统计方法中所说的自变量；对于输出层，其神经元数亦根据实际问题而定，相当于统计方法中所说的因变量。而隐含层神经元数目的设定目前尚无统一公式，一般都根据经验而设定，也有一些不成文的经验公式，但其结果可能会有较大差异。如可以采用试错法，以M代表输入层神经元数，N代表隐含层神经元数，则先设NLO“，如果网络收敛效果不佳，则再增加神经元数，每次增加神经元数，直到再增加下去网络误差减少不明显而收敛速度非常慢则可考虑停止增加；或根据KOIMOGOV定理，为了理论上能精确模拟该连续函数，应设N2M1。234初始化权值和阈值BP算法的本质即通过调整权值和阈值来实现输入辕出之间的映射在网络初始化时，对权值和阈值进行初始化是非常重要的。如果初始化不当，则可能使训练时间延长，甚至17HTTP/INFO3DOUCOM/互动营销浙江大学顼士学位论文网络无法收敛。如果初始值太大，可能会使得加权后的输入落入传输函数的饱和区内。使得梯度非常小从而使网络的训练工作几乎停滞因此，一般对初始权值或阈值取【1，L】之间的随机数。235学习速度的设定学习速度是用来控制网络训练过程中权值变化幅度大小的，在标准的BP算法中，学习速度过低使权值变化幅度非常小，会导致网络学习非常慢，网络很难收敛，而学习速度过高则会使权值和误差函数产生分歧，使表示网络性能的误差平方和的值产生振荡，无法达到合适的值。因此若将学习率设为一个常量则通常会使训练需要不停的尝试和改错，不适用于BP神经网络。目前采用的BP算法都不是标准的BP算法，而是经过改进的BP算法，如LM算法、共扼梯度算法等通过对标准BP算法的改进可以提高网络收敛的速度。对于实际问题，通常采用的方法是在初始化时将学习率设为一个较小的值一般在0OLO8之间，或者采用可变学习速度的算法。236BP优化算法的选择由于标准BP算法极易陷入误差的局部极小点，算法收敛速度慢，导致可能需要较长的训练时间，迄今为止。在基本BP算法的基础上出现了很多优化算法。MTLAB中给出了几种比较常用的优化算法，见表21。表21常用BP训练算法MATIAB中的函数名函数说明乜AMGDATRAINGD】N珈11RP删NCGFN蜘岫CGP仃豳CGB删惜CG仃A_ILLBFGTRAINOSSNA幽自适应IRBP的梯度递减训练函数带动量的自适应LRBP的梯度递减训练函数带反弹的BP训练函数FLETCHEPPAWELL连接梯度BP训练函数POLALC砌BJE连接梯度BP训练函数P0WELIBEALE连接梯度BP训练函数变尺度共轭梯度BP训练函数BFGS准牛顿BP训练函数一步正切BP训练函数LE砌1BC曙MARQ岫RDTBP训练函数18HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文总的来说，BP的优化算法包括两大类，第一类是采用启发式技术，包括N曲叩和可变学习速度的BP算法廿AINGDA和们IRIGD【第二类是采用数量优化技术。包括共轭梯度的BP算法TRA自1CL出们L沁印妇MCGB和N面R眦G，准牛顿BP算法仃劬曲FG、订劬站，以及地曲L1这些优化算法中各有其优缺点。从训练速度来看，N曲LFP比仃AIF嚏日8和咖LILLGDX更快舰INCGF通常比妇IILGDA快很多，有时候也会比砌NRP快对于权值数目大的网络可以考虑使用交尺度共轭梯度算法，其中NAILLCL露和TRAINCGF的训练速度差不多，啪曲CGB在有些问题上可能会优于椭LINC印。相对于其他共轭梯度算法，仃ADILSCG可能需要更多次迭代收敛次数，但是每次迭代时误差大小明显下降。准牛顿算法比共轭梯度算法收敛更快。但是比较复杂且耗内存。臼越NO辎比N面曲墙所需的内存和计算量少一些。在函数逼近方面，最常用的是昀INLLLL，它在处理函数逼近问趣的能力优于模式识别。对于中等大小网络的函数逼近问题。如至多数百个权值的网络，用N氇INIM算法网络收敛速度是最快的，特别是对训练精度要求高的网络，可以获得更低的误差均方当网络权值数目增加时，【M算法的优势略有下降，但还是优于其他算法。相对于其他算法，LM算法对内存的要求更大。在模式识别方面，廿AINRP是最快的，但是它在函数逼近问题上性能不好，与其他算法相比，TRAIF印对内存的需求量相对较小。1HIMCG在函数逼近和模式识别上均有较好表现，处理函数逼近问题时，当网络有较多权值，订越NG可能会比LM算法更快。在模式识别问题上，和讹DNRP的速度差不多，只是目标误差下降的幅度没有TRAINRP大。237网络性能评价对于函数逼近问题，网络性能评价主要看其模型拟合值与实测值之间的拟合程度。可以由误差平方和鼹目、决定系数聋、调整决定系数A由TED酽、误差均方根尉D昭、误差均方埘踞等指标来反映H“21误差平方和S距咒一咒H一22回归平方和鼹足M一只总平方和一L19一“一咒M皂HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文3决定系数R塑1一避SSTSST调整决定系数；月，L筹1埘4误差均方脚兰堕月一P5误差均方根置凇E面面其中，聆为样本含量，P为要估计的参数个数包括权值和阈值。另外，可以通过残差图来观察残差分布是否具有随机性，以检查模型拟合是否合适。238提高网络推广能力BP神经网络训练时，随着迭代次数的不断增加，网络误差也不断减少，容易使网络出现过拟合的现象。即对于当前的训练样本，网络可以进行很好的拟合，但是对于同质的其他样本网络拟合能力会较差，也就是该网络推广能力差。推广能力差的网络即使对训练样本的拟合能力再好。也毫无意义。因此，应该采取方法提高网络的推广能力。比较常用的有以下两种1旱停止策略将数据集分成三个子集训练集啪IILLS吼、验证集VAIID撕ONSET和测试集TESTSET。训练集用于网络训练，验证集用于在网络训练过程中防止训练过拟合，即当训练集误差继续下降，但验证集误差开始上升时网络停止训练，测试集则用于对训练好的网络进行测试，以检查网络推广能力大小。数据子集的划分比例无明确要求，一般使训练集样本量大于验证集或测试集，且训练集与总的数据集相比分布比较相近，使训练样本具有代表性信息得以充分利用。2贝叶斯规则BP算法贝叶斯规则BP算法是一种能提高网络推广能力的优化算法，其权值更新采用的是LM算法。通过对R参数的自动设定达到网络收敛，当网络达到最大MU值或误差平方和SSE与权值平方和SSW在几次迭代后近似于常数时网络停止训练。20HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文第三章资料与方法31资料来源本研究资料来自于浙江省2家综合性医院提供的20022003年的消化系统恶性肿瘤ICMLO代码为C15C26病人的病案首页资料，共计病例数4853份。32资料预处理全部资料经计算机重新编码表31，剔除有缺失值、治疗结果为“未愈”以及不符合逻辑的病例，合计得有效样本3893份，占全郑病例的8022。表31选取的病案首页项目及编码21HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文33研究方法及实现软件331研究方法1模型的建立将表31中的第1L磊罔吃竖擎副黑；孔型L璜谗速吲擅哼薹誊霎尝酹J墒谨耄；鹱秀萋酣翳拍翟早；崔蕾暑鐾万擅壤必要嗡限卸眭卧”蛸“霭强、鲍H鳃私“羹磊；吲蓥碧壁霉薹五幕匪两蕊墓型要黔骈J扇谋寓囊蚕菊罐霉蠹萎嚣唯堪猎扭嚣魏船I|L僖肯啊隅IJ；薹鲍只影响下一层的神经元状态。如果在输出层得不到期望输出，则转入误差的反向传播。将误差信号沿原来的神经元连接通路返回，返回过程中逐一修改各层神经元连接的权值。这种过程不断迭代直到误差达到允许的范围之内。21BP神经网络结构BP神经网络是一种多层前馈网络，由输入层1层、隐含层1层或多层和输出层1层组成，通常所说的神经网络的层数不包括输入层。输入总合层厂_、厂_弋PLPNPL，、F脚FTW”B1“2F2W2A埠B2图21BP神经网络结构图图21为一个具有多个输入神经元、单个输出神经元、1个隐含层，且隐含层有多个HTTP/INFO3DOUCOM/互动营销HTTP/INFO3DOUCOM/互动营销HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文表42定量变量分布描述412输出变量分布描述图41和图42分别为住院费用原始频数分布直方图及经BOXCOX正态性转换后的频数分布直方图。图41表43住院费用的描述性分析结果图42转换值表43的结果表明，消化系统恶性肿瘤病人住院费用平均为3308335元，中位数为238130L元，表明有50的病人住院费用高于23813OL元。住院费用分布里明显正偏态，偏度系数为6254，峰度系数为61311，进行B“COX正态性转换后，偏度系数和峰度系数均有明显减少，偏度系数降至0032，峰度系数降至35，但正态性检验表明经BOX_C“正态性转换后住院费用仍呈非正态分布。HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文由于多重线性回归模型要求残差为正态分布，本研究资料中住院费用即使进行BOXCOX转换后仍呈非正态分布，因此不适宜采用多重线性回归来对住院费用进行建模分析。面BP神经网络对资辩的分布无任何先验要求，因此选用BP神经网络来进行住院费用建模。42住院费用建模基本步骤421数据归一化由于输入变量包括分类变量医院代码、性别、手术情况、次要诊断、入院情况、转归情况、职业类别、疾病种类、费用类别和连续性变量手术次数、年龄、住院天数，输出变量住院费用为连续性变量，采用规范化法对输入输出数据集进行归一化，使各变量归一化后最大值为L，最小值为O最量二竺雩L式41M蹦工一MIIL功表44归一化后各分类变量的值422划分数据集采用不同提高网络推广能力的策略，对数据集的要求是不同的。若采用早停止策略，则需要把数据集划分为训练集、验证集和测试集三部分。若采用贝叶斯规则BP算法，则只需划分为训练集和测试集即可。由于进行BP神经网络是一个需要不断调试的过程没有明确的理论研究表明对实际资料应采用何种参数或方法。因此对两种推广方法均进行尝试。采用早停止策略将数据集分为训练集60、验证集20、测试集20，防HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文止模型过拟合。数据集的划分也是非常关键的通过对训练集的学习建立模型。并具有较好的推广性能，则训练集应尽量分布均匀，对整个样本集有较好的代表性。本研究中，先将样本数据集按各输入变量进行排序，按等间隔依次选取。记录号2、7、12、17为测试集，4、9、14、19为检验集，其余为训练集。采用贝叶斯规则BP算法将数据集分为训练集80、测试集20，等间隔选取，为了与早停止策略有可比性，仍定记录号2、7、12、17为测试集，其余为训练集。423相关参数初始化1传输函数的选择由于样本数据均归一化到【0。L】之间，在隐含层和输出层均选取对数S形函数，即LOGSG函数；2对一般的函数逼近问题，含一个隐含层的网络即可完成，故本研究设置1个隐含层；3初始化权值和闽值用NE、VFF函数构建并初始化BP神经网络后，尽管MATLAB会默认给出网络的初始化权值和阙值，但是该值可能不是在【L，L】之间，因此人为地将每个初始权值和阈值均乘以0OL，使权值和闽值尽量设置到【L，1】之间；4初始化学习速度设定学习速度为O_0L5设定网络收敛的误差性能指标为SSE，并设其目标值为005。6最大训练步长设置最大训练步长为1000，当网络训练步长达到1000时即停止对训练集进行训练。424使用早停止策略时训练算法及隐含层神经元数的选择在使用BP神经网络进行函数逼近时，LEVENBE毽MARQUARDT算法MA丁LAB中表示为TRAINLM和变尺度共轭梯度算法MATIAB中表示为啪LILLSCG是相对来讲比较好的，本研究将这两种算法进行比较。由于输入神经元为12个，根据试错法隐含层神经元数为L092”，近似为4，根据映射定理隐含层神经元数则应为25。综合考虑以上情况，本研究分别给出隐含层单元数分别为5、10、30和60时的妇INLM和HIMCG的拟合情况，由于初始权值阈值是根据MATLAB给出的随机值而设的，每次训练初始值不同。网络的性能也会有所差异，因此对每种隐含层神经元数的网络均测试500次，并选取测试集和训练集的詹作为模型评价的依据。训练集评越接近1，表示网络的拟合能力越好；测试集萨越接近L，表示网络推广能力越好。4241随机生成网络之性能结果本研究对不同隐含层神经元数的网络均随机测试500次，因篇幅所限，表45、表46、表47、表48中均只列出其中前50次。HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文表45不同算法训练网络的性能结果隐含层神经元数为5USCGLMSCG训练训练次数测训测罗训爹次数测磔训糕测躐训练集群硭硭硭圣培砖哥LO519370J567480245舵03352226054089060787036656O4576220_410300硒8028107O3696L2705398LO59176O364530“螂3O5158906677003208503751028O53717071370O276500381964044130055532035633O4243229054710074384037382O386275O483260709230J7272O395舛30049192065870034937O405616O58782O67788O337440柏33831O45845OJ62珥530_339150391087O53797O71294O345620_41169320572190J66661032350N343658O49392O7082703帅04255233O51178062296033839O387589063798O657900293跖03239334O58344072701034355O4463810O50LOOO7055003S92803807535050361O7449LO34942O404151LO4842305436403372904092936O47792073316O3255003734012055596O60875O17587019956370513820746醯O3771L04721613O57472O72196O25277O36LLL380482730623960柏462O469131405417307188803145903398139O57舳5O72259O37716O4777615042327074LOO0389830410704005399706770L036328042972160577660“45503327803S08841054513066489036085043705170506耽07149203779204280042054702O醯744O3252004127118O503“072736033123O3931943O55975O6322702547602809619059695OJ6锄1610339940_3S78744052729076578032473O3921120O37597070479O2670L03715945O523嘶063853O331050391032L0456150675明0225703437046O56753O64355037100044795220406350729560366504硼47046350074啪036723O437192305529006721503343O443480593520705050361940“S7624O55415O5碍1803363403783649M牾819O707390369Q30榴5725O5049L074659O刀262妣8722500545180700TTP/INFO3DOUCOM/互动营销HTTP/INFO3DOUCOM/互动营销浙江大学硕士学位论文表47不同算法训练网络的性能结果稳含层神经元为30USCGUSCG训练训练徽澳训训煳训罗澳训硭世硭砖砖跫LO47750076965034792044217260彻56078374033655O4264L2043915O7812003484504558327O4978808蚴034975O443“3042884O8332403203LO3985828047094081202031622O36186404939407077503L50476302904323307528LO34118O4503350526250救958035636045828300525690767630348200451096O59616075798033620042嚣153LO54637078195032561O409967053694O80432034852044舛032053330O72537027599O294048O5131607381803275904130833O545090779620329490_柏1249041479O7259603443704590234O50802O780400_2892903143010048326O79903033“804206835042400071493OT310】703999611O柏552O75343027073030347360471010780560_342370_44踟512O4959404030335200_4106537044004071042O33681O434引13O46182O781000389190_4587038039070079454028064O4019114O465880765350_331680405233905433707467LO348520崩04015046923O7820503484904394L400529280805530303900343801604658L07777603425304096841045258080532O33989041043170拍734O79189值356090_4540042052436074906O3080303721818045201O75265O_32454O_37669430502740746070325690393841905776107561703505604582L440368130799320347470“58920N46747O756D1O3017LO4309L45O46678O76316OT365980崩03421043496O790醯036”0O455694604720905249803552204415522O36032077519031548039213470499080390O32髓903806623O46622O81