第9章神经网络系统设计与软件实现

第九章神经网络系统设计与软件实现,9.1神经网络系统总体设计9.2神经网络软件实现9.3神经网络高级开发环境,9.1神经网络系统总体设计设计中考虑的几个问题：1、分析哪类问题可以使用NN；2、NN的整体过程设计，即画出系统总图；3、系统需求分析；4、系统设计的各项性能指标；5、预处理问题。9.1.1NN的适应范围NN并不是万能的！适合的情况：关于问题的知识模糊、不确定，缺少清晰的数学解析方法，具有足够的数据作为样本训练和测试。,当确定使用NN后，需要确定使用哪种NN，若有部分答案则用BP合适，若无则用自组织竞争试试，当然也可以从网络结构方面试用。9.1.2NN设计过程与需求分析1、需求分析2、数据准备3、数据预处理4、软件实现与调试,9.1.3神经网络性能评价,一、百分比准确率,指根据分类标准作出正确判断的百分比。有两个因素影响：1、分类标准本身的问题2、样本集的代表性因此需要用户的积极参与，统一标准问题，样本具有广泛的代表性。二、均方误差即总误差除以样本数。,总误差：,有时也采用平均均方差误差，它是均方误差除以节点数。三、归一化误差Pinda提出一种与结构无关的评价标准，误差取值在01之间：,其中，为所有样本在第j个输出节点期望输出的平均值，是第j个输出节点的期望输出。P为样本总数，m为输出节点数，则归一化误差为：,归一化误差最坏是En=1，样本学习结束时应该En趋于0，收敛速度取决于网络结构。四、接收操作特征曲线(ROC)用来反映某个输出节点在作出一个判断时的正确性。以判断的阳性和阴性表示归于某类的肯定与否定，一个给定输出神经元所表示的判断存在4种可能：,利用上述四种可能的两种比例可以画出ROC曲线：,第一种比例是TP/(TP+FN),称作真阳性率；第二种比例为FP/(FP+TN),称作假阳性率；ROC曲线由真阳性率轴和假阳性率轴上的点连接而成。如图所示。,五、灵敏度、精度和特异度,灵敏度；实际存在的事务能被检出的可能性；精度：系统作出正确阳性判断的数目除以所有阳性判读的总数；特异度：一件实际不存在的事物被检出为不存在的可能性，定义为真阴性率：TN/(FP+TN),9.1.4输入数据的预处理,大多数神经网络需要归一化输入，或者输入向量长度为一常数，前者用于反向传播网络，后者用于自组织网络。但要根据具体问题具体分析。,9.2NN的软件实现,9.2.1软件运行的若干问题1、输入输出2、数据归一化3、连接权4、特征参数5、运行情况监控,9.2.2软件实现的若干问题1、解译与编译2、代码优化3、内存限制4、浮点运算5、网络调试,9.3神经网络的高级开发环境三种开发模式：1、人工编码2、算法库3、生成网络模型,9.3.1神经网络开发环境及其特征理想的开发环境应使用简单、功能强大、有效、可扩展等。9.3.2MATLAB神经网络工具箱一、概述MatritLaboratory矩阵实验室,有30多个工具箱，可分为2类：领域型和功能型。NN属于领域型。以NeuralNetworkToolbox2.0为例，网络模型有：1、感知器2、线性网络3、BP4、径向基5、自组织6、回归,二、常用函数分为10类：1、网络设计类2、转移函数类3、学习规则类4、初始化类5、网络训练类6、分析类7、邻域函数类8、矩阵类9、绘图类10、仿真类,9.3.3其他NN开发环境简介,一、Plexi开发环境内置Lisp机，功能强大。二、Neuroshell开发环境内置反向传播模型软件包。三、NeuralworksProfessional开发环境比较昂贵。四、NETSETII开发环境可以从已封装的19个网络中选择实现。五、N-N