综合评价系统研究报告.doc

精品文档目录综合评估系统研究报告21研究总目标22研究成果23综合评估的数学模型23.1综合评估模型运行流程23.2基于统计数据的评估指标的分值转换模型43.2.1评估指标的分值转换方法43.2.2评估指标的分值转换方法的调整53.3指标权重的逆向考量74基于AHP-PCA-BP神经网络综合评估模型74.1基于层次分析（AHP）法的专家主观赋权法74.1.1构造判断矩阵84.1.2计算相对权重84.2专家评级指标量化处理和二级指标评分归一化处理94.3评估指标的主成分分析处理构建评估系统的“综合”指标。104.3.1主成分分析（PCA）114.3.2基于PCA的客观赋权法124.4综合评估的BP神经网络模型134.4.1BP神经网络134.4.2神经网络的训练154.5评估分数计算164.6评估结果分类164.7AHP-PCA-BP神经网络综合评估模型计算流程185基于AHP-PCA-BP神经网络评估模型的评估实例186小结22综合评估系统研究报告1 研究总目标旨在针对国防科技重点实验室的特点，构建适用于此特定对象的评估体系，以定性评估和定量评估相结合的手段，研究完整的适合于航天系统内科研院所，既有科学依据，评估结果又可为大众所接受的综合评估方法，并实现其评估系统开发。2 研究成果1 总结2010年度综合评估系统的运作情况，研究系统运行中的问题，构建了基于AHP-PCA-BP神经网络的综合评估模型。2 发表论文The Design and Development of National Key Laboratory Comprehensive Evaluation System Based On VC+3 发表论文一种基于PCA和BP神经网络的综合评估方法3 综合评估的数学模型3.1 综合评估模型运行流程（1） 按照指标体系的基本关系构成递阶层，指标体系的每层中各元素支配下一层中的相应元素，形成一个递阶层，同一层中各元素相互独立。从而形成一个由一个总目标层和若干个子准则层组成的递进的“金字塔”型层次结构，如图-1。最上层为“目标”，最底层为“指标”。评估系统的指标体系如表1。图 1 综合评估指标体系表 1 评估系统的指标体系一级指标二级指标三级指标研究水平与贡献研究目标科研任务课题数量课题经费科研成果科技奖励专利标准研究水平对武器装备研制和国防科技发展的作用对本领域的推动作用可持续发展能力研究队伍人才培养仪器设备办公条件技术储备开放交流与运行管理资源共享学术交流学术委员会的作用制度建设与执行效果（2） 确定评估对象的分值计算方法。分别确定评估机构量化指标和专家投票指标的分值转化方法的分级打分模型。评估对象的评分值由指标层的指标得分矩阵确定。（3） 按评估对象的多层指标系统,将评估机构量化指标项（科研任务、科研成果、人才培养和学术交流）按给定的计算方法计算指标的加权分值和得分值,并根据给定的分级打分方法将得分值转化为评分矩阵。（4） 结合专家打分指标部分得到评估对象的评分矩阵。根据各指标给定的权重按目标得分计算方法，计算评估对象的的值。3.2 基于统计数据的评估指标的分值转换模型3.2.1 评估指标的分值转换方法评估指标的分值转换方法如下（1） 根据课题数量、经费、科技奖励、专利、论文与专著、标准、人才培养项的记录的得分计算标准计算评估对象在这些指标项的加权分值。（2） 按 指标得分=指标加权分值年度指标最大加权分值*权重 计算各项得分（3） 科研任务=课题数量+经费科研成果=科技奖励+专利+标准计算科研任务、科技奖励、人才培养和学术交流得分（4） 按如下的分级打分（表2）方法计算四项指标评分矩阵表 2 分级打分表指标名 档次一档二档三档四档五档六档七档科研任务13.512.751211.2510.59.759.75科研成果13.512.751211.2510.59.759.75人才培养4.54.254.03.753.53.253.25学术交流5.45.14.84.54.23.93.9得到如下的评分矩阵：记为专家人数，其中为正整数，且满足：，3.2.2 评估指标的分值转换方法的调整根据构建的指标评估模型和分值转换方法对本年度参评实验室做出初步评估。然而评估的结果不尽人意，多数实验室的评估结果为不合格，显然这是不符合实际情况的。分析评估过程数据，图2为科研成果指标2010年度参评实验室的分级情况。图 2 科研成果指标2010年度参评实验室分级表显然，分级后各档次的实验室数量分布的严重不合理性，此外，科研任务、人才培养、学术交流指标有同样的问题，由此对分值转换方法做出如下调整。指标得分 = (指标加权分*a + b) / (年度指标分最大值*a + b)其中a,b的值由二元一次方程组确定：其中表示年度指标加权分的平均分，表示年度实验室加权分的最大值，为一个大于0小于100的数，可根据数据实际分布情况动态调整。取得到科研成果参评实验室的新的分布情况，图-3为调整前后的分布对比。可以看出调整后的各档次的实验室分布数量更趋合理。且最终评估的结分布也合理。按照一定的方法将实验室得分矩阵转换为分值得调整前后的各实验室评估分值如图4，图5。图 3 分值转换方法调整前后实验室分级情况对比图 4 原分值转换方法实验室分值散点图图 5 分值转换方法调整后实验室分值分布散点图3.3 指标权重的逆向考量按照综合评估系统构建的一般过程，指标权重的确定是在指标体系构建之后，且权重的确定方法有多种。如可以由专家根据经验判断各评估指标相对于评估目的而言的相对重要程度，然后经过综合处理获得指标权重。这类的处理方法考虑到专家主观的偏好和单项指标的熟悉程度，结合专家的主观赋值的层次分析（AHP）法、Delphi法等。也有依据各被评对象指标属性值数列的离散程度确定各指标权重的客观赋权。在确定指标权重的过程中，往往是结合定性与定量的方法。在目前的评估系统中，指标的权重已定。但确定指标权重的方法已不可考，指标权重确定是否合理科学也不得而知。然而单一的权重确定方法不能为大众所接受且评估结果未免也有失偏颇，因此在评估工作的指标赋权中，采取主客观赋权相结合的方法，一方面指标权重反映了专家的经验知识，另一方面也反映了数据间的客观关系。主客观赋权相结合的方法不失科学客观性并能为大众所接受。4 基于AHP-PCA-BP神经网络综合评估模型4.1 基于层次分析（AHP）法的专家主观赋权法在多指标综合评价中，一个指标对指标体系中其他所有指标影响的大小，是衡量该指标相对重要程度的尺度。如果对其他指标影响较大的指标得到较快发展，则可以牵动其他指标得到相应的提高，从而促进整体的良性循环。指标赋予相对较大的权属是理所当然的，影响权属就是据此而求得的衡量各指标相互影响大小的一种权值，它从另外一个侧面反映了综合评估中各指标的中途要程度。美国著名运筹学家，匹兹堡大学教授Saaty于上世纪70年代中期提出的层次分析法，可用于求得指标间的相对影响权数。其本质上是一种决策思维方法。AHP把复杂的问题分解为各个组成因素，将这些因素按支配关系分组，形成有序的递阶层次结构，通过两两比较的方式确定层次中诸因素的相对重要性，然后综合人的判断，以决定决策诸因素的相对重要性的总的顺序。AHP法体现了决策思维的这些基本特征，即分解、判断、综合。AHP法实际上专家定性决策的一种量化方法，在实验室的评估中，各领域的专家对于评估指标都有较为深刻的认识和理解，因此专家的主观判断可以一定程度上反映出指标的重要程度。在现有的评估指标体系下，设有某一级指标，则AHP法定权的步骤如下：4.1.1 构造判断矩阵构造如下矩阵其中表示相对的重要程度，矩阵的由评估机构邀请评估专家给出，的取值如表3：表 3 评判矩阵元素取值表甲对乙的比极重要很重要重要略重要相等略不重要不重要很不重要极不重要值975311/31/51/71/9取8、6、4、2、1/2、1/4、1/6和1/8为上述值的中间值。4.1.2 计算相对权重进一步计算个元素排序权重，并进行一致性检验。对判断矩阵，计算特征值和特征向量，所得到的经正规化后为元素的权重。一般用近似方法求和。（1） 计算判断矩阵各行元素的积：（2） 求各行的次方根：（3） 对作归一化处理，即得到相应的权值为：（4） 对判断矩阵进行一致性检验。判断矩阵具有一致性的条件是矩阵的最大特征根与矩阵阶数相等，据此可以建议一致性评价值为：其中，表示的第个元素。最后求得随机一致性比率值：式中为随机一致性标准值（表4）。当值小于0.1时，一般认为矩阵具有满意的一致性；反之，CR值大于0.1时，则认为矩阵不具有满意的一致性。表 4 随机一致性表维数1234567890.000.000.580.961.121.241.321.411.45当多个专家分别给定判断矩阵后，分别通过一致性检验，运用简单的算术平均法将专家意见综合平均，即可得到反映各评价指标相对重要程度的权值。通过AHP法处理，可以得到反映专家经验知识的指标权值。4.2 专家评级指标量化处理和二级指标评分归一化处理现行的评估模型通过将各评估对象的评估得分转化为分档，再通过计算评估得分以计算评估对象的得分和分类。这种分档计算在实际运用中存在一定的问题，由于采用各指标的最高加权分作为标杆，在实际计算中出现多个评估对象某些评估指标分在第七档的情况，则这些指标不能被计入。而且，由于分档将原本连续的打分离散化了，抹除了评估对象评分的差异。如二级指标科研任务，9分和1分同为七档，然而就得分本身而言还是存在很大差距的。因此，AHP-PCA-BP神经网络评估模型中将专家打分指标的分档数据量化。量化的方法如下：设某定性指标的权重为，则量化后的得分其中称为量化系数，它的值如下表表 5 专家评级各档次量化系数档次一档二档三档四档五档六档七档1.00.90.750.60.450.30.15为第档的得票数，为专家人数。评估工作中，统计的定量数据为课题数量、科研经费、科技奖励、专利、标准、学术交流和人才培养。设表示统计数据的加权分值，表示所有评估对象该项加权分值的最大值，各定量指标的得分计算方法为：设以上统计量的得分分别为，二级指标科研成果、科研成果、学术交流和人才培养的得分分别为：各二级指标的归一化方法如下： 其中为二级指标的权重，为指标数量。4.3 评估指标的主成分分析处理构建评估系统的“综合”指标AHP法通过对专家知识量化的计算，使得评估指标的权值在一定程度上反映了各评估指标的相对重要程度。但是据此构建的综合评估系统的评估结果没能通过各评估对象的评估数据反映各指标的客观重要程度，因此需要结合专家的主观赋权评估结果和评估数据的客观赋权结果。主成分分析（Principle Component Analysis，PCA）是一种非常有效而常用的多元统计分析方法。主成分分析通过线性变换将多指标问题转化为较少的综合指标的问题。综合指标是原来的多个指标的线性组合，虽然这些指标不是直接观测到的，但是这些指标互不相关，又能反映原来多指标的信息。通过PCA处理可以使综合评估的指标更为简洁，以往的多个指标往往通过几个主成分就可以替代。采用主成分分析的方法评估数据进行客观赋权，一方面确定了评估指标的客观权重，另一方面“综合”了原有的指标，减少了指标的数量。新的指标不存在相关性，从统计学角度来看是相互独立。4.3.1 主成分分析（PCA）主成分分析的思想如下：设是维的随机向量，均值向量为，协方差矩阵为且正定。不妨设，若不等于0，可中心化为0。现要将变为新的随机向量又不损失的变异信息，这就相当于找一个线性变换 （1）记 （2）则式（1）可以记作，。要想使少数的几个能够反映的绝大部分变异信息又要求各不想管，则应满足如下要求：， （3）， （4）式（4）表明为一正交矩阵，而式（3）则为一条件极值问题，运用拉格朗日乘数法计算可得2： （5）其中（）为拉格朗日乘数法的系数。由式（5）可知，满足式（3）的单位化向量为的非零特征根所对应的单位化特征向量。通过简单证明可知，也满足式（4），且。的主对角线元素之和为，由矩阵的迹的性质知 （6）式（6）表明了主成分在迹的意义下将的各分量的方差全部保留下来，由此定义， （7）为各主成分的方差贡献率。的值反映了各主成分对方差的贡献的大小，即该主成分所保留的变异信息的大小，变异信息越大则说明该主成分越重要，则其所占的权重也越大。注意到，即主成分向量的维度和原随机向量是相同的。但是在实际应用中，在对的特征值按从大到小排列可得到排在后面的主成分的贡献率很小，往往可以忽略，而且按 （8）选取前个主成分已足够使用，能够反映出原随机向量的大部分变异信息。当时，采用代替既能独立反映各分量的变异信息，又能起到降维的作用。在综合评价中，指标体系往往非常庞大，使用PCA处理指标系统既能简化指标系统，又可通过计算简化后的指标的变异信息以达到计算综合评价结果的目的。4.3.2 基于PCA的客观赋权法评估对象的评估数据矩阵为，为指标的个数，为评估对象的个数，PCA综合评估的计算步骤如下：（1） 计算的均值向量并将中心化得矩阵，其中，。（2） 计算的协方差矩阵（事实上我们不知道的分布，因此不能直接计算的协方差矩阵，此处用协方差矩阵的无偏估计）：。（3） 计算特征值，对应特征向量为。（4） 取满足的，计算各主成分的贡献率，记，。（5） 计算各评估对象的主成分得分：（），（6） 评估对象的得分（）。4.4 综合评估的BP神经网络模型人工神经网络（Artificial Neural Network，ANN）是模拟人脑工作方式而设计的学习系统，由大量并行分布的单个处理单元构成非线性动力学系统，具有通过反复连接权值，锻炼从经验知识中进行学习的能力，并将这些知识进行新的学习运用，具有很强的鲁棒性容错性。神经网络通过有监督的学习训练不断地调整权值使得输出最终越来越接近预期的输出。如果我们以专家定权的评估结果作为神经网络的训练的理想输出，当网络达到停机要求时，网络已经“学习”到了专家知识，网络的权值中就已经蕴含了专家知识和经验了。所以，在AHP-PCA-BP神经网络的综合评估方法中，我们以PCA评估结果和专家定权评估结果的加权平均结果作为网络的标准输出，并以此训练神经网络。4.4.1 BP神经网络神经网络由大量的神经元相互连接而成，每个神经元到另一个神经元都有一个连接权，权重可以受外界刺激改变，构成了神经网络学习的基础。一个简单的神经元模型如图6：图 6简单神经元模型一个神经元具有三个基本要素：（1） 一组连接权，权值为正时表示激励，为负时表示抑制。（2） 一个求和单元，用于求取各输入信号的加权和。（3） 一个非线性的激励函数，起非线性映射的作用并显示神经元输出幅度在一定范围内。神经元的输入向量为，时表示偏差，时表示权值，是一个非线性函数此时神经元的输出 （9）人工神经网络的主要工作就是建立模型和确定权值，神经网络权值确定的过程就是神经网络的学习过程。Rumelhart和McClelland为首的科研小组于1982年提出了误差反向传播（Back Propagation BP）算法。BP神经网络模型一种多层的前向神经网络模型，一个三层的前向型神经网络模型如图7。图 7三层前向型神经网络模型网络学习过程中以输出的误差减小为方向从后向前地调整各层的连接权值。以某层的第个神经元为例说明神经网络的学习过程。设表示其前一层的第个神经元，表示其后一层的第个神经元。表示本层输入，表示本层输出，表示到得连接权值，表示输出层第个神经元的理想输出。以Sigmod函数 （10）作为激励函数。学习过程如下：（1） 用较小的随机数初始化权系数。（2） 输入一组输入数据，从前往后计算各层单元（3） 对于输出层计算。（4） 从后向前计算各层的（5） 计算并保存各个权值修正量，并修正权值。（6） 输入另一输入数据转步骤（2）直到网络的MSE满足精度要求。4.4.2 神经网络的训练在重点实验室的综合评估模型中，构建一个三层的BP神经网络，三层的网络结构简单，而且也能够满足评估的复杂度要求。BP神经网络的输入层、隐层和输出层节点数确后，即可展开网络的训练工作，网络的训练过程如下：（1） 通过AHP确定各指标的权重。（2） 计算各评估对象的指标得分。（3） 按AHP确定的各指标的权重计算各实验室的得分，第个评估对象的得分为。（4） PCA法计算各评估对象得分，第个评估对象的得分为（5） 确定专家评估结果对于期望结果的比重，计算第评估对象的期望输出（6） 构建一个BP神经网络，以PCA处理后各评估对象主成分得分值作为输入，作为期望输出，按照BP神经网络的学习方法，通过不断调整神经元间的连接权值以达到预期精度，完成神经网络训练。4.5 评估分数计算在对大量样本的学习完成神经网络的训练后，网络即可用于评估分数的计算，评估对象评分计算过程如下：（1） 评估对象各指标得分归一化处理，设归一化后的得分向量为。（2） 计算评估对象的综合指标得分，为PCA处理过程的特征向量矩阵。（3） 将作为神经网络的输入，输入训练好的神经网络计算评估对象得分。4.6 评估结果分类评估工作要求对于评估对象的评估结果做出分类，分别为优秀、合格、基本合格和不合格。如果实现给定分类标准，由于评估对象的评估数据不可预测，因此往往出现评估结果分类不合理的现象。聚类分析是一种按照事物的某些属性，把事物聚集成类，使得类的相似性尽量小，类内相似性尽量大的分析手段。通过聚类分析可以将不同评估结果的评估对象分开，达到分类的目的。系统聚类法是一种常用的有效的聚类分析方法。这种方法的基本思想是：先将个样本各自看成一类，然后规定样本之间的距离和类与类之间的距离。开始时各个样本自称一类，类和类之间的距离与样本之间的距离是相等的。这样最近的一对合并为一个新类。计算新类与其他类得距离，再将距离最近的两类合并，这样每次减少一类，知道所有的样本都归为一类。类间距离的定义很多，我们采用最短距离法。表示样本与的距离，表示类，定义类与类之间的距离为两类最近样本的距离，用表示与之间的距离，则最小距离系统聚类法的步骤如下：（1） 规定样本之间的距离，计算样本两两距离的对称阵，记为，开始每个样本自成一类，因此。（2） 选择的最小元素，设为，将与合并为一类，记为，。（3） 计算新类与其他类之间的距离为将中，行，列合并为一个新行新列。新行新列对应，所得到的矩阵叫作。（4） 对重复上面对的两步，得到，如此下去还知道所有的元素聚为一类。如果某一步中最小的元素不止一个，则对应这些最小元素的类同时合并。在我们的评估模型中，开始每个评估对象看做一类，类与类之间的距离定义为评估对象评分只差的绝对值。按要求将评估对象分为四类，在进行上述聚类过程时，当类别达到四个时即可停止。设分别为，所含评估对象的数量分别为，计算各类的平均分按平均分降序排列，类别依次为优秀、合格、基本合格和不合格。4.7 AHP-PCA-BP神经网络综合评估模型计算流程基于AHP-PCA-BP神经网络的综合评估模型的评估过程分为两部分：神经网络的建立和学习，神经网络的使用。1 神经网络学习阶段（1） 邀请评估指标领域内专家完成指标重要性评判，并通过AHP法确定各评估指标的权重。（2） 采集所有各实验室的评估数据作为样本，使用AHP法确定的权重计算数据样本的专家评估结果。（3） 对样本数据做主成分分析，形成新的综合指标。（4） 计算原指标到综合指标的变换矩阵，计算各指标的权重和基于主成分分析赋权的客观评价结果。（5） 确定客观评价结果和主观评价结果的权重关系，计算期望输出。（6） 构建BP神经网络，网络的输入为经过PCA处理后的综合指标，训练神经网络，使网络达到预设精度。2 神经网络使用阶段（1） 评估数据通过训练阶段的变换矩阵得到“综合指标”下的新的评估数据。（2） 将上述数据作为神经网络的输入，计算综合评估结果。（3） 对评估结果做聚类分析，确定各评估对象的分类。5 基于AHP-PCA-BP神经网络评估模型的评估实例以某年度的重点实验室的评估数据为例，应用AHP-PCA-BP神经网络综合评估方法进行综合评估计算。国家重点实验室共有15个评价指标，取14个实验室的评估数据。经过归一化处理的实验室数据如表7：表 6 2010年度国家重点实验室评价数据ABCDEFGHIJKLMNI10.867 0.933 0.800 0.717 0.883 0.683 0.633 0.895 0.660 0.911 0.989 0.950 0.900 0.867 I20.153 0.957 0.558 0.368 0.243 0.377 0.319 0.799 0.341 0.359 0.715 0.638 0.694 0.623 I30.173 0.205 0.138 0.707 0.035 0.187 0.236 0.372 0.279 0.477 0.694 0.497 0.406 0.321 I40.900 0.900 0.767 0.956 0.750 0.733 0.683 0.870 0.825 0.850 0.928 0.900 0.833 0.800 I50.883 1.000 0.883 0.750 0.967 0.750 0.811 0.980 0.950 0.978 0.989 0.750 0.750 0.967 I60.900 0.878 0.850 0.867 0.867 0.750 0.633 0.810 0.750 0.967 0.867 0.970 0.900 0.833 I70.717 0.900 0.700 0.850 0.733 0.650 0.483 0.750 0.780 0.850 0.800 0.855 0.833 0.650 I80.111 0.204 0.089 1.000 0.052 0.096 0.108 0.101 0.392 0.173 0.332 0.398 0.553 0.060 I90.867 0.900 0.944 0.767 0.950 0.850 0.583 0.855 0.750 0.867 1.000 0.900 0.783 0.717 I100.717 0.733 0.867 0.600 0.883 0.850 0.483 0.900 0.885 0.900 1.000 0.885 0.550 0.750 I110.883 0.900 0.833 0.900 0.850 0.717 0.633 0.825 0.810 0.867 0.867 0.900 0.900 0.867 I121.000 0.833 0.767 0.750 0.850 0.800 0.650 0.660 0.870 0.800 0.900 0.885 0.850 0.767 I130.296 0.321 0.149 0.513 0.203 0.336 0.348 0.408 0.742 0.243 0.358 1.000 0.691 0.360 I140.617 0.911 0.867 0.600 0.989 0.600 0.517 0.765 0.765 0.783 0.911 0.880 0.750 0.733 I150.717 0.733 0.750 0.583 0.867 0.483 0.283 0.900 0.645 0.750 0.817 0.950 0.600 0.600 表的每列代表一个实验室的各指标的得分，实验室的名字以A，B，N代号表示，指标名以I1，I2，I15代号代替。由于暂时没有评估专家，因此AHP法暂不可用，选取现行的评估指标权重得主观定权法得到各指标的权重如表8：表 7 主观赋权法确定的各指标的权重I1I2I3I4I5I6I7I8权重0.030.150.150.050.080.040.10.05I9I10I11I12I13I14I15权重0.030.030.040.040.060.050.1计算该权重下各参评实验室的评估得分，数据如表9：表 8主观赋权法各实验室评估得分ABCDEFG得分0.5460.7180.5910.6860.5640.5110.438HIJKLMN得分0.7010.6210.6540.7770.7710.6890.613用PCA处理实验室数据，主成分的个数的选取85%的能量，则只需要前5个主成分即可反映原数据的85%的变异信息。各实验室的主成分得分如表10表 9 各实验室主成分得分ABCDEFGC11.0321.3580.9961.9710.9110.9730.875C21.9372.4062.2391.4882.2851.7931.373C31.0950.4590.760.9121.0850.7640.519C40.090.1680.1790.4230.0590.0330.067C5-0.42-0.54-0.38-0.36-0.44-0.22-0.23HIJKLMNC11.3191.4441.2541.6091.9021.741.139C22.3531.8282.1732.4032.2281.8532.054C30.5590.920.9710.7880.8550.5990.568C40.096-0.170.2940.331-0.290.0170.104C5-0.16-0.23-0.2-0.1-0.25-0.51-0.25各主成分的权重如表11：表 10 各主成分的权重C1C2C3C4C5