第六判别分析演示文稿

第六判别分析演示文稿现在是1页\一共有115页\编辑于星期五（优选）第六判别分析现在是2页\一共有115页\编辑于星期五判断该样品应属于这g个总体中的哪一个。

现在是3页\一共有115页\编辑于星期五§6.1距离判别

如何定义样本空间中两点之间的距离?如果距离定义不合适，可能会出现不该发生的误判错误。距离判别是通过定义样品指标X的观测值x(p维）到各总体的距离，以其大小判定样品属于哪个总体。现在是4页\一共有115页\编辑于星期五今有一样品，值在交点A处，问A距哪个总体近？

现在是5页\一共有115页\编辑于星期五另一缺陷，距离与单位有关。

现在是6页\一共有115页\编辑于星期五想法：

用协方差阵把“距离”标准化以后化为无纲的量作为两点间距离。X，Y两点之间的距离为d（X，Y）

X与总体G的距离为d(X,G)现在是7页\一共有115页\编辑于星期五(1)两总体的距离判别

现在是8页\一共有115页\编辑于星期五现在是9页\一共有115页\编辑于星期五现在是10页\一共有115页\编辑于星期五判别函数W（x）是X的二次函数.

现在是11页\一共有115页\编辑于星期五（2）多总体的距离判别

现在是12页\一共有115页\编辑于星期五现在是13页\一共有115页\编辑于星期五现在是14页\一共有115页\编辑于星期五现在是15页\一共有115页\编辑于星期五（3）判别准则的评价

判别准则的优劣，可以用它的误判概率来衡量。

只有当总体的分布完全已知时，才有可能计算误判概率。现在是16页\一共有115页\编辑于星期五在实际应用中，我们可利用的资料只是来自各总体的训练样本，而总体的分布是未知的，下面以两个总体为例，介绍两种以训练样本为基础的评价准则：（i）貌似误判率方法

——利用回判的误判率来衡量判别准则的效果：现在是17页\一共有115页\编辑于星期五现在是18页\一共有115页\编辑于星期五(ii)刀切法或称交叉确认法（Cross-Validation）基本思想：

现在是19页\一共有115页\编辑于星期五注意：1.误判率依赖于所考虑的各总体之间的分离程度。各总体之间离得越远，就越能建立有效的判别准则。

2.协方差阵是否相等需要经过检验。可以证明它是实际误判概率的渐近无偏估计。

现在是20页\一共有115页\编辑于星期五§6.2.Bayes判别

现在是21页\一共有115页\编辑于星期五

首先，在全年的365天中有感地震是较少的,破坏性地震更是罕见。如果考虑到这个因素，在没有特大的异常时，就应该预报“无震”，这样比较稳妥，这是由于历史上的先验知识告诉我们：“有震”与“无震”这两个总体本身各自出现的概率相差悬殊，在难以判断时，应优先判为出现的概率较大的那个总体。其次，错判有两种：“有震”报为“无震”是“漏报”，“无震”报为“有震”是“虚报”。二者皆可以造成损失，但损失却会很不相同。“漏报”会使人民群众在毫无准备的情况下，面临巨大灾难，会造成大量伤亡，而“虚报”会造成生产停顿，人心不安，有时的损失也不亚于“漏报”造成的损失。现在是22页\一共有115页\编辑于星期五例2．将一个正品电子元件判为次品，所损失的只是生产厂家（若这种元件的成本不是很昂贵的话），但若将次品判为正品而使用到更大的系统中，则有可能造成整个系统的损坏（这种损失往往是很大的）。例3．将实际生病的人判为无病，有可能导致病情加重甚至死亡而造成损失，反之将无病者诊断为有病，可给他们造成不必要的医疗费用支出和精神负担。

现在是23页\一共有115页\编辑于星期五

Bayes判别的基本思想

现在是24页\一共有115页\编辑于星期五判定为实际为现在是25页\一共有115页\编辑于星期五现在是26页\一共有115页\编辑于星期五在判别准则D之下总期望损失为

现在是27页\一共有115页\编辑于星期五(1)两总体的Bayes判别

总期望损失为

现在是28页\一共有115页\编辑于星期五Bayes判别准则：

对给定的样品x，计算两总体的概率密度函数在x处的值。

现在是29页\一共有115页\编辑于星期五现在是30页\一共有115页\编辑于星期五现在是31页\一共有115页\编辑于星期五现在是32页\一共有115页\编辑于星期五现在是33页\一共有115页\编辑于星期五现在是34页\一共有115页\编辑于星期五当时SAS程序为：datak62;inputcategory$x1x2@@;cards;h24.8-2h24.1-2.4h26.6-3h23.5-1.9h25.5-2.1h27.4-3.1w22.1-0.7w21.6-1.4w22-0.8w22.8-1.6w22.7-1.5w21.5-1w22.1-1.2w21.4-1.3;proc

discrim

data=k62pool=yeswcovpcovcrosslisterr;priorsproportional;

classcategory;varx1x2;

run;

现在是35页\一共有115页\编辑于星期五

TheDISCRIMProcedure

Observations14DFTotal13Variables2DFWithinClasses12Classes2DFBetweenClasses1

ClassLevelInformation

VariablePriorcategoryNameFrequencyWeightProportionProbabilityhh66.00000.4285710.428571ww88.00000.5714290.571429输出结果为：现在是36页\一共有115页\编辑于星期五

TheDISCRIMProcedureWithin-ClassCovarianceMatrices

category=h,DF=5

VariableLabelx1x2x1x12.213666667-0.657666667x2x2-0.6576666670.269666667

category=w,DF=7

VariableLabelx1x2x1x10.2735714286-.0632142857x2x2-.06321428570.1069642857现在是37页\一共有115页\编辑于星期五

TheDISCRIMProcedure

PooledWithin-ClassCovarianceMatrix,DF=12

VariableLabelx1x2x1x11.081944444-0.310902778x2x2-0.3109027780.174756944

PooledCovarianceMatrixInformation

NaturalLogoftheCovarianceDeterminantoftheMatrixRankCovarianceMatrix2-2.38145现在是38页\一共有115页\编辑于星期五

TheDISCRIMProcedure

PairwiseGeneralizedSquaredDistancesBetweenGroups

2__-1__D(i|j)=(X-X)'COV(X-X)-2lnPRIORijijj

GeneralizedSquaredDistancetocategory

Fromcategoryhwh1.6946012.07320

w12.648571.11923现在是39页\一共有115页\编辑于星期五

TheDISCRIMProcedure

LinearDiscriminantFunction

_-1_-1_Constant=-.5X'COVX+lnPRIORCoefficientVector=COVXjjjj

LinearDiscriminantFunctionforcategory

VariableLabelhwConstant-435.20128-379.48048

x1x139.7429537.65361x2x256.8762960.19281现在是40页\一共有115页\编辑于星期五

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322ResubstitutionSummaryusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)-2lnPRIORjjjjPosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryhwTotalh51683.3316.67100.00w0880.00100.00100.00Total591435.7164.29100.00现在是41页\一共有115页\编辑于星期五

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322ResubstitutionSummaryusingLinearDiscriminantFunction

NumberofObservationsandPercentClassifiedintocategory

FromcategoryhwTotalPriors0.42860.5714

ErrorCountEstimatesforcategory

hwTotalRate0.16670.00000.0714Priors0.42860.5714现在是42页\一共有115页\编辑于星期五

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K322Cross-validationResultsusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)j(X)j(X)(X)j

PosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkk现在是43页\一共有115页\编辑于星期五

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K322Cross-validationResultsusingLinearDiscriminantFunction

PosteriorProbabilityofMembershipincategory

ClassifiedFromintoObscategorycategoryhw4hw*0.19500.8050

*Misclassifiedobservation现在是44页\一共有115页\编辑于星期五

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322Cross-validationSummaryusingLinearDiscriminantFunctionGeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)-2lnPRIORj(X)j(X)(X)jjPosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryhwTotalh51683.3316.67100.00w0880.00100.00100.00Total591435.7164.29100.00

现在是45页\一共有115页\编辑于星期五

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K322Cross-validationSummaryusingLinearDiscriminantFunction

NumberofObservationsandPercentClassifiedintocategory

FromcategoryhwTotalPriors0.42860.5714

ErrorCountEstimatesforcategory

hwTotalRate0.16670.00000.0714Priors0.42860.5714现在是46页\一共有115页\编辑于星期五(2)多总体的Bayes判别

1)一般总体

现在是47页\一共有115页\编辑于星期五现在是48页\一共有115页\编辑于星期五现在是49页\一共有115页\编辑于星期五现在是50页\一共有115页\编辑于星期五在给定的误判损失下，有现在是51页\一共有115页\编辑于星期五2)正态总体

在误判损失不等的情况下，只能按一般准则判别。在等误判损失下，Bayes判别准则等价于现在是52页\一共有115页\编辑于星期五现在是53页\一共有115页\编辑于星期五现在是54页\一共有115页\编辑于星期五现在是55页\一共有115页\编辑于星期五将以上数据建立SAS数据文件k61,根据该数据建立判别砂基是否液化的准则，并对其优良性作评价，其sas程序如下（假设）：Datak61;Inputcategory$x1x2x3x4x5x6x7;Cards;I6.6039.001.006.006.00.1220.00I6.6039.001.006.0012.00.1220.00I6.1047.001.006.006.00.0812.00I6.1047.001.006.0012.00.0812.00I8.4032.002.007.5019.00.3575.00I7.206.001.007.0028.00.3030.00I8.40113.003.506.0018.00.1575.00I7.5052.001.006.0012.00.1640.00I7.5052.003.507.506.00.1640.00I8.30113.00.007.5035.00.12180.00I7.80172.001.003.5014.00.2145.00I7.80172.001.503.0015.00.2145.00II8.4032.001.005.004.00.3575.00II8.4032.002.009.0010.00.3575.00II8.4032.002.504.0010.00.3575.00II6.3011.004.507.503.00.2015.00现在是56页\一共有115页\编辑于星期五II7.008.004.504.509.00.2530.00II7.008.006.007.504.00.2530.00II7.008.001.506.001.00.2530.00II8.30161.001.504.004.00.0870.00II8.30161.00.502.501.00.0870.00II7.206.003.504.0012.00.3030.00II7.206.001.003.003.00.3030.00II7.206.001.006.005.00.3030.00II5.506.002.503.007.00.1818.00II8.40113.003.504.506.00.1575.00II8.40113.003.504.508.00.1575.00II7.5052.001.006.006.00.1640.00II7.5052.001.007.508.00.1640.00II8.3097.00.006.005.00.15180.00II8.3097.002.506.005.00.15180.00II8.3089.00.006.0010.00.16180.00II8.3056.001.506.0013.00.25180.00II7.80172.001.003.506.00.2145.00II7.80233.001.004.506.00.1845.00;procdiscrimdata=k61pool=yeswcovpcovlisterrcrosslisterr;classcategory;varx1-x7;run;现在是57页\一共有115页\编辑于星期五输出结果如下：

TheDISCRIMProcedure

Observations35DFTotal34Variables7DFWithinClasses33Classes2DFBetweenClasses1

ClassLevelInformation

VariablePriorcategoryNameFrequencyWeightProportionProbabilitII1212.00000.3428570.500000IIII2323.00000.6571430.500000现在是58页\一共有115页\编辑于星期五DiscriminantAnalysisWithin-ClassCovarianceMatrices

CATEGORY=IDF=11

VariableX1X2X3X4X5X6X7

X10.7122.340.300.054.190.0428.32X222.343046.611.12-58.5968.73-0.23905.91X30.301.121.110.20-2.940.02-6.11X40.05-58.590.202.093.450.0120.45X54.1968.73-2.943.4578.570.28314.32X60.04-0.230.020.010.280.010.41X728.32905.91-6.1120.45314.320.412135.00现在是59页\一共有115页\编辑于星期五DiscriminantAnalysisWithin-ClassCovarianceMatrices

CATEGORY=IIDF=22

VariableX1X2X3X4X5X6X7

X10.6227.62-0.460.030.47-0.0128.36X227.624339.71-38.70-35.34-28.98-3.391023.57X3-0.46-38.702.450.430.510.02-31.88X40.03-35.340.432.770.710.0314.53X50.47-28.980.510.7110.510.0852.74X6-0.01-3.390.020.030.080.01-1.03X728.361023.57-31.8814.5352.74-1.033040.96现在是60页\一共有115页\编辑于星期五DiscriminantAnalysis

PooledWithin-ClassCovarianceMatrixDF=33

VariableX1X2X3X4X5X6X7

X10.6525.86-0.210.041.710.0128.35X225.863908.68-25.43-43.093.59-2.33984.35X3-0.21-25.432.010.36-0.640.02-23.29X40.04-43.090.362.541.620.0216.50X51.713.59-0.641.6233.200.15139.93X60.01-2.330.020.020.150.01-0.55X728.35984.35-23.2916.50139.93-0.552738.98现在是61页\一共有115页\编辑于星期五

TheDISCRIMProcedurePooledCovarianceMatrixInformation

NaturalLogoftheCovarianceDeterminantoftheMatrixRankCovarianceMatrix713.2611314

PairwiseGeneralizedSquaredDistancesBetweenGroups2__-1__D(i|j)=(X-X)'COV(X-X)ijijGeneralizedSquaredDistancetocategoryFromcategoryIIII07.35277II7.352770现在是62页\一共有115页\编辑于星期五

TheDISCRIMProcedureLinearDiscriminantFunction

_-1_-1_Constant=-.5X'COVXCoefficientVector=COVXjjj

LinearDiscriminantFunctionforcategory

VariableIIIConstant

-98.84752-95.00006X130.3506029.87680X2-0.15214-0.15210X3-0.78868-0.22662X41.951761.39528X50.589640.06490X6-108.10195-85.33735X7-0.31156-0.25957

现在是63页\一共有115页\编辑于星期五

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K321ResubstitutionResultsusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_D(X)=(X-X)'COV(X-X)jjj

PosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkk现在是64页\一共有115页\编辑于星期五

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K321ResubstitutionResultsusingLinearDiscriminantFunction

PosteriorProbabilityofMembershipincategory

ClassifiedFromintoObscategorycategoryIII

9III*0.34010.659929III*0.85710.1429*Misclassifiedobservation

现在是65页\一共有115页\编辑于星期五

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K321ResubstitutionSummaryusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction2_-1_D(X)=(X-X)'COV(X-X)jjj

PosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryIIITotal

I1111291.678.33100.00II122234.3595.65100.00Total122335Percent34.2965.71100.00现在是66页\一共有115页\编辑于星期五

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K321ResubstitutionSummaryusingLinearDiscriminantFunction

NumberofObservationsandPercentClassifiedintocategory

FromcategoryIIITotalPriors0.50.5

ErrorCountEstimatesforcategory

IIITotalRate0.08330.04350.0634Priors0.50000.5000现在是67页\一共有115页\编辑于星期五

TheDISCRIMProcedure

ClassificationResultsforCalibrationData:WY2.K321

Cross-validationResultsusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction

2_-1_

D(X)=(X-X)'COV(X-X)

j(X)j(X)(X)j

PosteriorProbabilityofMembershipinEachcategory

22

Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))

jkk

现在是68页\一共有115页\编辑于星期五

TheDISCRIMProcedureClassificationResultsforCalibrationData:WY2.K321Cross-validationResultsusingLinearDiscriminantFunction

PosteriorProbabilityofMembershipincategory

ClassifiedFromintoObscategorycategoryIII

9III*0.09730.902728III*0.61300.387029III*0.96430.035735III*0.84700.1530

*Misclassifiedobservation现在是69页\一共有115页\编辑于星期五

TheDISCRIMProcedureClassificationSummaryforCalibrationData:WY2.K321Cross-validationSummaryusingLinearDiscriminantFunction

GeneralizedSquaredDistanceFunction2_-1_D(X)=(X-X)'COV(X-X)j(X)j(X)(X)jPosteriorProbabilityofMembershipinEachcategory

22Pr(j|X)=exp(-.5D(X))/SUMexp(-.5D(X))jkkNumberofObservationsandPercentClassifiedintocategoryFromcategoryIIITotal

I1111291.678.33100.00II3202313.0486.96100.00Total142135Percent40.0060.00100.00现在是70页\一共有115页\编辑于星期五