《模式识别原理、应用及实现》习题答案 第3章

第三章3.1P(贝叶斯决策理论的决策规则是选择具有最大后验概率的类别作为观测数据x的分类结果C(x)期望损失E是在所有可能的观测数据和类别上，损失函数的期望值：E由于P(CE=贝叶斯决策理论的目标是最小化期望损失E。通过选择C(x)使得PCix最大，我们实际上最小化了Ej=1当Cj=Ci时,L(Ci,Ci)=0因此P(x|C因此，通过选择C(x)使得P(Ci|x)3.2(题目改为python实现)#导入包importscipy.optimizeasoptimimportnumpyasnpfromnumpy.randomimportrandimportmatplotlib.pyplotasplt#抽取样本np.random.seed(10)mu=2;sigma=4;m=100000X=np.sort(np.random.normal(mu,sigma,m))y=(1/np.sqrt(2*np.pi)*sigma)*np.exp(-(X-mu)**2/(2*sigma**2))#绘制图形defplot_density(X,y,mu,sigma):fig=plt.Figure(figsize=(6,4))grid=plt.GridSpec(1,1)axes=fig.add_subplot(grid[0,0])axes.plot(X,y)axes.set_xlabel("x")axes.set_ylabel("$p(x)$")fordirein['top','right']:axes.spines[dire].set_visible(False)axes.vlines(2,ymin=0,ymax=np.max(y),color='red')axes.text(8,0.25,'$\mu={},\sigma={}$'.format(mu,sigma))fig.subplots_adjust(left=0.1,bottom=0.12,right=0.96,top=0.95,wspace=0.5,hspace=0.5)axes.text(mu-0.5,0.5*np.max(y),'$x={}$'.format(mu))returnfigfig1=plot_density(X,y,mu,sigma)#根据估计量的表达式进行计算hat_mu=np.mean(X)hat_sigma=np.sqrt((X-hat_mu).dot(X-hat_mu)/m)print("Theestimatedvalueofmean:",hat_mu)print("TheestimatedvalueofStandarddeviation:",hat_sigma)#使用scipy的optimize模块进行优化deflikelihood_func(theta,X):m=len(X)z=m*np.log(theta[1])+(1/(2*theta[1]**2))*((X-theta[0]).dot(X-theta[0]))returnzpt=np.array([4,8])result=optim.minimize(likelihood_func,pt,args=(X,),method='Nelder-Mead')print('Status:%s'%result['message'])print('TotalEvaluations:%d'%result['nfev'])solution=result['x']print('Solution:f(%s)'%solution)3.3参数估计是指对于已知分布形式的数据，根据样本数据推断出分布的参数值。例如正态分布的参数估计中，已知数据符合正态分布，但是其均值和方差未知，因此可以通过样本数据推断出正态分布的均值和方差。参数估计的优点在于可以使用已有的分布形式进行推断，并且可以通过极大似然估计等方法获得较准确的参数估计值。缺点在于该方法需要对样本数据分布形式进行严格的假设，并且对于不符合假设分布形式的数据，可能需要使用其他方法进行处理。非参数估计则不依赖于已知分布形式，即在未知分布形式的情况下，对于样本数据，通过某些方法推断出其分布情况。例如，KDE方法就是一种常用的非参数密度估计方法，可以在未知数据分布形式的情况下，通过样本数据估计出其密度分布并进行分析。非参数估计的优点在于可以用于各种数据分布形式的估计，具有较高的灵活性，但是可能需要更多的样本数据进行推断，并且可能会产生过度拟合或欠拟合等问题。非参数分类器是一种在分类任务中不对决策边界形式做出假设的分类器。与参数分类器相比，非参数分类器通常更加灵活，因为它们的决策边界不受特定形式的约束。典型的非参数分类器包括K近邻(K-NearestNeighbors)、决策树(DecisionTrees)等。参数估计和非参数估计都是估计模型参数的方法，但参数估计假设了模型的具体形式，而非参数估计则不对模型形式作出假设。非参数分类器通常借助非参数估计的思想，不对决策边界形式做出假设，从