《模式识别原理、应用及实现》 课件 10.模式识别的工程应用

第10章模式识别的工程应用武汉理工大学本章内容

10.1基于朴素贝叶斯的中文文本分类10.2基于PCA(主成分分析)和SVM(支持向量机)的人脸识别10.3基于ResNet的图像分类10.1基于朴素贝叶斯的中文文本分类文本挖掘与分类技术：文本分类技术是文本挖掘的重要研究方向，它是指依据文本的内容和预定义的类别，为文本库中的每个文本确定所属的类别，以便于实现信息的准确定位，提高用户查询和检索的效率。文本分类的过程：*文本表示*模型训练*分类算法（核心）主流的分类算法：朴素贝叶斯分类算法、k-近邻算法、决策树算法等k-近邻算法：基于统计的懒惰学习算法决策树算法：经典算法之一是ID3算法朴素贝叶斯分类算法：是一种简单实用的分类算法，该算法通过引入贝叶斯条件概率公式对文档进行训练，然后依据训练得到的分类器将测试文本划分到使其后验概率最大的文档类中。10.1基于朴素贝叶斯的中文文本分类10.1.1文本分类原理1．中文文本分类概念

中文文本分类是根据给定的文本的内容，将其判别为事先已经确定好的文本类别的某一个类或某几个类的过程。

从数学上来讲，中文文本分类是一个映射过程，它将未标明类型的文本映射到已有的类别中，这里的映射可以是一对一，也可以是多对一。2．中文文本分类过程本节采用朴素贝叶斯分类算法对中文文档进行分类。分类过程包括中文向量表、分类器设计和测试样本分类。文本向量表示包括分词、去停用词、特征提取等操作。分类器设计基于贝叶斯决策理论，假设属性独立，通过计算后验概率，将文档归于最大后验概率的类别。测试样本分类是将特征向量和训练样本输入分类器，计算类先验概率、类条件概率和后验概率，最终将样本划分到后验概率最大的类别。10.1.1文本分类原理10.1.2文本特征提取1．语料获取

本节选用清华大学自然语言处理实验室的中文文本分类数据包中的简化子集作为训练语料集C。该语料集包含体育、娱乐、房产、教育、财经五个类别。训练集每类各2000篇文章，测试集每类各500篇文章。使用训练集对朴素贝叶斯模型进行训练，并用测试集进行测试，生成分类器报告和混淆矩阵，以评估分类准确率。10.1.2文本特征提取2．测试文本分词

文本分词是预处理的重要步骤，后续分类需使用文本中的单词来表征文本。中文词与词之间无空格，因此需要自动分词。中文分词是将汉字序列切分为独立的词，即在词之间自动加上空格或边界标记。现有中文分词技术有基于字符串匹配、理解和统计的分词。基于前缀词典生成词图，用动态规划查找最大概率路径，找出基于词频的最大切分组合。未登录词采用基于汉字成词能力的HMM模型和Viterbi算法。[文本分词]↓[中文分词技术]字符串匹配、理解，统计↓[使用Jieba工具包]↓[分词方法]基于前缀词典生成词图↓[处理未登录词]HMM模型和Viterbi算法10.1.2文本特征提取例如随机选取测试数据进行分词的代码如下：input_text="考研复试的机会得来不易，大家一定要端正态度，认真准备，不要认为进了复试就万事大吉"text_with_spaces=""textcut=jieba.cut(input_text)forwordintextcut:

text_with_spaces+=word+''print(text_with_spaces)10.1.2文本特征提取10.1.2文本特征提取运行结果如下：

考研

复试

的

机会

得来不易

，

大家

一定

要端正

态度

，

认真

准备

，

不要

认为

进

了

复试

就

万事大吉10.1.2文本特征提取

3．测试文本去停用词

去停用词是预处理中的重要步骤，其目的是去除对文本内容无表现力的字词，如数字、标点、虚词等，这些词在各类文档中大量出现，无法区分类别，因此需剔除。剔除方法是使用预先构建的停用词表，将停用词从已分词的文本中去除。停用词表的选择很重要，错误选择可能误删关键词，影响分类结果。

10.1.2文本特征提取

常用停用词表有百度、哈工大和四川大学的词表。本节选用包含767个停用词的哈工大停用词表，足以过滤大部分无用词。

例如，将上面分词后的测试文档D去停用词后，结果为：“考研复试机会得来不易大家一定要端正态度认真准备不要认为进复试万事大吉”

经过分词后从原文档中提取出了15个单词。10.1.2文本特征提取

4．测试文本特征提取文本特征提取是文本分类的重要部分，目的是提取与类别相关的特征项，去除噪声，从而降维并提高分类精度。常用的特征提取方法有：*TF-IDF法*词频方法*文档频次方法*交叉信息熵法等上述算法核心是构造评估函数，算法核心是构建评估函数，对每个分词和去停用词后的单词评估，计算类别相关权重，每词得权值。按权值排序提取最优特征子集。10.1.2文本特征提取TF-IDF函数作为评估函数在文本分类领域效果很好。原理是：一个词在某个文档中出现的频率TF（词频）值高，并且在其他文档中出现的总次数1/IDF（反文档频率）低，则认为该词具有很好的类别区分能力，适合作为特征词参与分类。该算法实现公式如下：TF公式：

（10-1）

式中，表示单词在文档中出现的次数，k表示文档中单词的总个数，表示单词在文档中出现的频率。10.1.2文本特征提取IDF公式：

（10-2）

式中，为语料库，表示语料库中文件个数，表示语料库中包含单词的个数。表示单词在其他文档中出现的频率的倒数，则TF-IDF公式为

（10-3）10.1.3朴素贝叶斯分类器设计训练样本库C中所有文本被预先分为5个类别，分别记为，其中每个文档类中包含2000篇文本，记为。待分类的测试文档记为D，其中D由特征提取后的特征项组成，记为，式中表示测试文档中的特征词，N表示测试文本中特征词的个数。在本实验中，

D={复试、端正、万事大吉、得来不易、进了、认真、考研}，那么将文档D判别为类别的判别条件为10.1.3朴素贝叶斯分类器设计（10-4）式中，为类的后验概率，该式表明将D判定为使的后验概率最大的那个文本类，由贝叶斯公式可得（10-5）式中，P(D)为测试文本中特征词的先验概率，对所有类均为常数。上式可简化为（10-6）则将未知测试样本D判定为的条件为（10-7）由文档D中N个特征词相互独立性假设可得（10-8）10.1.3朴素贝叶斯分类器设计式中，为待预测样本特征词在训练文档类中发生的概率，整个式子表示待预测样本所有特征词在训练文档类中概率的连乘。因此，将训练文档判定为D类的判别式为(10-9)式中，先验概率为类训练文档在训练语料库中出现的概率，类条件概率为待预测样本关键词在训练文档类中发生的概率。10.1.3朴素贝叶斯分类器设计10.1.4测试文本分类测试文本分类的过程实质是计算测试特征词在各类训练文档中的类先验概率、类条件概率和后验概率，最后将测试文档判别为后验概率最大的那类文档。1.类先验概率由于类先验概率表示训练文档类别在训练语料中出现的概率，与测试文档无关，所以可由式（9-16）确定。（10-10）式中，表示类别在语料库中的的文档数，在本实验中每一类训练文档数都为2000，即，i=1,2,…,5；N表示语料库中训练文档总数，在本节中训练文档共有10000篇，即N=10000。所以本节中各类文档的先验概率均为2.类条件概率类条件概率表示待预测样本关键词在训练文档类中发生的概率，本节采用词频型方法计算，该方法考虑特征词在训练文档中出现的频次，计算公式为

（10-11）式中，表示测试文档中特征词总数，表示类训练文档数，即，表示特征词在训练文本类文档中出现的频次。10.1.4测试文本分类3．后验概率由类先验概率和类条件概率以及式（9-15）计算后验概率，即在类条件概率连乘结果的基础上乘以类先验概率，结果如表10-4所示。10.1.4测试文本分类

由表10-4结果可知，和其他类别文档相比，教育类文档的后验概率最高，故可将测试文档D判定为教育类别。最后将语料库中选取的每类500篇共计2000篇测试文本输入到朴素贝叶斯分类器中进行分类，分类之前也需要进行特征提取等操作，由表9-6文本分类结果可知，朴素贝叶斯分类器的平均分类准确率为96%。10.1.4测试文本分类人脸识别技术在现代科学技术的发展和模式识别理论的丰富完善下，已广泛应用于海关边检、网络安全、银行系统、身份认证、智能门禁等领域，成为研究热点。其原理是基于脸部特征，对输入的人脸图像或视频进行判断，确定人脸位置并提取身份特征，与已知人脸对比以识别身份。识别率是评估系统的重要指标，好的特征提取方法和分类器是关键。人脸识别过程包括人脸检测、特征提取和分类识别三部分。常见方法有：基于几何特征、彩色信息、模板和统计的人脸识别算法。统计方法将人脸作为高维空间中的向量，转化为寻找分隔超平面的问题。其中，SVM算法是一种基于特征的统计分类算法，具备高准确率和强泛化能力。基于支持向量机的人脸识别过程主要包括人脸图像预处理、特征提取和支持向量机的训练和分类。10.2基于PCA（主成分分析）和SVM（支持向量机）的人脸识别图10-1人脸识别实现过程10.2.1人脸图像获取

为了验证本方法的有效性，采用剑桥大学AT&T实验室ORL人脸库作为人脸图像来源。ORL人脸库包含40个不同个体，每个个体包含10张不同姿态的人脸图像。数据集中的人脸照片都是在不同时间采集的，它们在照明、面部表情（开/闭着眼睛，微笑/不微笑）、面部细节（戴眼镜/无眼镜）上存在很大差异。

对于ORL人脸库，从整个数据集中随机选择一半的人脸图像作为训练集，另一半为测试集。对于每个人选择放入训练集的图像数量也是随机的（2到8张）。10.2.2人脸图像预处理人脸图像预处理是人脸识别的第一步，影响识别效果。其目的是消除无关信息，恢复有用信息，增强可检测性并简化数据，从而提高特征抽取、图像分割、匹配和识别的可靠性。预处理主要包括：图像灰度化高斯平滑直方图均衡。1．图像灰度化图像灰度化的过程就是把彩色图像转换为黑白色图像的过程.在图像处理过程中，最常用的彩色图片格式为RGB，对于RGB图像进行灰度化，通俗地说就是对图像的RGB三个分量进行加权平均得到最终的灰度值本节采用灰度权值法进行图像灰度化，其数学表达式为

Gray=0.072169B+0.715160G+0.212671R10.2.2人脸图像预处理2．高斯平滑处理在图像采集过程中，外界因素会导致随机噪声，如数据丢失和损坏，影响图像质量。因此，需要进行平滑操作消除噪声干扰。噪声点通常是孤立的，与周围像素灰度值显著不同，高频突变。高斯平滑算法平滑后图像失真少，通用性强，能去除不同噪声干扰。10.2.2人脸图像预处理3．直方图均衡直方图均衡化的目的是使输入图像转换为在每一灰度级上都有相同的像素点数，它的处理的中心思想是：把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。10.2.2人脸图像预处理图10-2ORL数据集中的部分人脸图像10.2.2人脸图像预处理10.2.3人脸图像特征提取

人脸特征提取是人脸识别系统的核心。二维人脸图像识别受光照、表情、姿态等因素影响，同一人的不同图像样本差异较大。计算机处理高维度的灰度值矩阵困难，因此需要用较少信息描述人脸的特征提取技术。特征提取的目的有两个：从人脸图像中提取区分度高的特征降低信息冗余，减少样本维数，提高识别速度。

本节采用主成分分析（PCA）算法进行特征提取。10.2.3人脸图像特征提取步骤如下：通过代数方法将描述人脸图像的向量组合，计算协方差矩阵，并求得变换矩阵通过线性变换寻找最优的单位正交基用部分向量的线性组合重建样本，将原始数据投影到变换矩阵确定的空间获得特征。PCA的算法原理详见第6章的KL变换。

在sklearn里，可以从PCA模型的explained_variance_ratio_变量里获取经PCA处理后的数据还原率——方差比重。此方差比重之和就是所选择k个维的数据还原率，数值越大说明失真越小，越接近于1。利用数据还原率选择k值步骤如下：尝试让k取值10~300之间，每隔30进行一次取样计算该k个维度所对应的数据还原率，即方差比重之和根据数据还原率，选择适合的k值。10.2.3人脸图像特征提取图10-3ORL数据集进行PCA后的数据方差比重10.2.3人脸图像特征提取另一方面，通过将主成分中部分向量进行线性组合进行重构样本，分别得到人脸样本共性的人脸特征子空间，从而实现人脸重构。该重构后的人脸包含人脸库中所有人脸的共同特征。结果见下图：10.2.3人脸图像特征提取10.2.4SVM分类器的设计和分类SVM的构造主要依赖于核函数的选择，不同核函数的分类结果不同，目前没有确定核函数的有效方法，通常通过实验尝试。因此，本节采用多项式函数、径向基函数和线性核函数来构造SVM，并测试其分类效果。将经过PCA特征提取的人脸特征向量作为输入，训练SVM生成分类器。需要进行SVM超参数的优化选择，进行网格搜索和交叉验证。利用调整后的参数训练模型，从中找到在验证集上精度最高的参数。图10-5人脸SVM的混淆矩阵10.2.4SVM分类器的设计和分类10.3基于ResNet的图像分类随着网络的加深，出现了训练集准确率下降的现象，可以确定这不是由于Overfit过拟合造成的。根据实验表明，随着网络的加深，优化效果反而越差，测试数据和训练数据的准确率反而降低了。这是由于网络的加深会造成梯度爆炸和梯度消失的问题。

何恺明（KaimingHe）等四名华人提出的残差网络（ResidualNetwork，ResNet）通过给非线性的卷积层增加直连边（ShortcutConnection）的方式来提高信息的传播效率，缓解了在深度神经网络中增加深度带来的梯度消失问题。通过使用ResNetUnit成功训练出了152层的神经网络。在ILSVRC2015比赛中取得冠军，取得了5项第一，刷新历史。10.3.1ResNet10与Cifar10

本节通过自定义的ResNet10对Cifar10图像数据集完成分