基于adaboost算法的模式识别.doc

基于adaboost算法的模式识别摘要模式识别技术是一种很常见的技术，它应用于各个领域，而adaboost算法是一种很经典的算法，应用也相当广泛。本文主要针对adaboost算法进行研究，这是一种迭代算法，只要对弱分类器进行研究，使弱分类器的准确度大于50%，那么由若干个弱分类器组成的强分类器便会无限接近于100%。所以判别一个弱分类器的好坏，便可以从它的错误率进行判断。本文通MATLAB的仿真，通过对仿真结果的观察和对比，判断错误率是否符合要求，研究adaboost算法的识别能力，可以看出其研究价值，对于整个分类的过程，最重要的是需要研究其错误率的高低，如果错误率太高，那么可以认为识别识别（？），生成的强分类器的好坏在于我们对于弱分类器的选取，在选择弱分类器其参数时可在本文中看到需要注意的问题。从辨识的结果中可以发现，使用adaboost算法生成的强分类器错误率很低，大大的提高了模式识别技术的识别能力，所以该算法能够应用于各个领域。关键词：adaboost算法模式识别错误率AbstractPattern recognition technology is one of the most common techniques, it is applied in every field, and adaboost algorithm is a very classic algorithm, applications are very wide. This paper mainly studied adaboost algorithm for, this is a kind of iterative algorithm, but the weak classifier for study, the weak classifier, so the accuracy of more than 50% by several weak classifier composition of strong classifier will infinite close to 100%. So tell if a weak classifier is good or bad, can judgement from its error rate. This paper, through the simulation of MATLAB simulation results observation and comparison, judge whether the error rate adaboost algorithm accords with a requirement, research the recognition ability, we can see the research value, for the whole of classification procedures, the most important is to need to study its error rates the height, if the error rate is too high, so can think recognition recognition, generated strong classifier for the stand or fall of weak classifier is our selection of weak classifier, on the choice when its parameters can be in this paper to see problems needing attention. The results from identification can be found in the adaboost algorithm produces, use strong classifier error rate is very low, and greatly improve the pattern recognition technique ability to identify so this algorithm can applied in various fieldsKeywords：Adaboost algorithm pattern recognition error rates1 引言1.1课题背景长期以来，我们的生活中时时刻刻都在进行模式识别。比如我们可以认出周围的事物是树，还是花，或者是草，可以分清哪个是张三，哪个是李四。而对于这些普通的行为谁也不会感到惊讶，而计算机出现以后，当人们企图用计算机来实现生物的这种识别能力时，才知道它的难度。模式识别诞生于20世纪20年代，随着计算机的出现，在20世纪50年代很快的发展成为一门学科。今为止，模式识别已经经历了一个很漫长的发展，随着新的信息技术的出现，模式识别已经应用与很多科学和技术领域，并取得了大量的成果。1.2 adaboost算法的发展随着对模式识别的深入研究，在1995年，Feund 和Schapire 提出了AdaBoost算法 。AdaBoost 全称为Adaptive Boosting，作者说取名叫作 AdaBoost 是因为这个算法和以前的Boosting算法都不同（原先的Boosting算法需要预先知道假设的错误率下限），它根据弱学习的反馈适应性地（adaptively）调整假设的错误率也就是说，AdaBoost 算法不需要任何关于弱学习器性能的先验知识，加上它和原来Boosting算法的效率一样，因此可以非常容易地应用到实际问题中。而在1990 年，Schapire最先构造出一种多项式级的算法 ，即最初的Boosting算法。这种算法可以将弱分类规则转化成强分类规则。一年后，Freund 提出了一种效率更高的Boosting算法 。1993 年，Drucker 和Schapire第一次以神经网络作为弱学习器，应用Boosting算法来解决实际的OCR问题 。 Boosting 算法在分类、建模、图像分割、数据挖掘等领域均已得到简单而有效的应用。目前对adaboost的研究主要是对于算法的改进，其中经典例子是Viola提出的级联结构算法。大大的加快了辨识速度，简化了adaboost算法。adaboost算法应用于很多领域，比如：人脸识别，神经网络等等。1.3本课题研究的意义Adaboost算法是针对不同的训练集训练同一个基本分类器（弱分类器），然后把这些在不同训练集上得到的分类器集合起来，构成一个更强的最终的分类器（强分类器）。理论证明，只要每个弱分类器分类能力比随机猜测要好，当其个数趋向于无穷个数时，强分类器的错误率将趋向于零。AdaBoost算法中不同的训练集是通过调整每个样本对应的权重实现的。最开始的时候，每个样本对应的权重是相同的，在此样本分布下训练出一个基本分类器h1(x)。对于h1(x)错分的样本，则增加其对应样本的权重；而对于正确分类的样本，则降低其权重。这样可以使得错分的样本突出出来，并得到一个新的样本分布。同时，根据错分的情况赋予h1(x)一个权重，表示该基本分类器的重要程度，错分得越少权重越大。在新的样本分布下，再次对基本分类器进行训练，得到基本分类器h2(x)及其权重。依次类推，经过T次这样的循环，就得到了T个基本分类器，以及T个对应的权重。最后把这T个基本分类器按一定权重累加起来，就得到了最终所期望的强分类器。本文研究的方向是如何能让分类器错误率最小化，如何使强分类器可靠性最强，减少中间的运算量，降低运算速度。1.4本文主要内容第一章主要介绍了课题背景和与课题相关的主要内容。第二章介绍了关于adaboost算法的流程，可以熟悉这种算法的基本原理，以及其优劣点。第