第6章 非监督学习方法

1、第6章 非监督学习方法（聚类分析）,基本概念 分级聚类法 C均值聚类法 实验介绍,6.1 基本概念,监督学习(Supervised Classification) 利用已知类别的样本进行训练 非监督学习(Nonsupervised Classification) 所用样本没有类别标志（本章主要研究） 聚类分析 按照物以类聚的思想，对未知类别的样本集根据样本之间的相似程度分类，相似的归为一类。,6.1 基本概念,什么叫两个样本相似？ 模式的相似性测度 相似到什么程度归为一类？ 聚类准则，聚类准则不同，分类结果也不同,羊，狗,金鱼，青蛙,以胎生为准则聚类,羊，狗,金鱼,青蛙,以生存环境为准则聚类,

2、6.1 基本概念,模式相似性测度 度量同一类样本间的类似性和不属于同一类样本间的差异性。 1、距离度量 欧氏距离：设 为两个样本，则,6.1 基本概念,欧氏距离 欧氏距离在使用中反映各特征分量的样本个数应均衡。 例如，取5个样本，其中有4个反映对分类有意义的特征A，只有1个对分类有意义的特征B，欧氏距离的计算结果，则主要体现特征A。 马氏距离 马氏距离排除了不同特征之间相关性的影响。,6.1 基本概念,距离测度的优缺点 以距离作为测度具有平移不变性和旋转不变性，但不具尺度不变性。,平移不变,旋转不变,6.1 基本概念,距离测度的优缺点,不具有尺度不变性,6.1 基本概念,2、角度测度,6.1

3、基本概念,角度测度具有尺度不变性和旋转不变性，不具有平移不变性。 缺点：,此时发生归为一类的错误,6.2 分级聚类法（系统聚类）,聚类分析是把N个没有类别标志的样本分成若干类,6.2 分级聚类法（系统聚类）,第一级,第二级,第三级,第四级,第五级,第六级,10,20,30,40,80,类间距离突然增大 在此处停止聚类较合理,缺陷：某一样本若在某级划分中归入了某一类，则在后面的划分中，它永远属于该类。,6.2 分级聚类法（系统聚类）,分级聚类需要解决的两个问题 聚类停止的两个可选条件,6.2 分级聚类法（系统聚类）,类间距离定义（区别于样本间距离） （1）最近距离,6.2 分级聚类法（系统聚类）

4、,类间距离定义（区别于样本间距离） （2）最远距离 （3）均值距离,选择不同的距离，可得到不同的聚类的结果，用不同的方法试一下，选一个合理的距离定义。,6.2 分级聚类法（系统聚类）,6.2 分级聚类法（系统聚类）,例：给出六个五维模式样本如下，按最小 距离准则进行系统聚类分类并画出聚类过程树。最小距离准则指类间距离采用最小距离定义。,6.2 分级聚类法（系统聚类）,解：1.将每个样本看成一类，则有六类模式样本，即,6.2 分级聚类法（系统聚类）,2.上表最小距离为 ，是 与 之间距离，合为一类，得,6.2 分级聚类法（系统聚类）,3.上表最小距离为 ，合并 与 ，得,6.2 分级聚类法（系统

5、聚类）,4.上表最小距离 ，合并 与 ，得,系统聚类树,6.2 C均值算法（动态聚类法）,系统聚类缺陷 系统聚类中如样本被划入某一类，则在以后各级划分中，样本始终属于该类，动态聚类可动态调整类属，是普遍采用的方法。,动态聚类流程,6.2 C均值算法（动态聚类法）,初始化聚类中心 (1)根据具体问题，凭经验从样本集中选出C个比较合适的样本作为初始聚类中心。 (2)用前C个样本作为初始聚类中心 (3)将全部样本随机地分成C类，计算每类的样本均值，将样本均值作为初始聚类中心。,6.2 C均值算法（动态聚类法）,初始聚类 (1)按就近原则将样本归入各聚类中心所代表的类中。 (2)取一样本，将其归入与其

6、最近的聚类中心的那一类中，重新计算样本均值，更新聚类中心。然后取下一样本，重复操作，直至所有样本归入相应类中。,6.2 C均值算法（动态聚类法）,聚类准则函数 误差平方和准则函数,最小方差划分,算法步骤： 已知样本集为 （1）给定类别数C和允许误差Emax, k1 （2）初始化聚类中心 （3）修正 （4）修正聚类中心 （5）计算误差 ，如eEmax，结束，否则转（3）,6.2 C均值算法（动态聚类法）,6.2 C均值算法（动态聚类法）,聚类结果 单样本改进 每调整一个样本的类别就重新计算一次各类的聚类中心,只调整一个样本,6.2 C均值算法（动态聚类法）,聚类类别数的确定,实验方法确定类别数,

7、本章小结,分级聚类法 C均值聚类法 小结：非监督识别比监督识别存在更大不确定性，因训练样本类别未知，甚至聚类数也未知，可用信息大大减少，因此应注意利用专门领域的知识。,K均值聚类算法（C均值）,一、实验目的 将模式识别方法与图像处理技术相结合，掌握利用K均值聚类算法进行图像分类的基本方法，通过实验加深对基本概念的理解。 二、实验仪器设备及软件 HP D538、MATLAB、WIT 三、实验原理 参照C均值动态聚类课堂笔记,K均值聚类算法（C均值）,四、实验步骤及程序 理解K均值算法基本原理，编写程序实现对自选图像的分类，并将所得结果与WIT处理结果进行对比。实验程序附于实验报告。 五、实验结果

8、与分析 以MATLAB和WIT分别实现K均值图像聚类算法，写明聚类类别数、聚类中心、迭代次数、运行时间，附原始图像和分类结果图像，并做实验分析。,WIT简介,WIT是一个图形编程环境，用于进行机器视觉应用的快速原型开发。,WIT简介开发方式,图形化编程方式,WIT简介检测结果,直线检测结果,WIT简介特性,综合性图像处理库 灵活的相机接口 WIT引擎 一种用作DLL和ActiveX组件的执行引擎，允许使用VB、VC定制GUI。 多CPU执行：针对拥有多CPU的PC eWit：在联网PC上执行应用程序，分布式计算 C代码生成 算子开发工具,WIT简介图像处理库,标准库 滤波：低通、Sobel 形

9、态分析：腐蚀、膨胀、骨架化、中值 滤波 分割：阈值分割、C均值聚类、分水岭 几何分析：图像大小调整、旋转 颜色空间处理：RGB/HSV/YUV转换、通道拆分与合并 测量：点到线的距离、线与线的夹角,WIT简介图像处理库,标准库 变换：FFT、DCT、Hough 统计：直方图计算、区域平均 边缘：边缘检测 查找：模版匹配 金字塔：Gauss金字塔、Burt金字塔 图像采集：搭配采集卡 对象：访问各种元素 控制：if-else,WIT简介图像处理库,Smart库 搜索：高效匹配 OCR：光学字符识别 矩阵：一、二维条码 测量：视觉测量、工业测量 颜色分类：颜色识别 线扫描：线扫描相机处理,WIT程序设计方法,启动WIT后按F2弹出算子选择窗口，输入算子名称或从列表中选择，双击将其放入工作区。,WIT程序设计方法,所有程序均以start算子开始,WIT程序设计方法,调入readImage算子以读取图像，以鼠标连接start算子与readImage算子。,WIT程序设计方法,右键单击readImage算子，弹出属性框，可选择图像。,基于WIT的Kmeans算法,基于WIT的Kmeans算法,可利用直方图确定