机器学习与数据挖掘

1、机器学习与数据挖掘数学方法与理论（1）9/11/20221Multimedia Search Engine机器学习的数学方法与理论原始数据人工分析机器学习训练样本模型新数据结果离线过程在线过程数学方法决定性步骤尚无有效的理论指导机器学习过程9/11/20222Multimedia Search Engine机器学习的数学方法与理论机器学习任务的主要类型分类通过特征矢量预测离散的目标函数的值回归通过特征矢量预测连续的目标函数的值自回归聚类通过特征矢量提取分布信息拓扑、例外检测9/11/20223Multimedia Search Engine机器学习的数学方法与理论机器学习方法的主要类型有监督学

2、习（Supervised learning）所有训练样本都有人工标注无监督学习（Unsupervised learning）所有训练样本没有标注（大多数聚类算法）半监督学习（Semi-supervised learning）部分训练样本有人工标注利用廉价的未标注样本提高学习性能传导学习（Transduction）特殊的半监督学习：待分类样本可批处理，则把待分类样本作为未标注样本加入学习过程9/11/20224Multimedia Search Engine分类算法分类算法的基本框架特征矢量01分类器分类模型9/11/20225Multimedia Search Engine分类算法例：水果包装

3、流水线需将传送带上的水果按类放置在不同的包装箱01圆度9/11/20226Multimedia Search Engine分类算法例：水果包装流水线需将传送带上的水果按类放置在不同的包装箱分类算法g(x) = x1-Tg(x)0: 苹果； g(x)=0：香蕉分类模型W=(1,T)X=(x,1)g(x)=W XT9/11/20227Multimedia Search Engine分类算法例：水果包装流水线需将传送带上的水果按类放置在不同的包装箱01圆度9/11/20228Multimedia Search Engine分类算法例：水果包装流水线需将传送带上的水果按类放置在不同的包装箱圆度颜色9/

4、11/20229Multimedia Search Engine分类算法例：水果包装流水线需将传送带上的水果按类放置在不同的包装箱分类算法 分类模型W=(w1, w2, w3)X=(x,1)g(x)=W XT9/11/202210Multimedia Search Engine分类算法不可分问题（1）广义线性判别函数目前被认为效果最好的SVM也是基于此理论变换到更高维的空间即可线性分离9/11/202211Multimedia Search Engine分类算法不可分问题（2）无论变换到什么空间都不大可能实现线性分类处理这个问题的方法是各种分类器的区别所在9/11/202212Multimed

5、ia Search Engine分类算法线性分类器特征矢量01分类模型Wg(x)=W XTg(x)0XT如何获得W?9/11/202213Multimedia Search Engine分类算法线性分类器获得权矢量W的方法先验知识例：苹果圆度接近1，香蕉圆度接近0用T=0.7可作为合适的分类权重难以普遍采用如何改进？训练的方法通过事先标注好的样本计算优化的W9/11/202214Multimedia Search Engine分类算法分类算法的训练几何方法利用样本的分布求分类(超)平面方程组求解法/data/upfile/2006126104839216.PPT神经网络（感知器算法）http:/tuto