机器学习研究回顾与趋势PPT课件

1、1机器学习研究回顾与趋势王 珏中国科学院自动化研究所2004年9月，秦皇岛2机器学习的发展n至今，n机器学习= 神经科学与认知科学+数学+计算n希望，?。平凡解问题James(19世纪末)：神经元相互连接McCulloch, Pitts(20世纪中期): “兴奋”和“抑制”Hebb(20世纪中期):学习律神经科学Barlow：功能单细胞假设Hebb：神经集合体假设Rosenblatt：感知机（1956）Rumelhart：BP（1986）PAC (Valiant 1984)Schapire：弱学习定理（1990）Freund：AdaBoost（1996）线性不可分问题（Minsky 1969）

2、Vapnik：SVM（1991）有限样本统计理论线性空间表示？i.i.d问题一致性假设30年Widrow：Madline（1960）Samuel：符号机器学习机器学习研究历程？泛化理论4符号机器学习nSolomonoff关于文法归纳的研究应该是最早的符号机器学习(1959)。n1967年Gold证明，这是不可能的实现的。nSamuel将学习限制在结构化数据，由此，学习演变为约简算法，这是现代符号机器学习的基础。n如果将每条规则理解为一个分类器，符号机器学习是Hebb路线的产物。 5“机器学习”现状n神经科学与认知科学扮演先知者角色。n数学填充了神经科学和认知科学与计算之间的沟堑。n现状是：神经

3、与认知的成果并没有多少被使用于计算。6机器学习的研究趋势n尽管“学习机制”还是研究的动力，然而， “烦恼网络”的危机，使得更为重要的推动力来自“有效利用”信息。n传统领域借用机器学习提高研究水平。n应用驱动的机器学习方法层出不穷。n基于机器学习的数据分析方法成为解决复杂问题的关键之一。7传统领域借用机器学习提高研究水平n文本与图像占信息的绝大数，近几年，n模式识别最引人注目的是机器学习在这个领域扮演日益重要的角色。n在文本分析与自然语言理解上，数据资源建设逐渐完善，关注的焦点是机器学习，文法归纳的方法已死灰复燃。8应用驱动的机器学习方法层出不穷n面临信息多种多样，复杂！n流形机器学习：稀疏数据

4、的非线性方法 (特征抽取)。n增强学习：对变化环境适应(机器人)。n多实例学习：半监督学习(药物设计)。nranking学习：需求是事物排序的学习(搜索引擎)。n数据流学习：大量数据快速过滤(有害信息过滤)。n这些问题大多数没有坚实的理论基础，处于实验观察阶段。9基于机器学习的数据分析方法成为解决复杂问题的关键之一n由于大部分问题不能满足机器学习所需的条件，因此，需要考虑数据分析。n符号数据分析(数据挖掘)：关联规则，例外分析。n例外分析：Shapard and Nosofsky的的认知研究认知研究+符号机器学习符号机器学习10机器学习存在的理论问题n统计类机器学习需要满足独立同分布条件，严厉！n寻找问题线性表示的空间，没有一般的原则。n信息向符号的映射，没有好的方法。n机器学习没有一劳永逸的解决方案。n领域知识与数据分析不可避免。11AI的悲剧角色n当问题没有理论解决方案时，人们说，这是AI问题，让AI研究吧。n当问题在AI研究中已经解决，人们为了避免回答“这就是智能吗”之类的问题，说，这与AI无关(“深蓝”)。n不能解决的问题远远大于能够解决问题，因此，AI有存在的必要性。12特殊比普适更重要n在研究方法上，AI研究应该向非线性等领域学习，一类问题的深入研究比普适的研究更重要。n例如，