数据挖掘与智能科学家系统.doc

数据自动分析技术与智能科学家系统 前言怎样才能让计算机学会像人一样思考？具有创造力，能“顿悟”，有灵感？并能进行抽象思维？百度总裁李彦宏将此称之为计算机深度学习，并成立了百度深度学习研究院研究这个大课题。来自数据自动分析领域的新成果为此打开了一条通道，让计算机不仅能够“学习”，更能像科学家一样思考。作者就此写了一篇论文，本篇正文里刊载了论文前言的部分内容。来源 /shikuangguancha-119500-7816-item-21041.html 正文数据分析在狭义的情况下叫做数据挖掘，这是一种致力于从数据中读取知识的技术。这里的“知识”是指狭义的知识，即通常所说的文字信息或概念体系。实际上，数据本身也是知识的一种，是数字形式的知识。现实中绝大多数数据结构上的模式化特征被隐藏起来，看上去往往没有明显的规律。大多数人无法直接从数据中抽取概念，理解数据陈述的信息，就不能直接用数据指导实践。对数据敏感型头脑来说，无需借助其他技术就能从数据中直接读取他感兴趣的话题，他们是对这项技术的冷眼旁观者。一项技术要想为人类社会发展带来一场里程碑式的革命，它就必须在根本上击败人类群体中的冷眼旁观者。比如，蒸汽机一定可以打败最有力气的人类，任何人都不可能输出比电更好的能量驱动工具运行，计算机在运算速度、容量、稳定性和持久性上超越数学天才。数据挖掘技术有相当大的潜力具有里程碑式的作用和意义，这只是时间问题。统计学在数据挖掘领域捷足先登，取得了非常大的成就。来自某些领域的信息显示，以统计学为基础的数据分析能够得到的知识甚至有望冲击诺贝尔奖。从数学思维角度来看，统计学代表的是数学思维的几种方式之一。无论是出于对“思维方式”的信仰，还是科学依据，我们都认为，数据分析还应该有代表其他思维方式的数学分支来承担。在这篇文章中，作者创造了非统计数据分析体系，并不是故意另辟蹊径，而是由于对统计学不精通。幸运的是，新方法不仅丰富了数据挖掘技术体系，还导致了自动分析技术的可能，并有希望开辟一个崭新的数学领域。事实上，客观问题本身的结构多种多样，人的思维方式也多种多样，数据挖掘要想在遍地开花的高新技术领域中获得实质性进展，获得实质性的重要地位，便不可能受任何一个数学分支独裁。人是具有目的性和主观能动性的生命。对于人类来说，数据来源于客观世界，就应该能够以某种方式回归到客观世界。这并不仅是一句半哲学化的说辞，它指明了有效数据分析工作的基本结构。用一个图来表示，即： 指数化 客观（实践） 数据（分析）. 互译实际的工作流程要复杂得多。这个简单的结构最重要的意义在于：它时刻提醒研究者和使用者，数据分析必须直面实践问题，并解决问题，以解决领域内关键问题、促进实质性进展为目标。在商业领域，商业的根本目的在于促进商品的流通，生产、存储、运输、销售，数据分析应优化这些主要环节的实施；社会管理领域，经济社会结构是否合理，社会治安是否存在风险，百姓是否安居乐业，数据分析应帮助管理者提取规律，清楚地把握形势，给出预测，形成建议。数据分析必须集中力量解决诸多领域中多年来无法解决的问题，才能成为给人类社会带来新发展的革命性技术。否则只能是人类智力和想象力的一场短暂的虚假盛宴。这个结构还指明，数据分析有两大核心技术：XX技术和XX技术。在这两项核心技术基础上，计算机、算法、数学及其模型占据非常重要的位置。之所以把“XX”和“XX”作为核心技术，是因为只有这两种技术才是由于数据分析需要而催生的研究点，并有可能自成体系地发展为成套理论。它们天生就是为数据分析而来的。然而，并非所有的数据分析都需要涉及如此多的技术范畴。这是因为，上述数据分析都隐含了一个假设：人能做的数据分析。因为人的参与，使得“互译技术”不可缺少。即如下模式： 实践活动 数据 计算机 知识 人 实践活动. 如果仅借助计算机或智能化机器设备，就可以抛弃掉文字与数字的互译环节，直接用指数化技术从实践操作中读取某项数据，经过模式化处理、对应、匹配，作出“数据化”反应，直接指导机器人的“实践”操作。上述模式则简化为： 机器操作 数据 计算机 数据 机器操作.这个过程包含“机器学习”，基本问题是“计算机程序如何随着经验积累自动提高性能”。【1】通常，“机器学习”的数学基础是“统计学”、“信息论”和“控制论”。还包括其他非数学学科。这类“机器学习”对“经验”的依赖性很强。计算机需要不断从解决一类问题的经验中获取知识，学习策略，在遇到类似的问题时，运用经验知识解决问题并积累新的经验，就像普通人一样。我们可以将这样的学习方式称之为“连续型学习”。但人类除了会从经验中学习之外，还会创造，即“跳跃型学习”。这在某些情形下被称为“灵感”或“顿悟”。一直以来，计算机最难学会的就是“顿悟”。或者再严格一些来说，计算机在学习和“实践”方面难以学会“不依赖于量变的质变”，很难从一种“质”直接到另一种“质”，或者从一个“概念”直接到另一个“概念”。正因为如此，这里的“实践”并非同人类一样的实践。人类的实践过程同时包括经验和创造。这是智能化研究者梦寐以求的东西。作者发现，新数据分析方法给计算机学会“创造”提供了一种方法。本质上，这种方法为人的“创造力”的模式化提供了一种相当有效的途径。这种途径是数学赋予的，是普通人无法拥有但计算机可以拥有的“能力”。从此，计算机不仅精于算，还会因精于算而精于创造。计算机学家们应该斩钉截铁地剥夺“精于创造”的计算机过于全面的操作能力，否则计算机真的有一天会“反捕”人类。当回头审视新方法的推演过程和数学的时候，作者拓展了对思维和数学的认识。数学简洁，清晰，可靠性、模式化强。在数学的发展史上，处处闪耀着数学大师们创造力的光辉。这些创造力以各种数学定理或结论的方式呈现出来，而数学定理最大的特点就是：建立在一些基本的概念和公理上，以模式化的语言方式表达出来的包含丰富信息的逻辑结构。应该说，数学是最单纯、最直白地反映着（至少一类）创造力模式的学科。至今为止，数据分析已经呈现出异常迅猛的发展态势，它在各个领域内都跃跃欲试。我们今天只在经济、金融、商业、科研和社会管理中经常看到它的身影，那是因为数据分析将来作为一种独立的理论体系，它必须在刚“出生”时牢牢依附在人的“头脑”中，而人的头脑和身体则必须依附于经济发达的链条上。“数据分析”让部分聪明人掌握了进入能量活跃地带（经济、金融、商业）的能力，通过让这些人们生存发展，来完成自己的生存发展，并等待着机会进入一颗颗天才的脑袋把自己发扬光大。作者为了把数据分析实践约束在有意义的范围内，给自己约定了如下工作方向，或可以作为一种借鉴：（1） 数据分析应关注人。人的生理健康，心理健康；人的最基本的情绪结构和认知结构；人的组织，家庭，社区，地区，国家。（2） 数据分析应关注社会。社会成分结构，社会共识，道德情操，社会基本行为规范，不同社会之间的关系。（3） 数据分析应关注大自然和宇宙。（4） 数据分析应关注各个领域内最根本的问题。（5） 数据分析应关注本身的智能化。即本文要重点展开研究的数据分析自动化。数据分析自动化是作者非常感兴趣的领域，它有一个更加动听的名字叫“数据分析智能化”.即让计算机自己寻找到分析主题，并自动进行分析，建立知识库，指导“实践”.但是，在可以预见的范围内，新的数据分析方法引发的数学进展在智能化领域的作为不仅仅如此.在指数化理论和互译技术的配合下，该方法有很大的可能让计算机成为一个真正拥有人类思维方式的人造结构，成为能生产大量深刻知识的“科学家”，成为具有“智慧”的计算机。 这必定是一个令人神往的世界。数据分析技术必定会给世界科技发展带来深远影响，革命性的变化可能就在下一步发生。无论