张雷博士谈IBM沃森背后的AI技术.doc

张雷博士谈IBM沃森背后的AI技术作者徐涵发布于 2011年3月22日领域 企业架构, 运维 & 基础架构, 架构 & 设计, 语言 & 开发 主题 采访, Java, 人工智能, 语义网, 云计算, 规范, W3C, IBM 分享到不久前，IBM超级计算机沃森（Watson）在美国电视智力答题节目危险边缘（Jeopardy!）中上演了人机大战，并最终击败两位人类冠军，赢得最后的胜利。沃森由IBM全球多个研究院和大学共同研发，历经四年研制而成。IBM中国研究院也参与了该项目的研发。InfoQ中文站有幸采访到来自IBM中国研究院直接参与了沃森项目的张雷博士。张雷博士是IBM中国研究院信息与知识管理部门研究员，在过去的三年中，他和他的研究团队与全球研究团队一起，致力于深度问答项目（DeepQA）的工作，研究并开发了沃森系统。在IBM期间他申请过多项专利并获得过IBM杰出技术成就奖。在学术领域，张雷博士研究兴趣广泛，涉及语义Web、知识表示与推理、信息抽取与检索、问题回答系统以及机器学习等，发表学术论文20余篇。他是WWW、IJCAI、ISWC等重要国际学术会议的程序委员会委员、第九届国际语义网大会（ISWC2010）的本地组织者之一，还是第一届中国语义万维网论坛（CSWS2007）的主要发起人之一。下面有请张博士为我们揭开沃森背后的技术奥秘。多种AI技术的综合运用和强大的计算能力共同造就了沃森InfoQ：张博士，您好！我想大家都已经通过Jeopardy!节目领教到沃森的威力了。从接受人类语言的提问，到用人类语言给出答案，让机器完成这一过程、还要保证相当的正确率，听上去有些不可思议。能否请您举例介绍一下沃森在答题时背后发生了什么？其技术原理是怎样的？张雷：徐涵，您好！非常高兴能接受您的的采访。沃森在拿到问题后，会进行一系列的计算，包括语法语义分析、对各个知识库进行搜索、提取备选答案、对备选答案证据的搜寻、对证据强度的计算和综合等等。它综合运用了自然语言处理、知识表示与推理、机器学习等技术。我们知道，从单一的知识源或者少数的算法出发，很难让问题回答系统达到接近人类的水平。所以，沃森的主要技术原理是通过搜寻很多知识源，从多角度运用非常多的小算法，对各种可能的答案进行综合判断和学习。这就使得系统依赖少数知识源或少数算法的脆弱性得到了极大的降低，从而大大提高其性能。InfoQ：14年前，“深蓝”凭借其大规模计算与枚举能力战胜了国际象棋世界冠军卡斯帕罗夫。如今沃森的成功，有多大程度是依赖于其强大的计算能力，多大程度是依赖人工智能理论本身的发展？张雷：这两方面应该说都起到了很大的作用。人工智能领域的很多技术都应用在了该系统中，这是很明显的。另一方面，如果没有计算能力的进步，我们在提高计算速度方面可能也会遇到障碍。几年前，沃森在一台不错的服务器上回答一个问题需要2个多小时的时间。通过IBM Power 7强大的并行化计算能力，才把它压缩到了3秒内。另外，强大的计算能力其实也大大加速了开发进程。我们大量使用了Java语言和机器学习，而这些都是需要有较强的计算能力作为支撑的。InfoQ：沃森与同样致力于问题回答的计算知识引擎Wolfram|Alpha，还有著名的人工智能项目CYC有何相同和不同之处？张雷：据我所知，Wolfram|Alpha主要依赖于事先由人手工编辑的结构化数据作为知识源，而沃森则以现有的非结构化数据为主，适当辅以一些结构化数据。两者的计算方法也完全不同。我估计Wolfram|Alpha是以基于规则的匹配和计算为主，而沃森则是以统计推理为主。和CYC相比，沃森并不去构造基于形式逻辑的知识库，而是直接使用现有的用人类语言书写的知识，例如各种百科全书。CYC以形式化的逻辑推理作为基本的计算方法，而沃森是以统计推理为主。InfoQ：沃森看上去像是一种决策系统。作为决策系统，它不仅要给出答案，还要提供相关依据。这在沃森系统中是如何做到的？另外，如被告知回答错误，沃森是否具备自我学习和完善的能力？张雷：沃森系统的一个关键步骤是评价备选答案的可靠性。这个可靠性是由上百个算法从各种不同的角度评价得出的。例如：关键字匹配程度、时间关系的匹配程度、地理位置匹配的程度、类型匹配程度等等。沃森在每一个角度上都能得到量化的可靠性评价。而且这些评价算法所依赖的知识源也是可追溯的。所以，如果需要，沃森可以为用户提供答案的依据。在沃森参赛之前，它会从历史数据中进行学习。比如，如果它回答错了一个往期节目上的问题，它会从中学习到一些信息。在参赛之时，它主要依赖以前学习的结果，但也进行一些简单的在线学习。例如，它可以从已经被其它选手回答的同一类型问题中归纳出一些特点，指导其回答这类问题。另外，答错题目也会导致沃森调整其游戏策略。因此可以说，沃森具备了初步的自我学习和完善的能力。语义网技术在沃森中的应用InfoQ：在沃森系统中，从各处采集而来的海量知识是如何表达和管理的？知识出现不一致时将如何处理？张雷：非结构化知识主要就是以其原始的文本来表示的，而结构化知识则使用了诸如RDF这样的表示和管理方法。知识出现不一致时，沃森通过对大量往期题目的学习来发现哪些是在该游戏中更值得依赖的知识，而哪些在该游戏场景中是不可靠的。InfoQ：据介绍，沃森采用了包括RDF/Linked Data在内的Semantic Web技术。沃森为什么会选中这一技术？RDF及Linking Open Data的思想在沃森系统中是如何发挥作用的？张雷：Linked Data是非常重要的结构化的知识源。我们在研发沃森的初始阶段就考察了该如何利用这一重要的知识源。我们尝试了使用Linked Data，特别是DBpedia、IMDb等，来直接回答比赛中的问题。我们也利用Linked Data来帮助沃森对答案的类型进行判断。不仅如此，沃森在很多其它场合也借鉴了一些RDF及Linked Data的思想。例如，有些从文本中挖掘得到的知识是使用三元组形式表示的；当一个字符串代表的对象有歧义时，使用URI来代表不同的对象；利用RDF三元组中的谓词作为语义提示等等。InfoQ：沃森是否还应用了其他Semantic Web技术，如本体（ontology）、逻辑推理等？沃森强大的运算能力是否足以应付时间复杂度很高的推理需求？张雷：沃森应用了本体来帮助其对答案类型进行判断。例如，判断哈利波特是不是文学作品。DBpedia可能会告诉我们哈利波特是小说，而本体会告诉我们小说是一种文学作品。在沃森系统中，我们应用了简单的基于本体的逻辑推理，例如上下位关系、不相交关系(disjointness)等。这些简单的逻辑推理可以用简单快速的方法实现。InfoQ：在本体工程实践中，沃森是如何将DBPedia、YAGO、Wordnet等不同的本体结合起来的？涉及到本体映射与转换吗？张雷：很多本体是分开来单独使用的。因为我们需要沃森能够学习得到这些本体在这个问答环境中的不同的可靠程度。对于YAGO和Wordnet来说，它们有着天然的对应关系。我们也几乎没有使用其它本体映射和转换。InfoQ：请否请您简单介绍一下严格语义与浅层语义，以及沃森是如何平衡运用这两种技术的？张雷：我不知道”严格语义”与“浅层语义”是否有精确的定义。我的理解是：“严格语义”是和符号化的、形式化的逻辑系统相关联的，通常是精确无二义的。每个符号的语义都在逻辑系统中由其它符号精确的解释和定义。“浅层语义”则是和自然语言或者常识相关联的，具有一定的模糊性。两者有不同的适用性。沃森通过使用机器学习的方法，来学习得到该在什么场合应用什么方法。沃森代表自然语言处理和人工智能技术的突破InfoQ：随着沃森在Jeopardy!中击败人类选手，人工智能再次成为热点话题：有人称沃森是人工智能发展的一个里程碑；有人认为人工智能的前途一片光明；还有一些人则对机器越来越聪明表示担心。相对于人工智能历史上的屡次失败，沃森无疑是一次成功的人工智能实践。作为沃森项目的参与者之一，能否请您谈谈沃森在人工智能实践上的成功经验？人工智能前景如何？还有，您认为对人工智能的担忧有必要吗？张雷：对于人工智能实践来说，沃森的经验表明依靠单一或少数算法是很难成功的。而依靠大量的各种小算法的集成更容易取得进展。这似乎和生物界的多样性有着相似性。另外，沃森也说明，人工智能技术已经取得了相当大的进展，通过大规模的集成这些技术，很多我们看似很难的问题已经从“不可能解决”变为“可能可以解决”。例如，沃森表明，以前人工智能中的知识获取的瓶颈（knowledge acquisition bottleneck）似乎变成了一个可能可以解决的问题。对人工智能的担忧在现阶段是没有必要的。我们还没有看到机器具有自我意识。所有的功能都是由人控制和提供的。在现阶段，人工智能技术，包括沃森，是用来帮助人的，而不是取代人的。InfoQ：沃森除了用于Jeopardy!，还可以用于哪些领域？针对其他领域，需要做出哪些额外的努力？有没有什么是沃森不能做的？张雷：沃森代表的是自然语言处理和人工智能技术的突破，可以应用于很多领域，例如医疗、金融、电信、政府服务等。例如，在医疗领域，医疗记录、文本、杂志和研究资料都以自然语言编写这是一种传统计算机难以理解的语言。一个可以立即从这些文件中找出准确答案的系统能够给医疗行业带来巨大的改变。IBM最近宣布与Nuance通信公司签署协议，在医疗行业探索、开发沃森计算系统的先进分析能力，并实现其商业化。当然，为了让沃森真正服务于这些领域，可能还需要准备相应的专业知识库等额外的努力。沃森不是万能的，对于具有很大主观性或依赖个人生活经验的问题，沃森现在是不擅长回答的。沃森的未来InfoQ：沃森未来是否有2.0版本？如果有，下一步会做什么？张雷：沃森的下一步开发计划主要是将沃森应用在实际生活的各个领域中，例如前面提到的医疗、金融、电信、政府服务等。InfoQ：像沃森这样的巨型系统，并非一般企业所能拥有，但它提供的服务又是广泛需要的。在这种情况之下，沃森今后会不会考虑提供云服务？张雷：沃森确实是一个庞大的系统。但具体来说，也就是运行在不到100台的IBM Power7服务器上。因此，它也并不是可望而不可及的。很多企业和机构已经拥有远不止100台服务器。当然，要让沃森服务越来越多数量的问答请求，需要的机器数量会上升。因此，我们也不排除通过云服务的方式来提供沃森。InfoQ：最后，您能介绍一下IBM中国研究院在沃森项目中的主要工作及成果吗？张雷：IBM中国研究院在研发沃森系统的过程中，发挥了重要的作用。我们为沃森系统采集、分析和使用各种结构化的知识，利用结构化和高可靠的知识提供问题解答，排除让系统显得“愚蠢”的答案，以及帮助沃森系统提高其学习能力。来自IBM中国研究院的很多技术成果已经融入在沃森系统中，而有的研究成果则为整个科研团队提供借鉴和参考。超级电脑“沃森”如何战胜人类2011年02月23日15:03北京日报2月16日，IBM公司研制的超级电脑“沃森”以超出第二名两倍多分数的绝对优势，在美国智力问答节目危险！中击败两名人类对手，在连续三天的比赛中大获全胜。继1997年电脑“深蓝”与卡斯帕罗夫的国际象棋大战之后，这又一场有历史意义的“人机大战”再一次引起人们的好奇本报记者 王鸿良不但知识要丰富理解能力还得强危险！堪称美国历史上最受欢迎的智力问答节目，每期节目由三名竞争者参加。比赛规则是答对得分、答错扣分，参赛者为了避免扣分，也可以对拿不准的题目选择不答。参与了沃森系统研制的IBM中国研究院资深经理潘越告诉记者，危险！对于计算系统是一个巨大的挑战，因为它涉及学科广泛，涵盖了诸如历史、文学、政治、艺术、娱乐和科学在内的广泛主题，选手们要在很短时间内提供正确答案。更困难的是，主持人提出的问题中会包含反语、双关语、谜语和一些意思深奥微妙的表达方式，让电脑领会这些表达方式相当困难。沃森之所以能够应付这种“狡猾”的试题，主要依靠的是它对自然语言的理解和高速的计算。当沃森被问到某个问题的时候，100多种运算法则会通过不同的方式对问题进行分析，并给出很多可能的答案，而这些分析都是同时进行的。在得出这些答案之后，另一组算法会对这些答案进行分析并给出得分。对于每个答案，沃森都会找出支持以及反对这个答案的证据。因此，这数百个答案中的每一个都会再次引出数百条证据，同时由数百套算法对这些证据支持答案的程度进行打分。证据评估的结果越好，沃森树立的信心值也就越高。而评估成绩最高的答案会最终成为电脑给出的答案。但在比赛中，如果连评估成绩最高的答案都无法树立足够高的信心值，沃森会决定不抢答问题，以免因为答错而输掉奖金。而这所有的一切计算、选择与决策都在3秒钟之内完成。通过语言和人类交流“思考方式”另有一套沃森的名字是为了纪念IBM的创始人托马斯沃森先生，它是IBM25个科研工作者过去四年的研究成果。沃森评估了大约2亿页的内容(约一百万册书籍的价值)。在回答问题的时候，沃森是完全自给自足的，也就是说不需要和网络连接，沃森的技术可以理解自然语言的提问，分析数以百万计的信息碎片，并且根据它寻找到的证据提供最佳答案。潘越介绍说，在三年前，IBM科研人员曾经给沃森做过一次测试，第一次测试的结果很差。那时他们用已有系统(公用搜索引擎、问答引擎)来参加危险！的问答，当时回答的覆盖率和准确性大概只有20%和10%。而当时的人类选手覆盖率和正确性都能达到85%。因为差距太大，IBM科研人员没有采取提高原有系统性能的方法，而是从头构建新的系统。三年来，沃森的硬件不断演进，软件和硬件结合得更好。如果和“深蓝”比较，从硬件上来讲，沃森的计算能力有了巨大的进步，而更大的差异还在于要面对的挑战和应对的算法方面。国际象棋定义明确，主要涉及数学，所以深蓝是一台拥有强大推理能力和计算能力的计算机。危险！则要求电脑必须理解人类自然语言。与国际象棋不一样，人类语言完全是开放式的，往往模棱两可，需要上下文才能理解意思。虽然我们可以轻松理解人类语言，但开发理解人类语言的电脑系统却极具挑战性。沃森系统负责人大卫弗若斯说：“我们的目标是开发一台能更好地理解并通过语言与用户交流的电脑，但它理解和交流的方式并不需要与人一样。”从娱乐向生活转换沃森有多方面用途参加危险！节目并不是沃森的终极目标，它只是具有里程碑意义，通过一种有趣的、有意义的形式展现迄今为止其他电脑没有展现过的能力可以通过人类的方式来和人类在广泛的知识领域进行沟通。潘越说，沃森代表着计算机能力的一个重大飞跃，能够更精准地满足我们的信息需求和提问需求。它有效地提供信息，并且按我们的条件在众多的自然语言内容里搜寻关键知识。IBM正在努力让沃森从“娱乐领域”转向日常生活的应用领域。目前看来，沃森至少能在以下行业领域有所应用：电子、能源与电力、政府事务、卫生保健、保险、石油天然气、零售、通信、交通、银行与金融市场。比如，在电子行业，沃森将扮演“产品顾问”和“设计顾问”的角色：凭借“深层问答”技能以及辨别自然语言细微差别的能力，帮助消费者明白如何最好地使用、连接和体验智能的产品与服务，将消费者的需求、愿望、问题反馈给电子产品制造商，以便改进产品设计。再比如，对于医生来说，沃森是一个存储大量事实依据的帮手。沃森可将相关信息融入到临床和业务决策中，帮助医生更好地为病人服务。链接中国团队帮沃森“百晓”在研制沃森系统的全球团队中， IBM中国研究院的团队负责为沃森系统采集、分析和使用各种结构化的知识，利用结构化和高可靠的知识提供问题解答，排除让系统显得“愚蠢”的答案，以及帮助沃森系统提高其学习能力。中国研究专家甚至为中国团队的工作起了个具有中国特色的名字：百晓，寓意让计算机系统无所不知。专家点评人机对决 精彩瞬间三轮比赛中，沃森在第一、二轮几乎抢答近90%题目，第三轮抢答逾60%，答对率逾95%。但它在三天比赛里也答错7题，其中有两个“经典”错误。IBM中国研究院参与沃森项目的专家点评了其中的部分问题，在此特选登如下。沃森的巨大能力问题：每5年选举一次，它有来自7个组织的736名成员。答案：议会(美国)。点评：沃森正确。回答了这道题，置信度是66%。这道题对沃森来说是有点难度的，可利用的关键词比较少，都是数字，每5年选一次，736名