【专家观点】复旦肖仰华-从知识图谱到认知智能_第1页
【专家观点】复旦肖仰华-从知识图谱到认知智能_第2页
【专家观点】复旦肖仰华-从知识图谱到认知智能_第3页
【专家观点】复旦肖仰华-从知识图谱到认知智能_第4页
【专家观点】复旦肖仰华-从知识图谱到认知智能_第5页
已阅读5页,还剩113页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

从知识图谱到认知智能复旦大学知识工场实验室shawyh@知识图谱富含实体、概念、属性、关系等信息,使得机器理解与解释成为可能知识图谱使能认知智能领域/通用知识的积累与沉淀是智能化的必经路径大数据时代人工智能时代需要知识引擎:释放大数据价值需要机器智脑:实现知识工作自动化nnnnnn已经成为各行各业的普遍诉求从信息化走向智能化是必然趋势AI+成为AI赋能传统行业的基本模式战略意义各个环节至社会形态3技术生态变化•深度学习、大规模预训练模型的一大规模应用,对基于知识的应用形成替代Petroni,Fabio,etal.LanguagemodelsasknowlePetroni,Fabio,etal.Languagemodelsasknowlejustifiedtruebeliefjustifiedtruebelief人类视角呈现在数据中的能够有效求解问题呈现在数据中的能够有效求解问题的“输入-输出”数据模式机器视角•深度学习发展迅速,机器隐形知识兴起•大规模训练模型可以视作是一类新型的统计驱动的知识库成本与效用矛盾突出n随着知识图谱应用的深化,其成本与效用之间的矛盾日益突出成本成本场景不明哪些应用场景能技术风险景上添花图谱应用大都属于景上添花,而非雪中送炭效用运维成本图谱建设不是一次性投入,需要持续运维6知识图谱面临全新挑战认知认知智能知识智能知识8什么是智能 •Intelligenceistheabilitytolearnfrom experience,solveproblemsanduseourknowledgetoadapttonewsituations.Intelligenceknowledge9什么是知识 •Knowledge=JustifiedTrueBelief •Wemusthavesomejustificationforbelievingit•数据:对客观世界的符号化记录•信息:被赋予意义的数据•知识:信息之间有意义的关联体温达到39摄氏度,可能发烧了体温39摄氏度 智能机器将成为“认知”世界的新主体10认知智能认知智能是以知识的发现和应用为核心内容的智能形式认知智能:让机器具备⼈高阶认知(人类特有的认知)人类的认知低阶认知(人类和动物共有的认知)人类认知层次解释规划理解推理归纳演绎认知的目的是获取知识•知识是认知的结果,认知是获取知识的手段•认知智能以知识智能为核心现实世界认知知识视角机器机器视角justifiedtruebelief呈现在数据中的能够有效求解问题的“输入-输出”数据模式认知与感知之间的关系•认知智能不仅是感知智能升级的一个全新阶段•认知智能与感知智能是双向互动关系外:身体感知与运动视觉:鸭兔错觉Itwasfoundthatthe*eelwasontheaxle听觉:音位恢复n人类独特的脑补效应本质上是认知对于感知的有益引导与补充n机器感知智能的瓶颈的突破需要认知牵引认知智能的思想支撑•认知智能的实现需要AI三大流派的合流,形成合力n实现人类的物理交互:运动n实现人类的社会认知“快思考”“慢思考”面向认知的进化主义•有效的、合理的反馈是进化主义解决问题的关键•文本/图像/语音理解等为代表的认知任务需要从知识库(人类认知世界的逻辑结果)寻求有效的反馈机制面向运动与感知的强化学习面向认知的强化学习KnowledgeKnowledge从物理世界的寻求反馈从逻辑世界寻求反馈理解与解释是认知智能的核心体现认知智能的核心能力是“理解”和“解释”,体现在机器能够理解数据、理解语言进而理解现实世界的能力,体现在机器能够解释数据、解释过程进而解释现象的能力,体现在推理、规划等等一系列人类所独有的认知能力上。——《知识图谱与认知智能》,肖仰华解释解释认识认知智能的技术内涵多模态理解常识理常识理解●类比与元认知知CognitiveMachine解语言理解演绎高阶认知价值认知多模态理解•大规模符号接地是赋予符号以体验与意义的过程大规模KG多模态的应用婴⼉车过斑马线,婴⼉车过斑马线,车中婴⼉被机器识别为违章构建机器智脑行业智能化发展感知智能发展常识知识缺失、常识理解有限,难以支撑人工智能应用需求•“人类认识世界的过程是基于人们对某种因果关系的猜测n从统计相关到事理因果是机器感知智能(深度学习)语言理解克罗地亚(克罗地亚足球国家队)浅层理解浅层理解国家足球队、足球队、冠军球队场景:国际足联世界杯获得第一名的国家足球队深层理解深层理解语言认知语言认知•智能体现在沿着概念层级进行归纳与演绎的能力•归纳与演绎是人类认知的重要形式n大规模概念图谱是实现机器归纳与演绎的基础类比与隐喻“真是病来“真是病来如山倒,祛病如抽丝哇”CasebasedReasoningn机器在大规模开放环境下的类比推理能力仍然十分有限情况7343+4=7元认知•领域(行业)有哪些核心概念?概念的层级体系如何?“元知识(Meta-knowledge)是有关知识的知识”•概念存在哪些核心属性?概念之间存在哪些核心关系?•机器能否以及如何自动化建立领域的认知体系?完善schemaAS2wascreatedin2002OpenIE+聚类+人工评估IRCcanbeconnectedtoviaIPv4,theoldversionofOpenIE+聚类+人工评估直接匹配开放信息抽取专家定义Scheman机器辅助人类建立知识体系日益必要,也初具可能高阶认知•我知道你知道/需要/想什么•我知道你知道他知道什么机器机器n人机协作需要机器具备高阶认知能力,实现主动协作n当前交互类应用“智障”的集中呈现在于缺乏高阶认知•人:我渴了,给我一杯喝的•机器:您要饮料还是茶水•人:水吧•机器:有糖还是无糖•人:无糖吧•机器:有气泡还是无气泡•人:无气泡吧•机器:热水还是冷水•人:冷水吧•机器:要加冰块么•人:不加吧•机器:水是要矿泉水还是普通水呢•人:我只是想要一杯水喝n实现自省认知的关键是评价与评估n实际应用的兜底方案需要自省认知不合理问题的拒绝不能答问题的提醒4-不确信问答的提示善意的抗辩与提醒 “除了上帝不合理问题的拒绝不能答问题的提醒4-不确信问答的提示善意的抗辩与提醒人类:鲁迅老公是谁?机器:这个问题不合理,鲁迅是男的人类:**药物的禁忌症是什么?回答不了,请寻求人类帮助人类:***发动机不均匀度范围多少机器:1%。请进一步参考**指南获取确信信息人类:给我降压药机器:您今天已经吃过了,不建议再吃了价值认知美与丑是与非对与错善与恶时长比3年前减少了10分钟,系统百度百科:网络群体极化;社会粘性丧失。在社群内的交流更加不见得一定会比信息匮乏的时代北京日报客户端时长比3年前减少了10分钟,系统百度百科:网络群体极化;社会粘性丧失。在社群内的交流更加不见得一定会比信息匮乏的时代北京日报客户端:呼吁有关部任情况加强监管。社会各界共——黑格尔面向(工业)领域的认知智能认知智能应用场景转变n认知智能逐渐由消费互联网向工业互联网转变大规模简单应用场景智慧美食智慧出行智慧美食智能搜索智能购物智能搜索小规模复杂应用场景认知对象逐渐多元化n认知智能从以“人”为中心逐步发展到“人机物”并重物人y物•业务数据部门间贯通••业务数据部门间贯通•物料仓储及资源智能管理•模拟实验促进研发进程•企业图谱传承企业经验积累•政策文件智能解读•市场环境辅助分析、风险预测•智能物流路线规划••政策文件智能解读•市场环境辅助分析、风险预测•智能物流路线规划•自然灾害影响分析预测传统工业技术•设备故障根因定位•实时统计业务影响•设备健康管理系统助力工业发展认知智能助力工业发展工业认知的本质文档数据专家n知识如何获取?认知如何实现?专家工业认知智能的主要困难智能应用场景复杂知识专家知识隐性,难外化知识体系庞杂知识专家知识隐性,难外化知识体系庞杂,难表示受众小、难获取数据来源多样形态复杂治理困难实现工业认知的基本思路•工业模拟器是人类知识的主要体现n数据驱动与知识引领相融合是解决工业认知的基本路径n以纯数据驱动为特色的消费互联网的技术体系难以在工业互联网取得良好效果工业机理与统计模型的深度融合在最终结果中融合:利用知识评价、验证、修正在最终结果中融合:利用知识评价、验证、修正、改善已建立好的模型在模型选择融合:在模型构造中融合:在机器学习的损失函数等中融入知识在输入数据中融合在输入数据中融合:在原始数据集外,融入独立的先验知识领域知识:物理定律(在同一时刻,湖水深度越深,密度越大)利用领域知识:在神经网络的损失函数中,额外加入一个正则化项,用于量化模型与物理定律的不一致程度。Human-in-the-loop仍是基本模式•人机协作是关键,随着机器认知能力的提升,人的认知需求将会降低人类的知识机器的知识n机器的隐性知识将是人类知识体系的显著补充n机器的认知能力将显著拓展人类的认知能力认知智能解决问题问题的一般框架•面向领域的认知智能框架日益成熟文本/多模态任务LMRLLMRLKG多模态表示文本图像视频认知智能的技术架构知识应用知识应用Taxonomy抽取Taxonomy抽取百科图谱corpora二语言模型corpora二语言模型概率图模型schema理解schema理解LanguagemodelLanguagemodel知识获取大规模知识网络知识获取 知识表示认知引擎语言模型(LM)成为知识蓄水池萃取 萃取?)预训练语言模型•Feature-based•改进型及领域定制型常识知识知识图谱事实知识知识图谱增强语言知识……增强DecisiontreeLogicrulesOntology,FrameDecisiontreeLogicrulesOntology,FrameKnowledgeGraphLanguageModelMultimodalModeln认知需要多元、异构、混合的知识表示,相互交织组成大规模知识网络无表征也是一种知识表示•专家真的是按照指南与规章在解决问题么?•否,只有新手才如此•专家从来是根据经验在解决问题•人类的专家•工匠:富有经验解决问题but很少能明确表达•大师:富有经验解决问题and能明确清晰表达自•知识指引下的RLAgent经过较多案例的演化学习有可能再现有经验的工匠技能n机器智能的首要任务在于再现人类工匠的技能设计了behaviour-basedrobotics(基于行为的机•自上而下的研究方法,基于知识的方法•无表征AI:“需求-行动”框架•自下而上的研究方法,基于行动的方法素器createanyintelligence•人类知识的重要意义在于加速机器智能进化的进程、降低机器进化的起点基于分布式表示的Policy可视作一类知识表示•基于分布式表示的Policy是人类解题技能与经验的最佳表示方式之一RewardState0CalculateRewardbyEq.(12)BornIn(x,CalculateRewardbyEq.(12)BornIn(x,y)ΛCountry(y,z)Nationality(x,z)Nationality(x,z)BornIn(x,Nationality(x,z)分布式表示概念的分布式表示—基于结构l词汇概念知识图谱JingpingLiu,XiaoYanghua,etal.LearningTermEmbeddingsforLexicalTaxonomies,AAAI2021.概念的分布式表示—基于原型原型:提出机器的分布式的概念原型表示PrototypicalRepresentationofConceptsonLarge-scaleTaxonomy,TechniqueReportofK人机知识的定量化实证分析•人工构建的知识库与机器自动构建的知识库存在怎样的差异?•从复杂网络视角展开实证分析,探索机器“认知”与人类认知的异同•结论•知识图谱总体上是稀疏、异配的,其度分布符合(指数截尾的)幂律分布•相对于手工构建,自动化构建的知识图谱不同领域间的语义丰富度更不均衡•自动化构建知识图谱的K-Core部分或许是常识部分•知识图谱中粗粒度概念语义更加丰富Analysisoverlarge-scaleknowledgegraphs:From•知识图谱的冗余性(同质性)评估TheBigger,TheBetter?TheCompressiblityofKnowledgeGraphs,TechniqueReportofKW,2021知识获取的四种范式Q:美国的现任总统是谁?corpora知识抽取模型or规则库 > >抽生生成模型生成模型取三元组成A:特朗普“中国的首都是[“中国的首都是[MASK]。”预训练语言模型萃取众包TaskSe|ectionAnswerCo||ection北京待标注文本知识库基于模版的抽取-知识指引 •Semanticdriftbecomesthebiggestprobleminbootstrapping-basedIE •Thegoodnessofapatterndependsonitsexecutingcontext!•TheNormandylandingswerethelandingoperationsoftheinvasionofNormandy=>(NormandyLandings,Place,Normandy)√•amassiveconventionalNVAinvasionofSouthVietnam=>(VietnamWar,Place,•InvasionoftheDinosaursis...televisionseriesDoctorWho=>(InvasionoftheDinosaurs,Place,theDinosaurs)x端到端抽取—基底模型andisrecognizedastheworl GoogleisaUnitedStatesmultinational为每个实体新增一个概念(一个isa关系)•准确率达到93%使用阅读理解模型实现文本概念片段抽取之后借助随机森林和规则匹配进行筛选和过滤端到端抽取—抽取策略方法:优点:1)问题建模使得负样本比例大大减少,2)关系层面的标Xie,etal.“RevisitingtheNegativeDataofDistantlySupervisedRelationE端到端抽取—持续学习关系原型-—厂关系原型-—厂模块RefiningSampleEmbeddingswithRelationPrototype知识萃取是重要的知识获取方式之一太阳有几只眼睛?2只•Out太阳有几只眼睛?2只•语言智能将走上KG+LM识识LM的局限Petroni,Fabio,etal.Languagemodelsn语言模型在常识理解、逻辑推理、常尾知识、元知识理解等方面仍然存在局限生成也是知识获取的有益手段之一细粒度概念香港男演员细粒度概念香港男演员著名流行男歌手实体的更细节描述粗粒度概念刘德华刘德华属性歌曲风格细粒度概念生成根据结构化信息生成细粒度概念的框架这一方案为CN-Dbpedia增加了130多万的细粒度概念,准确率91%基于生成模型的概念获取LouisaMayAlcottwasanAmericannovelist,shortLouisaMayAlcottwasanAmericannovelist,shortstorywriterandpoetbestknownastheitsauthorofthenovelauthorofthenovelLittleWomenandsequelsLittleMenandJo'sBoys.ExtractionGeneration•具有一定的推理能力GenerationpoetshortstorywriterAmericannovelistwriterAmericanpoetshortstorywriterAmericannovelistwriterAmericannovelAmericannovelist•比如,关于小说描述,容易生成主题相近的错误概念“作家” Americanfemalewriter topic=FigureandconceptgenerationfromthedescriptivetextofaFinalgeneratedtopic=FigureandconceptgenerationfromthedescriptivetextofaFinalgeneratedconceptwriterAmericannovelistAmericanfemalewritersiftopictext=topicconceptText-topicclassifierTable3:Pre-trainedtextgenerationmodels’conceptinferencebasedondescriptivetexts.LouisaMayAlcottLouisaMayAlcottwasanAmericannovelist,shortstorywriterandpoetbestknownastheauthorofthenovelLittleWomenanditssequelsLittleMenandJo'sBoys.EntityTextModelGeneratedconcepttopicconcepte egenerationmodelBeam

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论