智能制造技术基础 课件 5.3跨媒体智能

智能制造技术郑重说明课件制作不易，请尊重本课件制作者的知识产权，本课件仅限教学使用，不得发布到网上，不能拿来参加教学比赛、申报教学成果等！跨媒体智能发展概述跨媒体智能是通过视听感知、机器学习和语言理解等理论和方法,构建出实体世界的统一语义表达模式,通过跨媒体分析和推理把数据转换为智能,从而成为各类信息系统实现智能化的使能器。跨媒体智能发展概述随着多媒体和网络技术的迅猛发展,除了结构化的数据以外,图像、视频、文本等非结构化数据的数据量快速增长,占到世界大数据总量90%以上的比例。跨媒体智能发展概述跨媒体智能就是要借鉴生物感知背后的信号、信息的表达和处理机理,对外部世界蕴含的复杂结构数据进行高效理解,从视、听、语言等方面把外部世界信息转换为内部模型,实现智能感知、识别、分析、检索和推理等。同时,构造模拟和超越生物感知能力的智能芯片和系统。跨媒体智能发展概述优势：我国在跨媒体智能领域拥有良好的发展基础,计算机视觉、语音识别、基于视觉和语言的生物特征识别等单一媒体的分类识别及部分多媒体类技术研究处于世界领先水平,在智能医疗、公共服务、网络安全、智能城市等领域,形成了智能诊断、身份识别、行人追踪、嫌犯排查等一系列基础应用场景。短板：在知识图谱与知识工程,尤其是类脑芯片和硬件支持等方面。跨媒体智能关键技术利用感知计算的方法,挖掘生物信号、感知信息潜在的模式与规律。利用知识驱动的跨媒体协同推理,降低跨媒体智能认知决策的不确定性。跨媒体智能面临语义鸿沟和异构鸿沟的问题。解决方法：跨媒体智能关键技术一是基于单一媒体与多媒体类别的分析、显示及应用技术,以计算机视觉、语音识别、AR/VR技术为代表,利用它们能够实现文本、图像、语言等相互融合的分析、转化和检索;二是以知识图谱为代表的知识工程,通过建立完备的常识库与常识推理引擎,能够为建立物理实体世界的统一语义表达模式奠定基础。跨媒体智能两大技术方向:跨媒体智能关键技术1.计算机视觉计算机视觉是一门研究如何对数字图像或视频进行深层理解的交叉学科。从人工智能的视角来看,计算机视觉要赋予机器“看”的智能,属于感知智能范畴。跨媒体智能关键技术1.计算机视觉计算机视觉的目标是让计算机拥有类似人类提取、处理、理解和分析图像及视频所表达的内容的能力,主要包括图像分类、目标检测、图像生成、视频分类、场景文字识别、图像语义分割等细分技术领域。跨媒体智能关键技术1.计算机视觉应用：计算机视觉是人工智能体系中应用最为成熟、广泛的技术,已在人脸识别、智能安防、工业检测等场景广泛应用,未来还将助力无人驾驶、智能医疗、AR/VR等应用加速落地。当前人脸识别的准确率已超过98%,超越人类能力。跨媒体智能关键技术2.语音识别语音识别的目的是将语音信号转变为文本字符或命令,利用计算机理解讲话人的语义内容,使其“听懂”人类的语音。跨媒体智能关键技术2.语音识别语音识别、语音合成和机器翻译都取得了极大的进步;而对话系统目前能基于深度学习实现浅层理解;对唇语识别等需要与视觉结合的技术,其识别效果与发言者的语速快慢、发音是否标准等密切相关,目前准确率基本在60%~80%,该技术尚不能商业化使用。语音识别包括语音识别(狭义)、语音合成、机器翻译、对话系统、唇语识别等细分技术领域。跨媒体智能关键技术2.语音识别应用：随着算法技术的不断突破,语音识别已经应用于语音识别听写器、语音寻呼和答疑平台、自主广告平台、智能客服等领域。语音识别系统包括：特征提取、声学模型、语言模型和解码搜索四部分。跨媒体智能关键技术3.AR/VRAR/VR是借助各种计算机技术为用户提供以视觉为主的感官模拟的技术,可以为用户带来身临其境的体验,进而促进信息消费的扩大升级以及与传统行业的创新融合。VR技术通过人为创造视觉、触觉、听觉和嗅觉等感官体验,为使用者构造一个类似于现实世界的环境,使其获得逼真的体验。利用VR技术可以开发飞行员进行模拟飞行训练的软件,或者开发VR游戏。跨媒体智能关键技术3.AR/VRAR技术涉及一个更普遍的概念——调和现实,将现实世界与虚拟世界相互结合,呈现的场景有真有假,更强调虚拟信息与现实环境的“无缝”融合。AR技术依赖于对现实的感知能力。AR对现实的增强是实时的,同时具有虚拟语义语境和真实环境元素。跨媒体智能关键技术3.AR/VRVR与AR的关键技术大致相同,主要有近眼显示、感知交互、渲染处理、网络传输和内容制作等。AR/VR与语音、视觉识别等技术结合,能够使生成的虚拟对象更具有真实感,可有效提升应用性能与产品体验。跨媒体智能关键技术3.AR/VR在工业领域,引入AR技术,可实时指导操作工进行设备的维修、检查、校准测量、现场加工、调试等作业,提高效率、降低成本;在医疗领域,一种名为“AI+VR精神疾病检测盒”的产品可以助诊抑郁症,人无需去医院即可进行就诊;在教育领域,美国一所学校利用AI+VR技术打造沉浸式的立体化学习体验,帮助学生快速学习外语;美国海军使用虚拟跳伞训练模拟器进行培训,受训者可以利用模拟器进行训练,降低了训练成本。应用：跨媒体智能关键技术4.知识图谱知识图谱以结构化的形式描述客观世界中的概念、实体及其关系,本质上是一种语义网络。例如,在一个社交网络图谱中可以有不同的人与公司,人和人之间的关系可以是“朋友”,也可以是“同事”,人和公司之间则可以是“现任职”或“曾任职”的关系。跨媒体智能关键技术4.知识图谱

实际应用过程中,通过将数据从数据库、网页等不同渠道抽取出来,确定不同对象间的关系,构建图谱并将其存储到计算机中,最后根据定义的问题对图谱进行检索或推理。一类是通用的大规模知识图谱,注重广度,通常基于公开的数据来汇集常识性知识,例如,谷歌知识图谱已经包含了千亿对象,能够提供非常便捷的搜索功能;另一类是面向具体行业或领域的知识图谱,需要依靠金融、电信、工业等特定行业的数据来构建,主要用于商业智能和智能服务等场景;例如,美团通过构建大规模的餐饮、娱乐知识图谱——美团大脑,充分挖掘客户喜好,实现智能搜索推荐、智能商户运营等。跨媒体智能关键技术4.知识图谱知识图谱分为两类:知识图谱分为两类:一类是通用的大规模知识图谱,注重广度,通常基于公开的数据来汇集常识性知识,例如,谷歌知识图谱已经包含了千亿对象,能够提供非常便捷的搜索功能;另一类是面向具体行业或领域的知识图谱,需要依靠金融、电信、工业等特定行业的数据来构建,主要用于商业智能和智能服务等场景;例如,美团通过构建大规模的餐饮、娱乐知识图谱——美团大脑,充分挖掘客户喜好,实现智能搜索推荐、智能商户运营等。跨媒体智能关键技术4.知识图谱跨媒体智能关键技术4.知识图谱知识图谱技术是人工智能知识表示和知识库在互联网环境下的大规模应用,显示出知识在智能系统中的重要性,是实现智能系统的基础知识资源。知识图谱技术发展迅速,知识图谱研究有如下趋势:①