人工智能通识:理论、案例与应用 课件 王汉生 第1-4章 人工智能基础 -AIGC 基础及多模态应用_第1页
人工智能通识:理论、案例与应用 课件 王汉生 第1-4章 人工智能基础 -AIGC 基础及多模态应用_第2页
人工智能通识:理论、案例与应用 课件 王汉生 第1-4章 人工智能基础 -AIGC 基础及多模态应用_第3页
人工智能通识:理论、案例与应用 课件 王汉生 第1-4章 人工智能基础 -AIGC 基础及多模态应用_第4页
人工智能通识:理论、案例与应用 课件 王汉生 第1-4章 人工智能基础 -AIGC 基础及多模态应用_第5页
已阅读5页,还剩166页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第1章人工智能基础人工智能通识:理论、案例与应用(慕课版在线实训平台版)

CHAPTER1永乐宫壁画是我国现存唯一的元代大规模壁画群,因自然侵蚀导致壁画大面积褪色与剥落。用传统方法修复壁画,工作精细且耗时费力,需要修复师凭借经验与技艺解决颜料层起甲、脱落等问题。对于永乐宫壁画这样大规模的修复工程,使用传统方法工期长,还原风格与细节难度大。为了更好地完成壁画修复工作,永乐宫壁画保护研究院联合相关公司,运用人工智能技术对《朝元图》进行了修复,为文物保护开启新篇章。在此次修复中,修复团队将人工智能技术与传统工艺结合,引入专业的壁画与美术知识,对图像生成模型进行微调,让其理解中国绘画元素,学习壁画与美术知识,从色彩、笔触、人物造型等方面精准学习永乐宫壁画的独特绘画风格,从而实现自动修复。针对壁画污渍、褪色等问题,修复团队基于数字版壁画提取线稿,结合古代壁画数据训练生成式人工智能模型,由模型填充线稿颜色,使其呈现接近原壁画的色彩。对于因自然风化、地震等原因造成的缺失区域,修复团队让人工智能模型模仿原壁画笔迹风格进行重绘修补。在科技的助力下,历经近800年风雨的永乐宫壁画重焕往日华彩。引导案例

人工智能助永乐宫壁画“破茧重生”案例思考人工智能技术与传统壁画修复工艺的有机结合为文物保护工作带来了诸多积极影响,除了文中提到的提高修复效率、精准还原风格细节等,你认为还有哪些重要意义?目录CONTENTS初识

人工智能PART01PART02PART03PART04人工智能的核心要素人工智能时代的人才培养人工智能伦理与安全人工智能通识:理论、案例与应用(慕课版在线实训平台版)

如今,人工智能已成为科技领域中最具影响力和变革性的力量之一。随着计算机技术的飞速发展和数据量的爆炸式增长,人工智能逐渐从理论研究走向实际应用,深刻地改变了人们的生活、工作和社会的方方面面。它不仅在科学研究中展现了强大的潜力,还在医疗、金融、交通、教育等多个行业发挥着重要作用。01.初识人工智能人工智能通识:理论、案例与应用(慕课版在线实训平台版)

1.1.1

人工智能的概念与特征人工智能的概念人工智能是一门前沿交叉学科,尚未形成统一的概念。概括来说,人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。人工智能是计算机科学的一个分支,其目标是了解智能的实质,并生产出一种新的能以类似于人类智能的方式做出反应的智能机器。人工智能的特征本质为计算,基础为数据能感知环境并做出反应具备推理与决策能力能与人类、环境进行交互具备自适应能力具备学习能力1.1.2人工智能的类型弱人工智能、强人工智能和超人工智能按照智能水平划分,人工智能可以分为弱人工智能、强人工智能和超人工智能。类型释义特点弱人工智能专注于且只能解决特定领域问题的人工智能。它们无自主意识,只是在某个特定任务上表现得像人类一样智能●通常依赖于大量的数据和特定的算法来执行任务●其行为基于复杂的模式识别和数据处理,而非真正的“理解”或“思考”●不具备自我意识和通用智能,只能在预先设定的规则和数据范围内工作强人工智能具备与人类相当或接近的通用认知能力,能在各种环境中学习、推理、解决问题的人工智能●可以将其在某个领域学到的知识,迁移到另一个完全不同的领域●拥有自我意识、情感、信念和理解因果的能力,不仅能处理信息,还能“理解”信息的含义●可以像人一样进行抽象思维、情感理解和创造性活动超人工智能在所有方面都远超人类智能水平的人工智能●不仅能完成人类可以完成的所有任务,而且在速度、准确性和创新能力上远远超过人类●能够自我进化和优化,不断突破人类的认知极限各类人工智能的特点1.1.2人工智能的类型决策式人工智能和生成式人工智能按照技术逻辑划分,人工智能可以分为决策式人工智能和生成式人工智能。项目决策式人工智能生成式人工智能释义基于历史数据、规则或实时信息,通过算法分析“选项”并输出最优决策或判断的人工智能基于大规模数据学习内容的分布规律,如语言逻辑、图像风格等,主动生成全新的、有意义的内容的人工智能技术原理主要是基于数据和规则来做出决策或推荐。它通常依赖于对数据的分析和处理,通过算法来评估不同的选项,并选择最优的决策路径通过学习大量的数据样本,捕捉数据的分布特征,然后生成与训练数据相似但又不完全相同的新内容核心目标做出判别、预测或决策创造新的数据输出形式输出的是明确的决策或预测结果,形式固定,如“风险等级:高”“垃圾邮件”“推荐评分:9.2分”等输出的是具有一定创造性和多样性的内容,如一张图片、一段文字、一段音频等主要功能分类、判别、预测生成、创造、模拟决策式人工智能与生成式人工智能的对比1.1.2人工智能的类型决策式人工智能和生成式人工智能按照技术逻辑划分,人工智能可以分为决策式人工智能和生成式人工智能。项目决策式人工智能生成式人工智能典型应用场景●图像分类:如人脸识别、医学影像诊断●垃圾邮件检测:判断邮件属性●信用评分:判断贷款风险●欺诈检测:判断一笔交易是否可疑●情感分析:判断一段文字体现的是正向情感还是负向情感●文本生成:生成文章、诗歌等●图像生成:生成绘画作品、海报等●音视频生成:生成音乐、视频等●数据增强:生成新的训练数据●药物发现与分子设计:生成新的分子结构●场景生成:生成逼真的虚拟场景和物体决策式人工智能与生成式人工智能的对比1.1.3人工智能的发展等级OpenAI根据人工智能的发展阶段将其划分为5个等级。等级名称核心能力典型应用场景第一级(Level1)聊天

机器人具备基础的自然语言对话能力,能够理解用户的输入并给出合适的回复智能客服、语音助手、内容创作辅助第二级(Level2)推理者具备与人类相媲美的推理能力。它能跨越不同领域进行深度逻辑思考、问题分解和规划编程助手,如代码生成、代码调试;数学推理工具第三级(Level3)代理人能够独立采取行动,无须人类持续监督即可完成任务自动化生产线监控、自动收集市场数据第四级(Level4)创新者不仅能解决问题,还能提出全新理论、发明新技术,能够协助人类完成新发明科学发现,提出新理论或技术路径;技术发明,设计原创产品或解决方案第五级(Level5)组织者具备高度自主性和组织协同能力,能够完成组织性、统筹性工作,能够协调多个人工智能系统或与人类协同完成任务运营公司或机构,实现高效管理;战略决策,根据环境变化自主调整运营策略人工智能的发展等级1.1.3人工智能的发展等级课堂案例“清小搭”是清华大学为学生开发的全功能大模型智能体学伴,能为师生提供智能问答、伴学工具和成长档案管理等服务。(1)智能问答清华“百事通”“清小搭”以自然语言交互为核心,整合清华大学校内资源,覆盖课程安排、学术资源查询、行政事务办理等场景。例如,学生可以向“清小搭”询问“清华大学食堂营业时间”“二级选课包含哪些课程”,或者通过“学业志趣自测”功能挖掘学术兴趣,获取个性化选课建议。(2)智能伴学工具箱“清小搭”能为学生提供个性化学习支持,为学生解答在学习过程中遇到的各类学科难题。它还具有文档解读、数据分析、辅助制作PPT、学业提醒等功能,为学生高效完成学习任务提供支持。例如,学生可以通过“智慧日历”整合课程表、活动安排、作业截止日期,为自己设置智能提醒,避免遗漏事项。(3)个人成长云盘“清小搭”能记录学生的学习成果与成长轨迹,自动生成学期成长报告,结合清华云盘构建个人学术档案,直观地向学生展示进步历程,帮助学生直观看到自身进步及成长情况。“清小搭”不仅是一款人工智能工具,还是清华大学探索“人工智能+教育”的创新实践,它重新定义了智能时代的学习模式,通过人工智能技术赋能,既帮助教师从重复性工作中解放出来,又满足了学生个性化的学习需求,成为连接传统教育与未来学习的重要桥梁。人工智能“搭子”为教育教学注入新活力1.1.4人工智能产业链与商业模式人工智能产业链人工智能产业链通常划分为3个层级,即基础层、技术层与应用层。这3个层级相互支撑、逐层递进,共同构成了人工智能从理论研究到产业落地的完整生态。基础层基础层是人工智能产业链的根基,为上层技术的研发与应用提供必要的硬件设施、数据资源和算法算力支持。技术层技术层是人工智能产业链的中间环节,通过通用技术、大模型和开发平台将基础层能力转化为可复用的技术资产。应用层应用层是人工智能产业链的价值实现端,人工智能技术被整合为解决方案、产品或服务,渗透到生产生活的方方面面,最终解决实际问题,创造商业价值和社会效益。人工智能产业链结构1.1.4人工智能产业链与商业模式人工智能产业链人工智能产业链通常划分为3个层级,即基础层、技术层与应用层。这3个层级相互支撑、逐层递进,共同构成了人工智能从理论研究到产业落地的完整生态。基础层基础层是人工智能产业链的根基,为上层技术的研发与应用提供必要的硬件设施、数据资源和算法算力支持。技术层技术层是人工智能产业链的中间环节,通过通用技术、大模型和开发平台将基础层能力转化为可复用的技术资产。应用层应用层是人工智能产业链的价值实现端,人工智能技术被整合为解决方案、产品或服务,渗透到生产生活的方方面面,最终解决实际问题,创造商业价值和社会效益。人工智能应用层的应用场景1.1.4人工智能产业链与商业模式人工智能的商业模式随着人工智能技术的不断成熟与应用场景的持续拓展,其商业化路径日益清晰,形成了多样化的商业模式。这些商业模式不仅推动了技术的产业化落地,还深刻地改变了传统行业的运营方式与价值创造逻辑。技术授权模式技术授权模式是企业将自主研发的算法模型、软件开发工具包或专用芯片等技术成果授权给其他企业使用,通过收取授权费或按使用量计费的方式盈利。解决方案模式解决方案模式是人工智能企业根据特定行业(如金融、医疗、制造)的业务流程,设计并部署集成了人工智能算法、硬件设备与软件系统的整体解决方案。解决方案模式通常涉及项目制合作,人工智能企业的收入来源于项目开发与实施,以及后续的运维服务。平台服务模式平台服务模式是指企业构建开放的人工智能平台,提供模型训练、推理部署、数据管理等通用服务,使用户可以通过API(应用程序编程接口)按需调用。在这种模式中,人工智能平台运营商通常通过收取用户订阅费、按用户调用量收费或提供增值服务等方式盈利。数据驱动模式数据驱动模式是企业通过收集、整理、清洗和标注数据,为用户提供高质量的数据集,或者提供数据采集与标注工具。企业通常通过直接销售数据或通过按服务收费的方式盈利。人工智能的发展和应用依赖于三大核心要素,即数据、算力与算法。这三者相互依存、协同作用,共同构成了人工智能技术的基石,推动着人工智能技术的进步与应用。02.人工智能的

核心要素人工智能通识:理论、案例与应用(慕课版在线实训平台版)

1.2.1数据数据的概念数据是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的原始素材。数据是人工智能系统的“燃料”,是人工智能系统实现认知与决策的基础,如同人类智能形成所需的经验积累,人工智能系统的学习与进化本质上是对数据中隐含规律的挖掘与应用。数据的规模和质量直接影响人工智能系统的智能水平,数据越多、越准确,算法学习到的模式就越丰富、越精准,人工智能系统的性能也就越好。数据的来源人工智能数据的来源具有多样性,常见的数据来源有以下6个。从数据服务商处购买数据集企业内部数据网络爬虫抓取数据物联网与传感器数据合成数据与模拟数据政府与开放数据门户1.2.1数据数据的处理数据处理是将原始数据转化为适合模型训练的结构化数据的过程。数据处理通常包括以下内容。数据清洗:数据清洗是指识别并纠正数据中的缺失、异常、重复等问题,从而提升数据质量。包括处理数据集中的缺失值、异常值、重复值和不一致数据等。数据转换:数据转换是指将数据从一种格式或结构转换为另一种更适合特定机器学习算法处理的形式的过程。数据归一化:数据归一化是指将不同特征的数据映射到统一的取值区间,消除量纲差异,使各特征的数据具有同等的重要性。数据增强:数据增强是在不实质增加新数据的情况下,通过对现有数据施加一系列随机变换来生成新的、合理的数据

样本。数据标注:数据标注就是对数据进行人为的标记或分类,赋予其明确的标签。数据集成:数据集成是将不同来源、不同格式、不同结构的数据集融合为一个统一数据集的过程。数据集划分:数据集划分是指将处理后的数据集按照一定比例划分为训练集、验证集和测试集,核心目的是实现模型的训练、验证与测试,确保模型的性能评估客观准确。开发者划分数据集需遵循随机性与代表性原则,确保各子集的数据分布与原始数据集一致;对于分类任务,还需保证各子集的类别比例与原始数据集一致。1.2.2算力算力的内涵算力的本义是表示某个设备或系统的计算性能,是计算性能的口语化表达。在智能时代,算力的内涵有所扩大,体现为为用户带来实际效用的计算性能。算力是人工智能系统的“引擎”,其性能直接决定了模型训练与推理的效率;算力还影响着人工智能技术的落地场景。算力的硬件人工智能所需的算力主要依赖于以下4类硬件。中央处理器:中央处理器(CPU)作为计算机系统的运算和控制核心,是信息处理、程序运行的最终执行单元。图形处理器:图形处理器(GPU)是一种用于处理图像和图形运算工作的协处理器。专用集成电路:专用集成电路(ASIC)是为特定用户或特定电子系统制作的集成电路,如华为的昇腾系列。ASIC在执行其目标任务时,通常能提供比GPU更高的性能功耗比和更低的推理延迟。现场可编程门阵列:现场可编程门阵列(FPGA)是一种半定制化电路。用户可以根据需要,通过硬件描述语言对其逻辑功能进行重新配置。虽然其绝对峰值性能和能效比可能不及顶级的ASIC,但FPGA通常优于CPU,在金融交易、工业控制等对延迟性比较敏感的应用场景中表现出色。FPGA常在云端作为GPU的补充,或者在边缘计算场景中扮演核心计算角色。1.2.3算法算法的概念算法是指对解题方案的准确而完整的描述,是一系列解决问题的清晰指令,算法代表着用系统的方法描述解决问题的策略机制。在人工智能领域,算法通过对数据的分析和处理,发现其中的规律和模式,并根据这些规律和模式进行预测和推理。人工智能领域常用的算法深度学习算法:卷积神经网络、循环神经网络及其变体、生成对抗网络……

强化学习算法:Q-learning、深度Q网络、策略梯度方法……监督学习算法:线性回归、逻辑回归、决策树、随机森林、支持向量机……无监督学习算法:聚类算法、主成分分析、关联规则学习……开发算法时需考虑的因素不同的算法具有不同的特点,适用于不同的任务场景。在开发人工智能产品选择算法时,开发者需要综合考虑多个因素。具体的应用场景和问题类型数据的特点和质量算法的复杂度和计算成本算法的可解释性和可扩展性人工智能与各个领域的深度融合,既需要掌握算法、数据等知识的专业人才,也迫切需要具备人机协作思维、伦理判断力的复合型人才。面对人机共生的未来图景,人才培养的重点需要从知识传授转向能力塑造,从标准生产转向个性发展。03.人工智能时代的人才培养人工智能通识:理论、案例与应用(慕课版在线实训平台版)

1.3.1人工智能对就业的影响创造新的就业机会提高工作效率促进职业发展与技能提升人工智能对就业的积极影响就业岗位的替代与流失就业结构失衡社会不平等加剧人工智能对就业的消极影响1.3.2人工智能时代的新职业和新工种人工智能工程技术人员是指从事与人工智能相关算法、深度学习等多种技术的分析、研究、开发,并对人工智能系统进行设计、优化、运维、管理和应用的工程技术人员。人工智能工程技术人员分为初级、中级、高级3个等级,每个等级均设5个职业方向,即人工智能芯片产品实现、人工智能平台产品实现、自然语言及语音处理产品实现、计算机视觉产品实现和人工智能应用产品集成实现。人工智能工程技术人员人工智能训练师是指使用智能训练软件,在人工智能产品实际使用过程中进行数据库管理、算法参数设置、人机交互设计、性能测试跟踪及其他辅助作业的人员。该职业包括数据标注员、人工智能算法测试员、人工智能数字人训练师3个工种。人工智能训练师有5个等级,五级/初级工、四级/中级工的主要工作任务包括数据采集和处理、数据标注、智能系统运维等,三级/高级工、二级/技师、一级/高级技师的主要工作任务包括业务分析、智能训练、智能系统设计、培训与指导等。人工智能训练师1.3.2人工智能时代的新职业和新工种生成式人工智能系统应用员是指运用生成式人工智能技术及工具,从事生成式人工智能系统设计、调用、训练、优化、维护管理等工作的人员。2025年7月,中华人民共和国人力资源和社会保障部发布新职业信息,在“生成式人工智能系统应用员”职业下增设“生成式人工智能系统测试员”工种。生成式人工智能系统应用员的主要工作任务如下。设计数据输入、模型选择、输出格式等生成式人工智能系统整体架构,制定生成策略。调用不同生成式人工智能模型或应用开发接口(API),生成文本、图像、音频、视频等内容。依法依规收集、处理和标注训练数据,对数据标注进行质量评估、抽样检验,训练不同应用场景中的生成式人工智能

模型。分析系统性能瓶颈,调整模型参数,改进算法或引入新技术,优化生成式人工智能系统的性能和效率。在实际应用场景中部署训练和优化后的生成式人工智能系统。检查和更新生成式人工智能系统。管理相关文档和资源,按照服务规范提供技术咨询、支持和培训。生成式人工智能系统应用员1.3.2人工智能时代的新职业和新工种无人机群飞行规划员是指从事无人机群飞行路线规划、飞行计划与任务制订及飞行现场管理等工作的人员。其主要职责为通过地面站系统完成无人机运行程序的编写、飞行路径规划及实时监控,涉及风险评估、任务分配与应急策略制定等工作内容。无人机群飞行规划员2025年7月,中华人民共和国人力资源和社会保障部发布新职业信息,在“动画制作员”职业下增设“生成式人工智能动画制作员”工种。生成式人工智能动画制作员的主要工作内容包括运用生成式人工智能工具进行数据内容创意设计、设计脚本、生成与优化素材、规划与调整镜头等,其工作流程包括使用生成式人工智能工具输入提示词生成动画脚本、生成动画片段,根据脚本调整镜头等。生成式人工智能动画制作员1.3.3人工智能时代的人才要求人工智能时代,从业者需要具备以下能力。跨学科整合能力批判性思维与解决问题的能力人机协同能力01能力要求技能要求分为基础技能与进阶技能两类,是从业者将能力与素养转化为实际成果的关键。基础技能:一是人工智能工具应用技能,二是数字化沟通

技能。进阶技能:一是能够根据应用场景选择合适的人工智能解决方案,二是领域适配开发能力,三是风险防控技能。03技能要求素养要求是从业者在人工智能时代坚守价值底线、实现可持续发展的基础。伦理与社会责任数据素养与信息安全意识终身学习素养02素养要求人工智能技术的迅猛发展在赋能社会进步的同时,也带来了深刻的伦理挑战与安全隐患。在推动人工智能创新发展的同时,确保其应用符合伦理规范、保障社会安全,是保障社会福祉的必然要求。04.人工智能伦理

与安全人工智能通识:理论、案例与应用(慕课版在线实训平台版)

1.4.1人工智能伦理问题及治理人工智能涉及的伦理问题主要表现在以下6个方面。(1)隐私侵犯与数据保护(2)算法偏见与歧视(3)透明度与可解释性缺失(4)人类自主性问题(5)责任归属难以明确(6)就业结构变化与社会影响人工智能伦理问题人工智能伦理问题的治理应坚持以下几个原则。以人为本原则公平性与非歧视原则透明度与可解释性原则隐私保护与数据安全原则在具体实施时,需要构建一个多层次、协同共治的治理框架。制定伦理准则与指南建立伦理审查机制加强教育与培训促进国际合作与对话人工智能伦理问题的治理1.4.2人工智能安全风险及防范人工智能安全风险贯穿技术生命周期,呈现技术内生性、应用扩散性与影响连锁性的特征。具体来说,人工智能安全风险包括以下3类。(1)技术内生安全风险:技术内生安全风险源于系统自身缺陷,包括算法、数据和系统3个维度。(2)技术应用安全风险:技术应用安全风险体现为人工智能在具体场景应用中的危害扩散。(3)应用衍生安全风险:应用衍生安全风险指人工智能技术对社会系统的间接冲击,包括人工智能武器化引发的军备竞赛、“人工智能+科研”降低伦理禁区准入门槛等潜在威胁,此类风险具有长期潜伏性与难以预判性。安全风险防范人工智能安全风险需要从以下多个维度入手。强化系统安全设计:采用安全编码实践,定期对人工智能系统进行安全审查,及时修补漏洞。构建网络安全防护体系:部署防火墙、入侵检测系统等安全措施,实施数据加密和访问控制。物理安全保障措施:对于涉及物理交互的人工智能系统,进行充分的测试验证。伦理安全审查与监管:建立人工智能伦理安全审查机制,加强法律法规建设。应急响应与恢复计划:制定人工智能系统安全事故应急响应预案,包括数据备份、系统恢复等措施。风险防范章节实训制订个人人工智能应用能力提升学习计划通过行业调研梳理市场对人工智能相关岗位的技能要求;通过自我评估识别自身人工智能应用能力的优势及劣势;制订个性化、可落地的人工智能知识学习计划。实训目标提交一份结构完整、内容翔实的《个人人工智能应用能力提升学习计划》。实训要求1.前期调研,明确人工智能应用需求2.自我评估,识别能力差距3.制订学习计划实训思路第2章人工智能核心技术人工智能通识:理论、案例与应用(慕课版在线实训平台版)

CHAPTER2《人民日报》推出的“创作大脑AI+”平台是一个集合了大模型、自然语言处理、计算机视觉、音频语义理解、图像识别等多项人工智能技术,能够实现内容智能化生产及协作的平台。“创作大脑AI+”平台为用户提供了海量创意素材。用户可以通过该平台高效、精准地搜索素材,快速获得所需图文、视频资源,构建自己定制化的媒介素材管理库。基于动态可视化Web界面,“创作大脑AI+”平台嵌入了视频、图片、音频等数十种人工智能处理工具,优化了视频编辑操作流程,让用户能快速创作各类音视频内容。通过“创作大脑AI+”平台,新闻工作者可以快速制作多模态新媒体产品,提升自身产能和创作力。“创作大脑AI+”平台具备云端多人协作、素材共享、团队审批等功能,使多个用户之间能够实现素材资源实时有序共享,协同创作。这有效降低了团队人员在线沟通成本,帮助团队实现内容管理高效互动。此外,“创作大脑AI+”平台还支持观众在观看视频过程中进行持续互动。视频编辑者可以在视频故事框设置多个分支节点。观众点击分支节点就能影响剧情走向。这种互动玩法增加了传媒内容的趣味性,让传媒内容传播得更深、更广。“创作大脑AI+”平台的价值不仅在于技术创新,还在于通过人工智能赋能内容创作,实现了效率提高与价值引领的双重目标,为构建全媒体传播体系提供了强大的动力。引导案例

“创作大脑AI+”平台,打造媒体内容创作加速器案例思考“创作大脑AI+”平台具有云端多人协作、素材共享和团队审批等功能,这种基于人工智能平台的协同创作模式,是如何改变传统媒体机构内部的内容生产流程与生产关系的?根据该平台的功能描述,它可能会应用到哪些人工智能核心技术?目录CONTENTS机器学习PART01PART02PART03PART04深度学习计算机视觉自然语言处理人工智能通识:理论、案例与应用(慕课版在线实训平台版)

知识图谱PART05机器学习融合了概率论、统计学、线性代数和优化理论等多个领域的知识,其应用已广泛渗透到图像识别、自然语言处理、推荐系统等众多领域,是推动人工智能发展的关键技术之一。01.机器学习人工智能通识:理论、案例与应用(慕课版在线实训平台版)

2.1.1机器学习的内涵机器学习机器学习是人工智能的核心,是使计算机具有智能的根本途径,其核心目标是让计算机在没有明确编程指令的情况下,通过对大量数据的分析,识别模式和规律,从而构建适应新数据的模型。美国卡内基梅隆大学教授汤姆·米切尔(TomMitchell)在其著作中为机器学习下的形式化定义为:“如果计算机程序在完成某类任务T时,通过经验E在某一性能度量P下的表现有所提升,则称该程序从经验E中学习。”这个定义包含了3个关键要素,即T、E、P。T(任务)T是任务,即系统需要完成的具体工作。常见的任务分为以下几类:分类、回归、聚类、强化学习。E(经验)E是经验,是系统用来学习的数据或交互过程。通常表现为历史数据集(如标注好的图像、用户行为日志等)和与环境的交互(如机器人试错、游戏中的奖励反馈等)。P(性能度量)P是性能度量,是用于量化评估系统在任务T上表现好坏的标准。它是衡量“学习”是否发生的客观指标,如准确率、精确率、召回率、均方误差、累积奖励等。2.1.2机器学习的要素要素释义作用模型模型是对现实问题的数学抽象,本质是定义了一个假设空间,即所有可能的函数集合,它表示输入(特征)和输出(预测)之间的关系,是机器学习的基础。常见模型如线性回归模型、决策树模型、神经网络模型决定学什么,函数的假设空间是什么策略衡量模型预测好坏的方法,通常通过损失函数评估模型预测与真实结果之间的误差,常见的损失函数如均方误差和交叉熵损失等。策略告诉算法应该朝着哪个方向去调整模型,是算法寻优的目标决定如何评价学得好坏,优化的目标是什么算法求解最优模型的具体计算方法,即如何根据策略中定义的目标函数来找到最优(或较优)的模型参数的工具,常用算法如梯度下降算法、牛顿法、拟牛顿法等决定怎么具体去学,如何高效地找到最优模型机器学习的要素模型、策略和算法对机器学习的作用2.1.3机器学习的学习方式监督学习是指通过已标注的训练数据来训练模型,从而让模型能够学习到输入特征与输出标签之间

的映射关系,最终能对没见过的新数据做出准确

预测。监督学习要求训练数据必须包含输入特征和对应标签,标签越精准,样本越具有代表性,模型学习的准确度就越高。监督学习监督学习原理2.1.3机器学习的学习方式任务名称释义示例分类预测离散的类别标签,即将数据划分到不同的预定义类别中垃圾邮件检测(是垃圾邮件/不是垃圾邮件),图像识别(图像是猫/狗/鸡/鸭等)回归预测连续的数值根据面积、位置等预测房屋价格,根据气温、湿度等预测降水量等监督学习的主要任务监督学习是指通过已标注的训练数据来训练模型,从而让模型能够学习到输入特征与输出标签之间

的映射关系,最终能对没见过的新数据做出准确

预测。监督学习要求训练数据必须包含输入特征和对应标签,标签越精准,样本越具有代表性,模型学习的准确度就越高。监督学习2.1.3机器学习的学习方式无监督学习是指模型从无标注数据中学习,自行发现数据内在的结构或分布规律。无监督学习的训练数据只有输入特征,没有标签,目标是让模型发现数据的隐藏特点。无监督学习监督学习是指通过已标注的训练数据来训练模型,从而让模型能够学习到输入特征与输出标签之间

的映射关系,最终能对没见过的新数据做出准确

预测。监督学习要求训练数据必须包含输入特征和对应标签,标签越精准,样本越具有代表性,模型学习的准确度就越高。监督学习无监督学习的原理2.1.3机器学习的学习方式任务名称释义示例聚类将数据分成不同的组,使得同一组内的数据点彼此相似,而不同组的数据点不相似根据购买行为将客户分为不同的群体降维在尽可能保留关键信息的前提下,减少数据的特征数量利用主成分分析技术将具有100个特征的图像数据,降维到具有2个特征,方便在二维平面上展示数据分布关联规则学习发现数据集中变量之间的关系,即“如果A发生,那么B也很可能发生”购买手机壳的客户经常会同时购买手机贴膜无监督学习的主要任务无监督学习是指模型从无标注数据中学习,自行发现数据内在的结构或分布规律。无监督学习的训练数据只有输入特征,没有标签,目标是让模型发现数据的隐藏特点。无监督学习监督学习是指通过已标注的训练数据来训练模型,从而让模型能够学习到输入特征与输出标签之间

的映射关系,最终能对没见过的新数据做出准确

预测。监督学习要求训练数据必须包含输入特征和对应标签,标签越精准,样本越具有代表性,模型学习的准确度就越高。监督学习2.1.3机器学习的学习方式半监督学习结合了监督学习和无监督学习的特点,使用少量的标注数据和大量的未标注数据来训练模型。模型利用少量的标注数据学习,发现数据的内在结构或分布规律,同时利用大量的无标注数据增强自身泛化能力。半监督学习强化学习是一种通过与环境交互来学习最优行为

策略的学习方法。其原理就是一个智能体在特定的环境中做出动作,而环境会返回一个奖励(正奖励或负奖励)信号和新的状态。智能体的目标是通过不断调整动作,最大化累计奖励,进而学习到最优策略。强化学习无监督学习是指模型从无标注数据中学习,自行发现数据内在的结构或分布规律。无监督学习的训练数据只有输入特征,没有标签,目标是让模型发现数据的隐藏特点。无监督学习监督学习是指通过已标注的训练数据来训练模型,从而让模型能够学习到输入特征与输出标签之间

的映射关系,最终能对没见过的新数据做出准确

预测。监督学习要求训练数据必须包含输入特征和对应标签,标签越精准,样本越具有代表性,模型学习的准确度就越高。监督学习强化学习的要素半监督学习结合了监督学习和无监督学习的特点,使用少量的标注数据和大量的未标注数据来训练模型。模型利用少量的标注数据学习,发现数据的内在结构或分布规律,同时利用大量的无标注数据增强自身泛化能力。半监督学习强化学习是一种通过与环境交互来学习最优行为

策略的学习方法。其原理就是一个智能体在特定的环境中做出动作,而环境会返回一个奖励(正奖励或负奖励)信号和新的状态。智能体的目标是通过不断调整动作,最大化累计奖励,进而学习到最优策略。强化学习无监督学习是指模型从无标注数据中学习,自行发现数据内在的结构或分布规律。无监督学习的训练数据只有输入特征,没有标签,目标是让模型发现数据的隐藏特点。无监督学习监督学习是指通过已标注的训练数据来训练模型,从而让模型能够学习到输入特征与输出标签之间

的映射关系,最终能对没见过的新数据做出准确

预测。监督学习要求训练数据必须包含输入特征和对应标签,标签越精准,样本越具有代表性,模型学习的准确度就越高。监督学习要素释义关键说明智能体走迷宫的机器人核心角色,负责思考选什么动作和记住哪些动作有用环境整个迷宫地图包含所有可能的路径、墙壁、宝藏位置,会对机器人的动作做出反应状态机器人当前的位置如“在迷宫入口(S点)”“在A路口”“在宝藏前(G点)”,每个位置都是一个独立的状态,状态会随动作的变化而变化动作机器人的移动方向只有4种可选动作:上、下、左、右,动作会直接改变机器人的状态,如从S点向右走,状态就变成S点右侧的位置奖励环境给机器人的即时反馈3种反馈找到宝藏(到达G点):+100(正向大奖励,目标);撞到墙壁(动作后没移动):-10(负向惩罚,避免);走到普通路径(状态改变但没到终点):0(无奖励无惩罚,中性)策略机器人在某个位置该走哪的规则如“在S点优先向右”“在A路口绝对不向左(因为之前撞过墙)”,是机器人学习的最优行动方案“机器人走迷宫找宝藏”中的强化学习6要素2.1.3机器学习的学习方式2.1.4机器学习的应用场景应用领域应用场景说明医疗健康疾病预测与诊断基于患者的电子病历、基因数据、生活习惯等,预测患者患糖尿病、心脏病等慢性病的风险;

辅助临床诊断,提供诊疗意见医学影像分析辅助医生分析X光片、CT、MRI(磁共振成像)等影像,自动识别病灶,提高诊断准确率和效率药物研发通过分析已知药物分子的结构和活性数据,构建预测模型。这些模型可以预测新化合物的活性,从而缩小实验范围,提高研发效率;通过对大量药物临床试验数据和患者反馈数据的学习,算法能够预测新药物可能产生的副作用,帮助研究人员在药物研发的早期阶段就对药物的安全性有更全面的评估金融领域风险评估金融机构利用用户的历史信用记录、消费行为、社交数据等,构建模型评估贷款违约风险欺诈检测金融机构运用机器学习算法通过分析大量的交易数据来识别异常交易辅助投资决策利用历史市场数据、新闻舆情等,训练模型预测股票价格走势或市场波动,辅助投资决策交通领域自动驾驶汽车自动驾驶系统依赖机器学习处理摄像头、雷达等传感器数据,实现环境感知(如识别行人、车辆、交通标志)、路径规划和决策控制交通流量预测通过对历史交通数据(如道路车流量、交通事故记录、天气情况等)的学习,算法可以预测不同时间段、不同路段的交通流量,预测道路拥堵情况,为导航软件(如高德地图)提供最优路线建议机器学习的常见应用场景2.1.4机器学习的应用场景应用领域应用场景说明电子商务领域个性化推荐推荐系统利用机器学习,通过分析客户的浏览历史、购买行为、收藏记录等数据,可以学习到客户的兴趣偏好,从而为客户提供个性化的产品推荐客户细分电商企业可以通过机器学习,根据客户的年龄、性别、消费能力、购买频率等特征,将客户分为不同的群体,根据不同群体客户的特征制定精准的营销策略制造业与工业质量检测企业通过安装在生产线上的摄像头和传感器收集产品的图像和数据,运用机器学习算法检测产品的缺陷设备故障预测通过对设备运行数据(如温度、压力、振动频率等)的长期监测和分析,算法可以学习到设备正常运行和故障状态下的特征模式。例如,当设备的振动频率出现异常变化时,算法可以提前预警设备可能出现故障机器学习的常见应用场景深度学习是机器学习中较热门的一个分支,它通过构建具有多层结构的神经网络,能够自动从数据中逐层提取抽象特征,大幅降低模型对特征工程的依赖,同时它在处理高维、复杂数据时展现了更强的建模能力和泛化性能。近些年,深度学习发展迅速,并替代了很多传统机器学习算法,成为推动人工智能快速发展的关键技术。02.深度学习人工智能通识:理论、案例与应用(慕课版在线实训平台版)

2.2.1深度学习的内涵深度学习深度学习是机器学习的一个分支,它基于人工神经网络的架构,特别是具有多个隐藏层的深层神经网络来进行学习。深度学习的核心思想是通过构建多层的非线性变换结构,从原始数据中自动地逐层提取和组合特征,从而实现对复杂模式的识别、分类、生成或预测。深度学习、机器学习与人工智能的关系人工神经网络的结构2.2.2深度学习的典型模型卷积神经网络(CNN)是一类深度前馈神经网络,特别适用于处理具有网格状拓扑结构的数据,如图像、视频和语音信号。由于其在特征提取方面的强大能力,CNN已成为计算机视觉、图像识别、目标检测等人工智能应用中的核心技术。一个典型的卷积神经网络通常由输入层、卷积层、激活层、池化层、全连接层与输出层构成,这些层按照特定的顺序堆叠,形成端到端的可训练模型。卷积神经网络卷积神经网络基本结构2.2.2深度学习的典型模型卷积神经网络(CNN)是一类深度前馈神经网络,特别适用于处理具有网格状拓扑结构的数据,如图像、视频和语音信号。由于其在特征提取方面的强大能力,CNN已成为计算机视觉、图像识别、目标检测等人工智能应用中的核心技术。一个典型的卷积神经网络通常由输入层、卷积层、激活层、池化层、全连接层与输出层构成,这些层按照特定的顺序堆叠,形成端到端的可训练模型。卷积神经网络循环神经网络(RNN)是一类专门用于处理序列数据的深度神经网络模型。与前馈神经网络不同,循环神经网络具有记忆能力,能够捕捉序列中元素之间的时序依赖关系,在自然语言处理、语音识别、时间序列预测等领域有着广泛应用。循环神经网络的核心在于其“循环”或“记忆”能力,其隐藏层神经元不仅接收当前时刻的输入,还会接收上一时刻隐藏层的状态。这种结构使得信息可以在网络中循环传递,从而让模型能够捕捉到序列中的动态信息。循环神经网络生成对抗网络(GAN)是一种基于博弈论的深度学习模型,其通过构建两个相互竞争的神经网络——生成器与判别器,使二者在对抗训练过程中不断优化,最终实现高质量的数据生成。其中,生成器扮演“伪造者”的角色,判别器扮演“鉴别者”的角色。当生成器能够生成无法被判别器有效区分的样本时,即判别器对任何样本的判断都接近随机猜测(输出概率为0.5),就认为生成器已经成功地学习到了真实数据的分布。生成对抗网络2.2.3深度学习的应用场景1计算机视觉图像分类目标检测图像分割图像生成与风格迁移2自然语言处理文本分类与情感分析机器翻译问答系统与对话系统文本生成3语音识别与语音合成语音识别语音合成4医疗健康医学影像分析疾病预测与辅助诊断药物研发5自动驾驶环境感知路径规划与决策控制计算机视觉的核心目标在于让计算机系统能够像人一样识别物体、理解场景并做出相应的决策。计算机视觉不仅推动了信息技术产业的革新,还为解决复杂现实问题提供了创新思路与技术支撑。03.计算机视觉人工智能通识:理论、案例与应用(慕课版在线实训平台版)

2.3.1计算机视觉的内涵计算机视觉计算机视觉是一门研究如何使机器“看”的科学,具体来说,它是利用摄像机和计算机代替人眼和大脑,对目标进行识别、跟踪与测量,并进一步做图形处理,使计算机将目标处理成为更适合人眼观察或传送给仪器检测的图像的一门科学。计算机“看”的对象是结构化、非结构化的视觉数据,包括静态图像、动态视频和特殊视觉数据,如3D扫描仪扫描的立体数据、红外图像等。计算机视觉是从感知到认知的过程,分为以下两步。通过摄像头、扫描仪等设备获取图像数据,然后对原始视觉数据进行预处理,如降噪、调整清晰度、提取基础特征等。第一步“看”(感知)通过算法分析处理后的视觉数据的特征,识别内容含义,包括识别图像中的物体、场景、活动,以及理解物体之间的空间关系和上下文等。第二步“理解”(认知)2.3.2计算机视觉的主要任务任务名称释义解决的问题图像分类将输入的图像划分到预定义的类别中。例如,给定一张图片,判断它是猫、狗还是汽车解决“图像是什么”的问题目标检测不仅要识别出图像中有什么物体,还要确定这些物体的具体位置。例如,在一张图片中,目标检测任务能够识别出行人、动物和其他物体,并给出它们在图像中的具体位置解决“图像中有什么物体,它们分别在哪里”的问题图像分割语义分割为图像中的每一个像素分配一个类别标签,如“天空”“道路”“行人”“建筑”,但不区分同一类的不同实例。例如,如果图像中有两只猫,语义分割会把所有属于“猫”的像素标记为“猫”,但不会区分这是第1只猫,还是第2只猫解决“图像中的每一个像素属于哪个类别”的问题实例分割不仅需要对图像进行语义分割,还需要区分同一类别中的不同实例。例如,图像中有3个行人,实例分割会用3个不同区域分别标注每个行人解决“图像中每个独立的物体实例是谁,它们的精确轮廓是什么”的问题关键点检测定位图像中的关键特征点或特定物体的关键部位坐标,如识别人脸的五官点、人体的关节位置等解决图像中“物体关键部位的位置在哪里”的问题图像生成模型学习训练数据集的分布,然后自动生成新的、合理的图像解决“如何根据给定的指令或条件,创造出新的图像”的问题计算机视觉的主要任务2.3.3计算机视觉的技术基础由于原始图像常包含噪声、光照不均或几何畸变等问题,因此我们需要对图像进行预处理,以提升后续分析的准确性。常见的图像处理包括以下4种。图像增强图像去噪几何变换灰度化与色彩空间转换图像预处理特征是图像或视频中具有代表性的信息。计算机视觉系统需要从大量的图像数据中提取有用的特征,常见的特征如颜色特征、纹理特征、形状特征等。提取特征的方法有传统人工提取法和深度学习。传统手工提取法就是由工程师设计规则提取特征;在深度学习时代,卷积神经网络能够自动学习图像的特征。特征提取传统的机器学习算法在计算机视觉中也有应用。例如,开发者可以采用支持向量机学习图像特征和标签之间的关系来构建分类器。深度学习算法,尤其是卷积神经网络在计算机视觉领域取得了巨大的成功,卷积神经网络能够自动学习图像的层次化特征表示。此外,Transformer架构的引入进一步推动了视觉建模能力的发展。机器学习和深度学习算法2.3.4计算机视觉的应用场景1工业自动化与智能制造在工业领域,计算机视觉被广泛应用于产品质量检测、装配引导。在物流和仓储中,通过计算机视觉识别技术,机器人可以自动识别、定位和分拣不同形状、大小和颜色的物品。同时,计算机视觉系统也能使工业机器人具备“眼睛”,使其能够精确地进行零部件抓取、装配和焊接等操作。2医学影像分析计算机视觉在医学影像领域的应用极大地提高了疾病诊断的准确性与效率。通过图像分割、分类等技术,智能医疗系统可以对CT、MRI、X光和超声等医学图像进行分析,自动检测出影像中的病变区域,并辅助医生进行诊断。3医疗机器人医疗机器人通过摄像头、深度相机等视觉传感器获取环境与人体信息,经计算机视觉系统处理后引导机器人完成精准操作。药房机器人利用图像识别技术读取药品包装上的条码、文字信息,实现自动分拣、核对与发放药品。康复训练机器人通过计算机视觉系统捕捉患者肢体的运动轨迹和姿态,实时分析患者的运动功能恢复情况,并根据分析结果调整患者的训练方案。2.3.4计算机视觉的应用场景4自动驾驶在自动驾驶系统中,计算机视觉系统通过摄像头等传感器实时获取车辆周围的环境信息,包括道路状况、交通标志、其他车辆和行人等。利用先进的图像识别和目标检测算法,自动驾驶系统能够准确识别这些目标,并判断它们的运动状态和意图。计算机视觉还能帮助自动驾驶系统实现车道保持、障碍物避让等操作。5安防与监控融合了计算机视觉技术的视频监控系统能够实时分析视频画面,自动检测异常行为。同时,人脸识别作为计算机视觉的重要应用,广泛应用于门禁系统、场所安检等场景,人脸识别系统能够快速、准确地识别人员身份,保障场所的安全与秩序。6农业生产在农业生产中,基于计算机视觉技术的智慧农业系统可以实时监测农作物的生长状况、病虫害情况等。计算机视觉还可用于农业机器人,农业机器人能够识别农作物的位置和形状,实现自动采摘和种植,提高农业生产效率。2.3.4计算机视觉的应用场景课堂案例上海启源芯动力科技有限公司(以下简称“启源芯动力”)是专注新能源商用车先进技术的开发和能源服务商,是国家交通强国建设试点任务牵头实施单位,聚焦电动重卡、电动工程机械、电动船舶、电动农机等设备研发、车储共用电池系统研发制造、充换电设施运营与源网荷储一体化项目建设。在充换电设施运营业务中,企业面临着两大问题:一是设备与环境风险隐患,换电的机械装置如机械臂、举升装置等由于长期使用会出现磨损、卡滞故障,当现场有人员误入危险区域时,容易发生触电、火灾、爆炸等安全事故;二是传统监控方式存在局限性,行业常见的“人工巡检+远程监控”的监控模式存在极大的滞后性,很多时候人员入侵、人员吸烟等危险行为无法被实时识别,很难从源头规避安全风险。启源芯动力联合人工智能算力供应商深圳鲲云信息科技有限公司,基于数据流AI芯片技术,共同建设了算力、算法、平台一体化的智慧充换电站检测预警平台。通过在换电站内部安装摄像头,结合深度学习算法,实现对生产环境的实时监测。

一旦发现人员入侵、烟火、人员未佩戴安全帽等异常现象,预警平台就会发出警报,并联动换电机构停机,确保换电过程的

安全性。智慧充换电站检测预警平台已经在多个充换电站落地,实现了对充换电站人员、车辆、设备、环境的全天候实时监测预警,大大提升了充换电站安全应急能力和响应效率。AI系统助力打造智慧、安全充换电站自然语言处理(Natural Language Processing,NLP)是人工智能领域的重要分支,致力于实现计算机与人类自然语言之间的有效交互。随着大数据、机器学习和深度学习技术的快速发展,自然语言处理在信息检索、智能问答、机器翻译、情感分析等众多领域展现出广泛的应用前景,成为连接人类语言与机器理解的关键桥梁。04.自然语言处理人工智能通识:理论、案例与应用(慕课版在线实训平台版)

2.4.1自然语言处理的内涵自然语言处理自然语言就是人类在日常生活中使用的语言,如汉语、英语、阿拉伯语等,是人们交流思想、传递信息的重要工具。自然语言处理是人工智能和语言学的一个交叉领域,其核心目标是让计算机能够理解、生成、处理和运用人类的自然语言,实现人机之间的自然交互。自然语言处理包含自然语言理解和自然语言生成两个方面。自然语言理解是让计算机把输入的语言变成有意义的符号和关系,然后根据目的再处理,其目标是让机器从输入的文字或语音中提取信息,即让机器“读懂”和“听懂”人类语言。自然语言理解自然语言生成则是把计算机数据转化为自然语言,其目标是让机器根据结构化的数据或指令,生成流畅、合理且符合人类习惯的自然语言文本,即让机器“写出”或“说出”符合语法和语义的自然语言。自然语言生成2.4.2自然语言处理的主要任务名称说明分词将连续的文本字符串分割成有意义的最小单元,如单词、短语或符号等。例如,句子“我喜欢吃苹果”被分为“我”“喜欢”“吃”“苹果”词性标注为文本中每个词语标注词性,如名词、动词、形容词等。例如,为句子“苹果很好吃”中的词语标注词性,“苹果”为名词,“很”为副词,“好吃”为形容词句法分析分析句子中词语的语法功能和结构关系,分为依存句法分析和成分句法分析。依存句法分析是一种以词为中心,强调词与词之间的依赖关系的分析方法。例如,在句子“张明正在吃橙子”中,“吃”是中心词,“张明”和“橙子”则是依赖词。成分句法分析则侧重于将句子划分为不同的成分,如主语、谓语、宾语、名词短语、动词短语等。在句子“张明正在吃橙子”中,“张明”是主语,“吃”是谓语,“橙子”是宾语,“正在”是状语语义角色标注识别谓词在句子中的论元并标记这些论元所充当的语义角色,如施事者、受事者、工具、时间、地点等,在句子“他用刀切了苹果”中,语义角色标注可以识别出“他”是施事者,“刀”是工具,“苹果”是受事者词义消歧根据上下文确定多义词在文本中的具体含义。例如,确定“小米”指的是食物还是品牌名称情感分析识别文本中所表达的情感倾向,如正面、负面或中性。在句子“这家餐厅的环境很好,但是食物太咸了”中,对“环境”的情感是正面的,对“食物”的情感是负面的自然语言处理的主要任务2.4.2自然语言处理的主要任务名称说明指代消解确定文本中代词或名词短语所指代的实体。例如,在句子“妈妈买了一盆绿萝,它的叶片在阳光下显得异常翠绿”中,识别“它”指的是“绿萝”;“店铺上架了一批汉服,这成了今年夏天的热销款”中,“这”指汉服;句子“咖啡和茶都是常见的饮品,前者适合提神,后者适合养生”中,“前者”指“咖啡”,“后者”指“茶”命名实体识别从文本中识别出具有特定意义的实体,如人名、地名、组织机构名、时间、日期、金额、产品名称等。例如,在句子“张强于2019年在深圳创立了智创科技公司”中,要识别出“张强”是人名,“2019年”是时间,“深圳”为地名,“智创科技公司”为组织名关系抽取从文本中识别实体之间的预定义语义关系。在句子“张强于2019年在深圳创立了智创科技公司”中,“张强”与“智创科技公司”之间是创立关系文本分类根据文本内容将其分配到预定义的类别中。例如,将新闻分为体育新闻、娱乐新闻、时事新闻等文本生成生成符合语法和语义规则的文本,生成的文本可以是句子、段落、文章或其他形式的文本内容。例如,生成摘要、文章、故事、对话等自然语言处理的主要任务2.4.3自然语言处理的应用场景1机器翻译机器翻译能自动将一种语言转换为另一种语言,从早期的基于规则的翻译方法,到如今基于深度学习的神经机器翻译,翻译质量有了质的飞跃。有道翻译、百度翻译等工具支持多种语言互译,不仅在文本翻译上表现出色,还能实现语音翻译、图片翻译等功能,广泛应用于国际商务、学术研究、旅游出行等领域,为人们的跨语言沟通提供了极大的便利。2情感分析情感分析就是运用自然语言处理技术分析文本的情感倾向,广泛应用于社交媒体监测、品牌管理、客户服务等领域。例如,企业可以通过分析用户在社交媒体上发表的评论,了解用户对产品的满意度和情感倾向,从而及时调整产品策略和营销策略。3语音识别与合成语音识别技术可以将人类语音转换为文本,广泛应用于语音输入、语音指令控制等场景。语音合成技术可以将文本转换为自然流畅的语音,常用于有声读物、导航语音提示等领域,为用户提供更加人性化的交互体验。语音识别与合成技术运作原理2.4.3自然语言处理的应用场景4文本摘要文本摘要就是从长文本中提取关键信息,生成简短的摘要,如新闻摘要、学术论文摘要、文档摘要等。文本摘要主要分为抽取式摘要和生成式摘要两种方法:抽取式摘要是通过提取文本中的关键句子或段落来生成摘要;生成式摘要则通过自然语言生成技术,根据文本的内容生成新的摘要文本。5问答系统问答系统能够自动回答用户问题,它不是简单地根据用户提问提供相关文档链接,而是在理解问题的语义意图基础上,从结构化的知识库或非结构化的文档中进行检索、推理,并生成简洁、明确的答案,广泛应用于智能语音助手、在线客服、知识问答等领域。6智能客服系统智能客服系统是利用自然语言处理技术实现的自动客服系统,可以自动回答客户的问题,为客户提供24小时不间断的服务。它广泛应用于电商、金融、电信等领域。2.4.3自然语言处理的应用场景7信息抽取信息抽取是从文本中自动提取结构化信息,如实体(人名、地名、组织机构名)、关系(某人在某公司任职)及事件(某公司于某日发布了某产品)。它广泛应用于知识图谱构建、智能问答、舆情监测等领域。8信息管理人们运用自然语言处理技术可以对信息进行智能化管理,如内容分类与检索、垃圾信息过滤、文档管理等。9智能写作智能写作是指利用自然语言处理技术自动生成文本,如新闻报道、文章、故事等,广泛应用于媒体行业、内容创作领域等。利用自然语言处理技术,还可以检查文本的语法错误、拼写错误,并对文本中的用词和风格提出改进建议,帮助用户提升写作质量。知识图谱能够将分散的、异构的数据资源转化为可计算、可推理的语义网络。作为人工智能领域重要的知识表示工具,知识图谱打破了传统数据的孤立存储模式,它能整合多源异构信息,挖掘隐藏在数据背后的逻辑关联与规律,为各行业知识管理与决策支持提供基础性技术框架。05.知识图谱人工智能通识:理论、案例与应用(慕课版在线实训平台版)

2.5.1知识图谱的内涵知识图谱的内涵知识图谱是一种以实体为节点、以实体间的语义关系为边,通过结构化的形式表示和存储现实世界中概念及其相互关系的语义知识库。知识图谱本质上是一个结构化的语义网络,它以图结构为基础,以“实体-关系-实体”三元组,以及实体及其相关“属性-属性值”对为基本单位,结构化地描述了现实世界中的实体之间的复杂关系。知识图谱(示例)2.5.1知识图谱的内涵知识图谱的内涵知识图谱是一种以实体为节点、以实体间的语义关系为边,通过结构化的形式表示和存储现实世界中概念及其相互关系的语义知识库。知识图谱本质上是一个结构化的语义网络,它以图结构为基础,以“实体-关系-实体”三元组,以及实体及其相关“属性-属性值”对为基本单位,结构化地描述了现实世界中的实体之间的复杂关系。知识图谱的特征结构化:知识图谱将非结构化的文本、网页、数据库等信息转化为结构化的三元组,便于计算机处理和推理。语义化:知识图谱不仅存储数据,还明确表达了数据之间的语义关系。互联性:实体之间通过关系相互连接,形成一个巨大的网络,支持跨领域的知识关联。可扩展性:新的实体和关系可以不断添加,知识图谱可以动态增长。可推理性:通过知识图谱,可以基于已有的知识推理出新的知识。2.5.2知识图谱的构成要素实体、关系、属性的关系实体实体是知识图谱中的基本单位,指代现实世界中独立存在的、可区分的事物或概念。每个实体都有一个唯一的标识符,用于区分不同实体,避免混淆。实体可以是具体的人、物、地点、组织;也可以是抽象的概念、事件、时间点等。关系关系是连接两个实体的“边”,描述不同实体之间的联系。关系是将孤立的实体编织成“图”的纽带,是表达复杂知识的关键。关系本身也具有明确的语义。关系通常是有方向的,可以是单向的,也可以是双向的。一个实体可以参与多种关系。属性属性用于描述实体的内在特征或状态,用于丰富实体的描述信息,使其更加丰满和具体。属性通过“属性:属性值”的形式呈现。2.5.3知识图谱的构建具体方式核心思想特点自顶而下先定义好顶层的本体或模式,规定好有哪些类型的实体、关系和属性,然后将数据填充到这个框架中●结构清晰,逻辑严谨,易于维护和扩展,支持强推理●构建成本高,灵活性差,难以适应快速变化的知识自底而上从各种数据源中提取出实体、关系和属性,形成大量的三元组,再对这些三元组进行归纳、整理和提炼,逐步向上抽象,构建顶层的本体模式●灵活性强,自动化程度高●扩展性强,能快速吸收新知识●数据质量参差不齐,需投入大量精力进行数据清洗、数据融合等处理混合方式将自顶而下和自底而上两种方式相结合,先进行顶层设计,确定知识图谱的总体框架和主要实体类型、关系类型、属性类型等,然后在数据采集过程中运用自底而上的方式从各种数据源中抽取实体和关系,不断丰富和完善知识图谱既保证了知识图谱的系统性和规范性,又能灵活地融入新的知识和信息,扩大知识图谱的覆盖面,提升知识图谱的准确性构建知识图谱的方式2.5.3知识图谱的构建知识建模就是定义知识图谱的“骨架”或“蓝图”。知识建模的核心任务是回答以下4个问题:知识图谱关心哪些事物?这些事物有哪些特征?这些事物之间有什么联系?这些定义需要遵循哪些规则和有何约束?知识模型通常包含类、属性、关系和约束4个核心要素。知识建模要素名称释义示例类一组具有共同特征的实体的集合电影、人物、演员、公司、地点等属性描述一个类实例自身的特征或数据。通常是名词或形容词人物有姓名、出生日期、性别等属性;电影有上映时间、片名、导演等属性关系连接不同类实例之间的纽带人物创作了小说等约束对类、属性和关系施加的限制,保障知识的质量和逻辑一致性●基数约束:一部电影必须有且只有一个导演,但可以有多个主演●值域和定义域:主演关系的定义域是演员,值域是电影;上映年份属性的值域是整数等●层次结构:类之间可以有继承关系。例如,人物是一个父类,演员和导演是其子类知识模型的要素2.5.3知识图谱的构建知识建模就是定义知识图谱的“骨架”或“蓝图”。知识建模的核心任务是回答以下4个问题:知识图谱关心哪些事物?这些事物有哪些特征?这些事物之间有什么联系?这些定义需要遵循哪些规则和有何约束?知识模型通常包含类、属性、关系和约束4个核心要素。知识建模知识抽取是指从不同来源、不同结构的数据中,自动或半自动地提取结构化信息,并形成知识的过程。知识抽取包括实体抽取、关系抽取和属性抽取。实体抽取是指从文本中识别出具有特定意义的实体,并将其分类到预定义的类别中;关系抽取就是识别并抽取实体之间的语义关系;属性抽取是抽取实体的特征信息。知识抽取方法说明基于词典的方法构建包含目标实体的词典,如人名词典、地名词典,通过字符串匹配从文本中找出词典中的词汇,即为实体基于规则的方法人工设计语法、语义或正则表达式规则,通过“模式匹配+逻辑判断”的方式识别实体统计学习方法将实体抽取转化为序列标注问题,通过学习数据中的概率规律实现实体识别深度学习方法通过神经网络自动学习文本的语义特征,无须人工设计特征实体抽取的常用方法2.5.3知识图谱的构建知识建模就是定义知识图谱的“骨架”或“蓝图”。知识建模的核心任务是回答以下4个问题:知识图谱关心哪些事物?这些事物有哪些特征?这些事物之间有什么联系?这些定义需要遵循哪些规则和有何约束?知识模型通常包含类、属性、关系和约束4个核心要素。知识建模知识抽取是指从不同来源、不同结构的数据中,自动或半自动地提取结构化信息,并形成知识的过程。知识抽取包括实体抽取、关系抽取和属性抽取。实体抽取是指从文本中识别出具有特定意义的实体,并将其分类到预定义的类别中;关系抽取就是识别并抽取实体之间的语义关系;属性抽取是抽取实体的特征信息。知识抽取方法说明基于规则和模式的方法专家根据语法结构、关键词、词性等设计规则或模式,当文本中的句子匹配到某个模式时,就认为该句子表达了对应的关系。例如,为了抽取“创始人”的关系,设计“人物+创立了+组织名”“组织名+的创始人是+人物”的模式,若文本中出现这样的模式,则可提取出“组织名,创始人,人物”的关系基于机器学习的方法将抽取任务转化为分类问题,使用传统分类器判断实体对属于哪种预定义关系,或者无关系基于深度学习的方法直接将原始文本(或词向量)输入到神经网络模型中,让模型自动学习从文本到关系类别的映射,这种方法最大的优势是通过端到端学习,让模型能够自动学习特征,避免了烦琐的人工特征工程关系抽取的常用方法2.5.3知识图谱的构建知识建模就是定义知识图谱的“骨架”或“蓝图”。知识建模的核心任务是回答以下4个问题:知识图谱关心哪些事物?这些事物有哪些特征?这些事物之间有什么联系?这些定义需要遵循哪些规则和有何约束?知识模型通常包含类、属性、关系和约束4个核心要素。知识建模知识抽取是指从不同来源、不同结构的数据中,自动或半自动地提取结构化信息,并形成知识的过程。知识抽取包括实体抽取、关系抽取和属性抽取。实体抽取是指从文本中识别出具有特定意义的实体,并将其分类到预定义的类别中;关系抽取就是识别并抽取实体之间的语义关系;属性抽取是抽取实体的特征信息。知识抽取方法说明基于规则和模式的方法由专家编写规则,通过定义一系列的词汇、句法或语义模式来匹配文本,从而抽取出属性信息基于机器学习的方法将属性抽取视为一个分类或序列标注任务,利用特征工程和统计模型进行预测基于深度学习的方法利用神经网络自动学习文本特征,端到端完成属性抽取属性抽取的常用方法2.5.3知识图谱的构建知识建模就是定义知识图谱的“骨架”或“蓝图”。知识建模的核心任务是回答以下4个问题:知识图谱关心哪些事物?这些事物有哪些特征?这些事物之间有什么联系?这些定义需要遵循哪些规则和有何约束?知识模型通常包含类、属性、关系和约束4个核心要素。知识建模知识抽取是指从不同来源、不同结构的数据中,自动或半自动地提取结构化信息,并形成知识的过程。知识抽取包括实体抽取、关系抽取和属性抽取。实体抽取是指从文本中识别出具有特定意义的实体,并将其分类到预定义的类别中;关系抽取就是识别并抽取实体之间的语义关系;属性抽取是抽取实体的特征信息。知识抽取知识融合是指将来自多个不同数据源的、异构的、可能存在冲突或冗余的知识,经过一系列处理,整合成一个统一、一致、高质量、大规模的知识图谱的过程。知识融合主要涉及实体对齐和知识合并两个环节。知识融合知识存储是指将处理好的知识存储到合适的数据库中,以便高效查询和推理。常见的知识存储的方式包括:基于图数据库的存储、基于关系数据库的存储。知识存储存储方式说明特点基于图数据库的存储图数据库是为图结构数据量身设计的存储系统,从底层数据模型到索引、查询优化器均围绕“图”展开●查询速度极快●查询语言非常直观,易于理解和编写●相对较新,生态系统不如传统数据库成熟基于关系数据库的存储利用成熟的关系数据库存储知识图谱数据,通过表结构间接映射图结构●依托关系数据库的成熟生态,稳定性高、易维护●支持复杂SQL查询●多跳关联查询需进行多次表连接,效率随查询复杂度的提高而下降●数据模型与图结构不匹配,扩展性差常见的知识存储的方式2.5.3知识图谱的构建知识建模就是定义知识图谱的“骨架”或“蓝图”。知识建模的核心任务是回答以下4个问题:知识图谱关心哪些事物?这些事物有哪些特征?这些事物之间有什么联系?这些定义需要遵循哪些规则和有何约束?知识模型通常包含类、属性、关系和约束4个核心要素。知识建模知识抽取是指从不同来源、不同结构的数据中,自动或半自动地提取结构化信息,并形成知识的过程。知识抽取包括实体抽取、关系抽取和属性抽取。实体抽取是指从文本中识别出具有特定意义的实体,并将其分类到预定义的类别中;关系抽取就是识别并抽取实体之间的语义关系;属性抽取是抽取实体的特征信息。知识抽取知识融合是指将来自多个不同数据源的、异构的、可能存在冲突或冗余的知识,经过一系列处理,整合成一个统一、一致、高质量、大规模的知识图谱的过程。知识融合主要涉及实体对齐和知识合并两个环节。知识融合知识存储是指将处理好的知识存储到合适的数据库中,以便高效查询和推理。常见的知识存储的方式包括:基于图数据库的存储、基于关系数据库的存储。知识存储知识推理是指基于已有的显式知识,依据逻辑规则或统计模型,推导出新的、隐含的知识。常用的知识推理的方式有:基于规则的推理、基于向量表示的推理、基于神经网络的推理。知识图谱的质量直接影响下游任务的性能,可从以下维度来评估知识图谱的质量:准确性、完整性、一致性、时效性、覆盖率、规范性。评估知识图谱质量的方法有:人工评估、外部基准对比、下游任务验证、自动化评估。知识推理

与评估2.5.4知识图谱的应用场景1智能搜索传统搜索引擎主要基于关键词匹配,返回的是一系列网页链接,需要用户自行筛选信息。而以知识图谱为驱动的智能搜索引擎,则致力于直接理解用户的查询意图,并提供精准、结构化的答案。2个性化推荐传统的推荐算法主要基于用户的行为历史进行分析,容易陷入信息茧房且可解释性较差。知识图谱可以构建一个包含用户、物品(商品、文章、电影等)及它们之间复杂关系的网络。3智能问答系统知识图谱为问答系统提供了高质量、结构化的知识来源,是智能问答系统实现事实性问答和复杂推理问答的核心。

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论