《人工智能基础与应用》课件-任务10 认知智能-机器如何懂语义、会思考

AI遇见应用

兴趣引领未来项目三认知人工智能的应用技术任务三认知智能——机器如何懂语义、会思考人工智能基础与应用

项目三认知人工智能的应用技术目录人工智能基础与应用

项目三认知人工智能的应用技术任务三认知智能——机器如何懂语义、会思考教学目标教学要求内容概览相关知识3.3.1

认知自然语言处理及应用 3.3.2

走近知识图谱3.3.3

数据智能推动人机协同3.3.4大语言模型从量变到质变

练习与思考 【教学目标】1.理解并掌握自然语言处理的含义及常见应用2.初步学习知识图谱的内涵、体系及应用3.了解数据智能的定义、发展目标及数据中台的意义4.了解大语言模型及其训练方式

什么是自然语言处理？（NaturalLanguageProcessing，简称NLP）自然语言处理的目标是弥补人类交流(自然语言)与计算机理解(机器语言)之间的差距，最终实现计算机在理解自然语言上像人类一样智能，使计算机拥有能够理解、处理、并使用人类语言的能力。一、认知自然语言处理及应用

自然语言处理的常见应用“机器翻译”让世界变成真正意义上的地球村，因其效率高、成本低满足了全球各国多语言信息快速翻译的需求。“情感分析”可以从大量数据中识别和吸收相关信息，而且能够判断出一段文字所表达观点和态度的正负面性。“智能问答”能够指利用计算机自动回答用户所提出的问题。“个性化推荐”可以依据大数据和历史行为记录，学习用户兴趣爱好，实现对用户意图的精准理解，实现精准匹配。“文本分类”通过分析邮件中的文本内容，能够相对准确地判断邮件是否为垃圾邮件。收集邮件中的特征词生成垃圾词库和非垃圾词库。一、认知自然语言处理及应用

自然语言处理的常见应用电子商务背后的自然语言处理应用分析用户词句：对客户精准理解个性化推荐：帮助选择困难症顾客情感分析：分析评论，帮助产品分析智能问答：回复客户问题一、认知自然语言处理及应用

自然语言处理的发展趋势未来自然语言处理将朝着两个互补式的方向发展：“大规模语言数据的分析处理能力”和“人-机交互方式”。1.大规模语言数据的分析处理能力：指的是建立在自然语言处理上对语言信息进行获取、分析、推理和整合的能力。一、认知自然语言处理及应用以智能车载为例：在汽车使用、运维保养时，会产生大量的数据（车联网数据、车主数据特征包括驾驶行为、周边环境、违章数据、运维保养数据、习惯偏好）。

自然语言处理的发展趋势2.人-机交互方式：指的是将自然语言作为人与机器交互的自然接口和统一的交互方式。不同的机器，通常要使用不同的开发语言或方式，这严重影响了人们对机器的开发与使用。只有通过采用自然语言处理，才能让机器具有理解人类语言的能力，从而实现建立在自然语言基础上的人机交互。总结：自然语言处理作为一门新兴学科，其最终目标是为了弥补人类交流（自然语言）与计算机理解（机器语言）之间的差距，最终实现计算机在理解自然语言上像人类一样智能。一、认知自然语言处理及应用

什么是知识图谱？知识图谱(KnowledgeGraph)是一门典型的多学科融合，通过将应用数学、图形学、信息科学等学科理论、方法与计量学、统计学等方法结合，并利用可视化的图谱形象地展示出来。其核心目标是把复杂的知识领域通过数据挖掘、信息处理、知识计量和图形绘制显示出来，揭示知识的动态发展规律。知识图谱，本质上，是一种揭示实体之间关系的语义网络。二、走近知识图谱

什么是知识图谱？在信息的基础上，建立实体之间的联系，就能行成“知识”。知识图谱是由一条条知识组成，每条知识表示为一个SPO三元组（Subject-Predicate-Object主谓宾，用来表示事物的一种方法和形式），而这个三元组集合可以抽象为一张图。大量与之相关的实体信息会不断关联并结构化地呈现出来，实现了数据图谱化。二、走近知识图谱本体（Ontology）：实体类型的分类体系（如“人物”“地点”“事件”）。关系模式：定义实体间允许的关系类型（如“人物-工作于-公司”）。约束规则：数据类型、值域、唯一性等约束（如“出生日期必须是日期类型”）

知识图谱的体系架构知识图谱的体系架构是指其构建自身模式的结构二、走近知识图谱

知识图谱的体系架构共分为三个步骤：知识抽取：从一些公开的半结构化、非结构化的数据中，抽取出可用的知识单元。知识单元主要包括实体抽取、关系抽取以及属性抽取3个知识要素。知识表示：把知识客体中的知识因子与知识关联起来，便于人们识别和理解知识，分为主观知识表示和客观知识表示两种。知识融合：是高层次的知识组织，使来自不同知识源的知识在同一框架规范下进行组织，实现数据、信息、经验以及人的思想的融合，形成高质量的知识库。二、走近知识图谱

知识图谱的应用包括：智能搜索、社交网络，网上购物、新闻查询等，知识图谱已经在我们的生活中、垂直行业应用中发挥着日益重要的作用。二、走近知识图谱

大数据的新篇章——数据智能数据智能的目标是让数据驱动决策，让机器具备推理等认知能力。只有业务数据化进程的完成，才能真正进入到业务智能化，依靠数据去改变业务、指导决策。三、数据智能推动人机协同大数据行业发展阶段

大数据的新篇章——数据智能让机器具备推理能力，意味着自然语言处理、知识图谱等认知技术需要不断成熟。而数据驱动决策、数据驱动业务发展的新需求，标志着智能数据时代的兴起。三、数据智能推动人机协同不同阶段大数据与业务的关系

数据智能的定义及数据中台的价值数据智能核心分为两个细分领域：中台和应用场景。其中，中台包含技术中台、数据中台和业务中台，应用场景则按照不同行业进行划分。数字化已不可抵挡，在企业数字化转型进程中，传统企业需要具备互联网公司那样快速迭代升级的能力，因此，数据驱动业务发展的中台建设至关重要。数据中台的价值是将数据资产化，实现不同体系数据的打通，为下一步数据应用打好基础。数据中台涵盖了从数据采集、数据处理、数据存储、数据分析等环节的所有工具及平台，包括基础平台、用户行为分析、数据报表可视化、数据科学平台、自然语言处理和知识图谱等诸多技术体系。三、数据智能推动人机协同

数据智能的定义及数据中台的价值基于数据中台有三种应用方式：数据集：主要是数据标签、用户画像等；数据模型：融合数据和算法，比如销量预测、风控建模等；数据应用：将数据能力和软件能力封装，形成最终数据产品。而业务中台则是指基于数据和技术，结合行业应用场景，从行业应用切入，在大量服务垂直行业客户，掌握大量场景需求后，逐步形成业务中台能力。总结：未来身处竞争激烈的智能数据时代，谁能更高效利用数据，谁才能赢得最后的果实与胜利，传统产业数字化已在风口，已在路上。而认知智能的突破，一定不是由单个技术所完成，而是需要结合多种不同的技术持续完善和发展。三、数据智能推动人机协同数据标签与用户画像什么是大语言模型？大语言模型（LargeLanguageModel,LLM)是一种人工智能模型，通常基于深度学习架构，旨在理解和生成人类语言。大语言模型在大量文本数据上进行训练，可执行广泛的任务，包括文本总结、翻译、情感分析等。其特点是规模庞大，包含数十亿的参数，能帮助机器学习文本数据中的复杂模式，有助于在各种自然语言处理任务上取得优异的表现。ChatGPT的爆红出圈吸引了更多人对于大语言模型的发展趋势和现实应用的关注。四、大语言模型从量变到质变什么是大语言模型？常见的大语言模型有GPT-3（OpenAI）:GPT-3（Generative

Pretrained

Transformer

3）是最著名的大语言模型之一，拥有1750亿个参数。该模型在文本生成、翻译和其他任务中表现出显著的性能，在全球范围内引起了热烈的反响，目前OpenAI已迭代到GPT-4版本。ERNIE3.0文心大模型（百度）：百度推出的大语言模型ERNIE3.0首次在百亿级和千亿级预训练模型中引入大规模知识图谱，提出了海量无监督文本与大规模知识图谱的平行预训练方法。Deepseek（深度求索）：DeepSeek-R1：千亿参数级对话模型，支持复杂逻辑推理与长文本理解，中文表现对标国际顶尖模型。DeepSeek-MoE：基于混合专家（MixtureofExperts）架构的开源模型，兼顾性能与效率。DeepSeek-V2：轻量化模型，在同等参数量下推理速度提升30%，适合企业级部署。四、大语言模型从量变到质变什么是大语言模型？大语言模型的快速发展从人工智能的发展历程来看，模型和算法是其不断成长的核心驱动力。10年前语言模型是自然语言处理的某个细分方向，并不为大众所熟知，而ChatGPT的广泛应用则让更多人体会到大语言模型的快速发展。四、大语言模型从量变到质变ChatGPT发展历程什么是大语言模型？大语言模型的快速发展2018年第一代GPT并没有引起广泛关注。但到了2020年5月，GPT-3一经推出，情况就发生了非常大的变化，GPT-3的参数值从GPT-2的170亿跃升到1750亿，参数数量级是GPT-2的10倍以上，性能也有大幅提升，从而引起全球广泛关注。大语言模型经过大量的学习，实现了从量变到质变的飞跃，即当数据量超过某个临界点时，模型实现显著的性能提升，并出现了小模型中不存在的能力，如上下文学习能力等。因此，当我们应用GPT-3及GPT-4对话时，越来越被其强大的互动能力和解决问题的能力所震惊，越来越感觉不到在和一个机器对话。这就是大语言模型快速发展所带来的质变。四、大语言模型从量变到质变走近ChatGPTChatGPT是一个由OpenAI开发的大语言模型，它使用的是自然语言处理和深度学习技术，可以理解语言内容和语境，能够基于在预训练阶段所见的模式和统计规律来生成回答，还能根据聊天的上下文进行互动，真正像人类一样聊天交流，另外还能完成撰写邮件、视频脚本、文案、翻译、代码、论文等任务。GPT的全称是Generative

Pre-trained

Transformer，从名称可以看出，它是一种生成模型，擅长生成输出；它是预训练的，这意味着它已经从大量文本数据中学习到了知识，是Transformer的一种类型。因此，在了解GPT的原理之前，首先要认识Transformer。四、大语言模型从量变到质变走近ChatGPTTransformer架构Transformer架构是GPT的基础。它是一种神经网络，类似于人脑中的神经元。Transformer能够通过注意力机制和自注意力机制更好地理解文本、语音或音乐等顺序数据的上下文。注意力机制允许模型通过学习元素之间的相关性或相似性（通常由数字向量表示）来关注输入和输出中最相关的部分。如果它关注的是同一序列，则称为自注意力。四、大语言模型从量变到质变组件功能嵌入(Embedding)位置编码(PositionalEncoding)将单词和它们的位置转换为数字向量编码器(Encoder)从输入序列提取特征并分析其含义和上下文。它为每个输入标记输出一个隐藏状态的矩阵，以传递给解码器解码器(Decoder)根据编码器和先前的输入标记生成输出序列线性层和Softmax层将数字向量转换为输出单词的概率分布表3-4Transformer组成走近ChatGPT从Transformer到GPT、GPT-2、GPT-3、GPT-4作为一种生成模型，GPT使用了Transformer架构中的解码器部分，而解码器负责预测序列中的下一个词。GPT通过使用先前生成的结果作为输入，反复执行此过程以生成较长的文本，即自回归。在训练第一个版本的GPT时，研究人员使用了数据库的无监督预训练，数据库中包含超过7000本未经出版的书籍。在预训练的基础上，针对特定任务使用有监督的微调，会向人工智能展示请求和正确答案的示例，并要求人工智能从这些示例中学习。在GPT-2中，研究人员扩大了模型(15亿个参数)和给模型提供的语料库的规模，在无监督预训练中使用WebText，这是数百万个网页的集合。在GPT-3中，模型进一步扩展，规模达到1750亿个参数，并使用了来自网络、书籍和维基百科的数百亿个单词构成的庞大语料库。四、大语言模型从量变到质变大语言模型的训练方式训练大语言模型需要向其提供大量的文本数据，模型利用这些数据来学习人类语言的结构、语法和语义。该过程通常使用自我监督学习的技术实现无监督学习。训练过程包括两个主要步骤：预训练(Pre-training)和微调(Fine-tuning):在预训练阶段，模型从一个巨大的、多样化的数据集中学习，通常包含来自不同来源的数十亿词汇，如网站、书籍、文章等。这个阶段允许模型学习一般的语言模式和表征。在微调阶段，模型在与目标任务或领域相关的更具体、更小的数据集上进一步训练。这有助于模型微调其理解，并适应任务的特殊要求。四、大语言模型从量变到质变大语言模型的训练方式通过训练，大语言模型涌现的能力如下：上下文学习。以GPT-3为例，其正式引入了上下文学习能力。假设语言模型已提供自然语言指令和多个任务描述，它可以通过完成输入文本的词序列来生成测试实例的预期输出，而无需额外的训练或梯度更新。指令遵循。通过对自然语言描述（即指令）格式化的多任务数据集的混合进行微调，大语言模型在微小的任务上表现良好，这些任务也以指令的形式所描述。循序渐进的推理。小语言模型通常很难解决涉及多个推