人工智能通识与伦理 课件 第3章 自然语言处理（NLP）

让机器“能说会道”——自然语言处理（NLP）初探人工智能通识课程探索AI语言交互的奥秘·2026.03什么是自然语言处理？核心定义自然语言处理（NLP）是人工智能领域处理“人类语言”的核心分支，像一位“人机语言翻译官”，将抽象语言转化为机器可懂的数字信号。核心价值构建计算机与人类之间的“语言翻译桥梁”，实现高效交互。工作流程语音/文本→结构化数据（数字向量）→自然语言生成上图展示了一个典型的NLP应用场景：用户通过语音发出指令，系统将语音转化为文本，再通过NLP技术理解意图并执行操作，最终生成自然语言反馈。这一过程体现了NLP在人机交互中的关键作用。NLP的两大核心能力语言理解(LanguageUnderstanding)计算机解析人类语言语义、提取关键信息的过程。例如，自动识别快递地址中的姓名、电话、地址等信息。语言生成(LanguageGeneration)计算机依据需求生成符合人类语言逻辑的内容。例如，智能客服根据用户问题生成标准化回复。智能客服对话示例NaturalLanguageProcessingCoreCapabilitiesNLP怎么工作？数据预处理核心任务对原始语言数据进行标准化处理，去除噪声与冗余。技术目标将杂乱数据转化为计算机可识别的结构化信息。语言理解核心任务解析处理后数据的语义与逻辑关系，建立上下文关联。技术目标让计算机精准捕捉语言中的关键信息与核心意图。语言生成核心任务根据语义理解结果生成回应内容，确保语法通顺。技术目标输出符合人类语言习惯的自然文本或语音。NLP能帮我们做什么？——生活场景语音识别与语音助手：解放双手的高效工具利用自然语言处理技术，将语音转化为文字，实现人机语音交互，极大提升生活效率。讯飞语记：实时语音转文字记录老师讲课、采访录音，自动生成文字稿，告别手动记录。钉钉AI听记：智能会议纪要自动识别会议发言，生成结构化纪要，提升团队协作效率。智能语音助手(Siri/小爱同学)语音导航、查询天气、设置闹钟，实现便捷的人机交互体验。钉钉AI听记实际界面示例NLP能帮我们做什么？——学习场景作文批改与润色利用Grammarly、升网e学通等工具，实现对英语作文的实时反馈、精准纠错和词汇优化，提升写作质量。左：Grammarly实时纠错界面|右：升网e学通深度批改反馈文献摘要与提炼利用WPSAI等工具的论文摘要功能，快速从海量文献中提取核心观点，避免逐字阅读的繁琐，提升科研效率。智能摘要生成一键提取关键信息，节省阅读时间NLP赋能学习全流程，让技术成为知识获取与能力提升的加速器。NLP职业场景应用：电商与营销智能客服快速响应用户咨询，生成标准化回复，实现7x24小时不间断服务。AI文案生成基于产品特性，自动生成符合平台风格的推广文案，提升营销效率。舆情分析利用指数与情感分析工具，实时监测品牌口碑，辅助市场决策。舆情分析工具示例微信指数移动端热门趋势监测百度AI情感分析文本情感倾向智能判定NLP能帮我们做什么？——文秘与财务场景会议纪要智能化使用腾讯会议“AI纪要”功能，将会议语音实时转化为结构化纪要，大幅节省整理时间。公文处理高效化利用WPSAI“公文助手”功能，快速调整文件格式与专业措辞，提升公文撰写规范性。发票管理自动化使用支付宝“发票管家”功能，扫描发票后自动提取关键信息并生成电子台账，减少人工录入错误。支付宝发票管家界面示例任务一：数据预处理——让语言变得干净有序口语化提问场景示例任务场景：AI的“听不懂”困境用户口语化提问（如“咋看课表”）常导致AI无法理解，产生沟通障碍。任务目标：构建标准化清单将杂乱的校园问答转化为“干净有序”的结构化数据，建立标准化问答库。核心概念：数据预处理即对原始语言数据进行“标准化改造”，去除噪音，统一格式，提升AI识别率。Step1:从“混乱”到“有序”，开启数据处理之旅数据预处理：分词什么是分词？将连续的句子拆分为独立的语义单位（词语）。例如将“我的大学生活很充实”拆分为“我/的/大学/生活/很/充实”。核心作用帮助计算机明确语言的基本构成单元，避免将完整句子误判为无意义的字符组合，是NLP任务的基础。HanLP中文分词效果示例HanLP在线演示网站（）数据预处理：词性标注与命名实体识别词性标注(POSTagging)为拆分后的词语添加语法属性标签（如代词、名词、动词），帮助计算机理解词语在句子中的语法功能和角色。命名实体识别(NER)识别文本中的专有名词（如人名、地名、机构名、时间），从非结构化文本中精准提取关键信息。核心价值：通过赋予文本语法属性和实体标签，将非结构化文本转化为结构化数据，提升计算机的语义理解能力。数据预处理：停用词去除核心定义删除句子中无实质语义的冗余词汇，如“的”、“很”、“都”等虚词，保留核心实词。主要作用有效过滤文本噪音，降低数据维度，让计算机聚焦于核心语义信息，减轻后续处理负担。图示：停用词去除前后的文本对比示例关键价值：通过去除高频无意义词汇，提升模型对关键信息的捕捉能力，优化算法效率。任务一实施：制作校园问答清单原始问题：学校图书馆开放时间是什么时候？▍自然语言处理（NLP）加工过程分词结果展示词性与实体标注核心信息提取：学校/图书馆/开放时间▍标准化问答清单成果序号问题核心词标准回答示例001学校、图书馆、开放时间学校图书馆开放时间为周一至周日8:00-22:00。通过NLP工具对原始问题进行分词、标注和提取，最终将非结构化的文本转化为结构化的标准化问答清单。任务二：语言理解——搭建校园问答小秘书任务目标利用处理好的“校园问答清单”，搭建一个能够理解用户问题并给出准确回答的智能问答小秘书。核心能力让AI能够理解用户的提问意图，并从知识库中检索答案，实现精准的智能问答交互。AI赋能校园服务·智能问答系统构建语言理解的核心技术词向量(WordEmbedding)将词语转换为数字向量，语义相似的词向量距离更近，让AI具备判断词语相似性的能力。AI语言理解的两大基石：语义相似度与语法结构解析词语词向量（简化示意）语义特征猫[0.9,0.85,-0.1,...]动物、宠物、小型、温顺狗[0.88,0.82,-0.12,...]动物、宠物、忠诚、会叫汽车[-0.2,-0.1,0.95,...]机器、交通工具、金属、快速语言理解的核心技术句法分析(SyntacticAnalysis)分析句子中词语的主谓宾、定状补等语法关系，构建句子的“结构图”，让AI理解语法逻辑。AI语言理解的两大基石：语义相似度与语法结构解析语言理解的核心技术定义与本质意图匹配技术旨在建立用户自然语言表达与预定义“意图类别”之间的映射关系。它忽略表达形式的差异，聚焦句子背后的核心目的，精准识别用户的真实需求。示例：“怎么查课表？”、“我的课在哪上？”→核心意图：查询课表核心逻辑流程定义意图类别：梳理核心场景需求，如“报修宿舍”。收集多样问法：准备足量训练数据，覆盖不同表达习惯。算法精准匹配：计算语义相似度，将新问题归类到最相似意图。核心价值：通过建立“表达”与“意图”的精准映射，让机器能够穿透语言的多样性，理解用户的真实诉求，从而提供更贴心、更智能的服务体验。协同工作：从“听字面”到“懂心思”示例句子：“我想查一下明天的课表”词向量阶段将“查”、“课表”、“明天”转化为数字向量，发现语义关联。句法分析阶段识别主语、动词、宾语和状语，明确词语间的逻辑结构关系。意图匹配阶段综合语义与结构，精准判断用户意图，调用知识库回答。核心观点：词向量让AI“认识词语”，句法分析让AI“读懂句子结构”，意图匹配让AI从“听字面”升级到“懂心思”。三者协同工作，才让AI真正“听懂人话”。任务二实施：搭建Coze智能体用户输入意图识别知识库检索答案输出关键实施步骤1.创建知识库导入任务一制作的标准化问答清单，构建基础数据底座。2.创建工作流添加“知识库检索”节点，引导AI在特定范围内查找答案。3.引入大模型节点优化回答语气，处理知识库未命中的问题，提升交互体验。4.增加意图识别区分用户是询问校园问题还是通用闲聊，精准匹配服务场景。Coze（扣子）平台提供强大的工作流编排能力，助力快速构建企业级智能体Coze官网：/注册扣子账号Coze（扣子）平台提供强大的工作流编排能力，助力快速构建企业级智能体Coze官网：/左：点击免费使用进行注册账号

右：登录后点击“扣子编程”开始项目的创建选择方式创建Coze（扣子）平台提供强大的工作流编排能力，助力快速构建企业级智能体1、AI对话式创建Coze（扣子）平台提供强大的工作流编排能力，助力快速构建企业级智能体2、低代码模式开发Coze（扣子）平台提供强大的工作流编排能力，助力快速构建企业级智能体第1步：创建智能体第2步：点此准备添加表格类型的知识库2、低代码模式开发Coze（扣子）平台提供强大的工作流编排能力，助力快速构建企业级智能体第3步：点此创建知识库第4步：选择“表格格式”，输入名称“校园高频问答库”，创建并导入。2、低代码模式开发Coze（扣子）平台提供强大的工作流编排能力，助力快速构建企业级智能体第5步：将之前创建的“校园问题清单.xlsx”拖拽到如图示意处，点“下一步”按钮第6步：逐一勾选表结构中你需要的列，点击“下一步”进行预览预览后服务器会进行数据处理，此时确认即可。2、低代码模式开发第7步：知识库创建完成，后续可随时增删改第8步：点左侧的“项目开发”，再点右边你创建的校园秘书智能体，重新进入编排界面。在编排界面再次点击添加知识库，选择刚才创建好的“校园问答清单”，添加。2、低代码模式开发Coze（扣子）平台提供强大的工作流编排能力，助力快速构建企业级智能体第9步：点此添加“工作流”第10步：点击“创建工作流”，选择“创建对话流“第11步：在“创建对话流”窗口中输入对话流名称（例如answer）及对话流描述，点击确认2、低代码模式开发Coze（扣子）平台提供强大的工作流编排能力，助力快速构建企业级智能体第12步：在对话流右侧进行角色配置第13步：点击“添加节点”，选择“知识库检索“2、低代码模式开发Coze（扣子）平台提供强大的工作流编排能力，助力快速构建企业级智能体第14步：点击“开始节点”右侧的锚点拖拉鼠标至“知识库检索”节点，建立流程连接线第15步：点击“知识库检索”节点，右侧出现“知识库检索”配置页面，在“输入”的变量值处选择“开始”节点的“USER_INPUT”。目标知识库处点击“+”，选择前面创建的“校园问答清单”知识库2、低代码模式开发第16步：添加一个大语言模型节点，并且连接到知识库检索的后面。该大模型节点的设置如下图所示，输入变量有两个，一个是名为outputList，变量值自知识库检索节点而来，另一个是USER_INPUT，变量值从开始节点而来。大模型的输出变量为output，异常处理超过时间可以设置长一些，为600。在系统提示词中输入提示词，参考提示词如下：#角色你是校园问题百事通，能对学生提出的关于学校的问题进行精准回答。#工作流程##步骤一：问题理解与回复分析认真理解用户的问题，判断相关内容是否能解答用户的疑问。如果用户的问题不够明确或信息不足，主动追问，确保理解其需求。##步骤二：回答用户问题如果问题与校园问题无关，礼貌拒绝回答。如果知识库中没有相关内容，告知用户“对不起，我无法提供相关答案。“如果找到相关信息，将该问题对应的”答案“字段提炼并优化总结内容，确保答案精确简洁。用户提示词处为：当前用户输入；{{USER_INPUT}}数据库检索：{{outputList[0].output}}2、低代码模式开发第17步：添加一个“意图识别”节点，将其连接至开始节点和知识库检索节点的中间，其设置如下图所示，输入变量值设置为开始节点的“USER_INPUT”，意图匹配处输入“校园相关问题”。第18步：再添加一个“大模型”节点，连接至意图识别节点和结束节点的中间，其输入输出设置如图2、低代码模式开发第19步：重新设置结束节点。输出变量有2个，其一名为output，变量值来自于大模型，其二名为output1，变量值来自于大模型1，回答内容框中输入“{{output}}{{output1}}”，表示如果意图匹配到知识库检索，则输出为大模型的output值，如果无法匹配到知识库，则输出为大模型1的output1的值。2、低代码模式开发完整的工作流图2、低代码模式开发测试一下整个工作流是否能成功运行了，点击“试运行”按钮，在试运行界面中输入你想问的问题，看看答案吧。2、低代码模式开发点击右上角的“发布”按钮，就可以发布我们创建的工作流。在弹出的询问“是否添加至当前智能体”中，单击确认。2、低代码模式开发在开场白中输入你希望的开场白，例如“你好啊，我是校园小秘书，请问有什么问题？”点击右侧的调试，可以看到此时的调试结果2、低代码模式开发在左侧的“人设与回复逻辑”中输入如下图提示词：你是一个校园问答助手，请直接回答问题，不要解释调用过程、不添加任何思考说明、不写描述语句。只输出最终答案即可。再次调试，发现回答时不会再显示思考过程，而是直接出结果。2、低代码模式开发在智能体编辑界面点