《人工智能基础》课件-4.5让机器善解人意：自然语言处理

人工智能基础AI

INTElLIGENCE项目4人工智能的关键技术任务4.5让机器善解人意：自然语言处理CONTENTS目录01020304任务导入任务分析知识技能任务实施PARTTWO任务导入101任务导入周日上午，某大型连锁超市的运营主管小李收到不少顾客反馈：超市货架布局复杂，找心仪商品需花费大量时间，高峰期还因咨询导购人员导致通道拥堵。为提升顾客购物体验、缓解导购服务压力，需快速搭建一套智能导购系统，支持顾客通过语音或文本输入商品需求，快速获取商品所在货架位置、区域路线等信息，同时实现语音播报与文字展示双重反馈，解决传统购物“找货难、咨询繁”的问题。PARTTWO任务分析201任务分析本任务通过“超市智能找货服务”场景，掌握自然语言处理与数据关联技术的协同应用能力，实现从“人工导购指引”到“AI智能导航”的升级。具体分析如下：1.拆解超级导购的核心服务流程，明确用户输入方式、商品需求解析、货架数据匹配、结果多形式输出的关键环节；2.掌握自然语言处理中关键词提取、意图识别的核心逻辑，理解智能货架数据接口的调用与数据字段筛选方法；3.熟练操作百科融创平台的相关功能节点，完成输入整合、需求解析、数据匹配、多终端输出的全流程搭建；4.测试不同商品需求场景（常见商品、冷门商品、模糊需求）的响应准确性与路线指引清晰度，优化节点参数与关键词库，提升系统适配性。PARTTWO知识技能3知识技能知识点1知识点2自然语言处理（NLP）是人工智能与语言学交叉的技术领域，它旨在让计算机理解、解释和生成人类自然语言，实现“机器与人类的语言交互”。其核心目标是打破“语言壁垒”——让机器不仅能“读懂”文字表面含义，还能理解深层语义，最终具备类似人类的语言处理能力。NLP的技术本质是“将非结构化的自然语言转化为结构化的数据”：例如，将一段简历文本转化为“姓名、学历、工作经历关键词、技能标签”等结构化信息，再通过算法对这些信息进行分析与处理。与语音识别（侧重“语音转文字”）、图像识别（侧重“图像理解”）不同，NLP直接面向“语言本身的语义与逻辑”，是实现“人机对话”“智能文本分析”的核心技术基础。什么是自然语言处理自然语言处理的发展历程自然语言处理的发展经历了“规则驱动→统计驱动→深度学习驱动”三个核心阶段，各阶段的技术特征与突破点如下：发展阶段时间范围核心技术典型成果技术局限规则驱动阶段20世纪50-80年代基于人工编写的语法规则、词典与模板，通过预设逻辑处理语言机器翻译雏形（如1954年美国乔治敦大学与IBM的英俄翻译系统）、简单问答系统依赖人工编写规则，无法处理复杂句式与歧义；适配性差，换一种语言或场景需重新编写规则统计驱动阶段20世纪90年代-2010年基于统计机器学习，通过大规模语料库学习语言规律统计机器翻译（如谷歌早期翻译系统）、垃圾邮件过滤、简单文本分类依赖大规模标注语料库，数据获取成本高；对语义深层理解能力弱，难以处理上下文关联深度学习驱动阶段2010年至今基于深度学习模型，通过海量无标注数据预训练+微调，实现语义深度理解智能对话机器人、高精度机器翻译（如谷歌翻译）、情感分析系统、自动文本生成模型参数量大，训练与推理需高性能计算资源；存在“语义”知识技能知识点3自然语言处理包含多个相互关联的技术模块，各模块协同工作实现“语言理解与生成”，核心技术如下：（1）文本预处理技术文本预处理是NLP的基础环节，用于将原始文本转化为机器可处理的格式，核心操作包括：分词：将连续的文本拆分为独立的词语，常用工具如结巴分词、百度AI分词API；去停用词：去除文本中无实际语义的词语，减少数据冗余；词性标注：为每个词语标注词性，为后续语义分析提供基础；词向量表示：将词语转化为数值向量，让机器通过数值计算理解词语间的语义关联。（2）语义理解技术语义理解是NLP的核心目标，用于解析文本的深层含义，核心技术包括：命名实体识别（NER）：识别文本中的特定实体；句法分析：分析句子的语法结构；上下文语义理解：结合上下文分析词语或句子的真实含义，解决歧义问题，预训练语言模型（如BERT）是该领域的核心技术。（3）文本分析与生成技术文本分类：将文本划分到预设类别；关键词提取：从文本中提取核心关键词；情感分析：判断文本的情感倾向；文本生成：根据需求自动生成自然语言文本。（4）对话系统技术对话系统是NLP的典型应用，实现“机器与人类的多轮对话”，核心技术包括：意图识别：理解用户对话的核心需求；槽位填充：提取对话中的关键信息；多轮对话管理：维护对话上下文，实现连贯交互。自然语言处理的核心技术知识技能知识点3（1）办公领域简历智能分析与优化：通过NLP提取简历关键词，匹配岗位需求，生成优化建议；智能文档摘要：自动生成会议纪要、报告的核心摘要，减少阅读时间；邮件分类与自动回复：对邮件进行分类，自动回复简单咨询邮件。（2）教育领域智能批改：自动批改作文、主观题，分析学生答题中的语法错误与语义问题；个性化学习推荐：根据学生的学习文本，推荐适配的学习资源；语言翻译与教学：提供多语种实时翻译，辅助外语学习。（3）金融领域智能客服：通过对话系统解答用户的银行业务咨询；风险文本分析：分析企业年报、新闻中的风险信息，辅助风险评估；交易文本处理：自动识别交易记录中的关键信息，实现自动化记账。（4）日常生活领域智能语音助手：如手机的“Siri”“小爱同学”，通过NLP理解语音指令；机器翻译：如谷歌翻译、百度翻译，实现多语种实时互译；内容推荐：如短视频平台、新闻APP，通过分析用户阅读文本的偏好，推荐相关内容。自然语言处理的应用领域知识技能知识点5表4-5-2全面梳理了当前主流的自然语言处理工具与平台，涵盖百度AI开放平台-NLP、腾讯云自然语言处理、豆包AI-NLP模块、结巴分词及HuggingFace等核心产品。主流自然语言处理工具与平台表4-5-2主流自然语言处理工具与平台工具/平台名称核心功能适用场景百度AI开放平台-NLP提供分词、命名实体识别、关键词提取、文本生成、情感分析等API；支持自定义语料训练简历关键词提取、文本分类、智能问答系统开发腾讯云自然语言处理支持文本理解（句法分析、语义相似度）、文本生成（摘要、文案）、对话系统搭建；提供行业解决方案（如金融文本分析）企业年报分析、智能客服开发、简历优化豆包AI-NLP模块操作简单，无需编程基础；支持文本分析（简历诊断）、文本生成（简历优化）、多轮对话（解答简历修改疑问）；适合非技术人员使用个人简历优化、学习笔记整理、简单文本生成结巴分词（开源工具）轻量级中文分词工具，支持自定义词典；可集成到Python项目中，实现本地化文本预处理小规模文本分词、学生实验项目HuggingFace（开源平台）提供丰富的预训练语言模型（如BERT、GPT）与工具库；支持模型微调与部署，适合自定义NLP任务科研项目、复杂文本分析（如专业领域简历优化）PARTTWO任务实施5本任务将通过百科融创平台，实现超级导购功能，超级导购机器人无缝集成智能货架系统，能够帮助游客快速找到所需商品。具体步骤如下：步骤1.登录百科融创平台,

创建并命名空白项目用注册账号登录，进入AI通识教育平台界面，进行项目创建和命名，如图4-5-1所示。图4-5-1创建项目步骤2.添加功能节点并关联逻辑（1）返回项目管理界面的“我的项目”列表，找到刚刚创建并命名的“超级导购”项目，单击项目名称，进入项目；（2）添加核心功能节点：根据超级导购功能的需求（集成智能货架系统、接收游客需求、定位商品位置、反馈结果），在左侧“节点库”中筛选并添加以下功能节点，添加方式为单击目标节点后拖动至中间“画布编辑区”的合适位置：输入交互类节点：选择“文本输入”节点；AI识别处理类节点：选择“文字包含判断”节点（识别需求中的商品名称、类型等关键信息）；图4-5-2添加输入节点数据关联类节点：选择“智能货架”节点（集成智能货架系统，获取货架布局、商品摆放位置、库存状态等数据）、“数字大小判断”节点、（将解析后的商品需求与智能货架数据匹配，定位目标商品所在货架及具体位置）；输出反馈类节点：选择“文字显示”节点（展示商品位置信息）、“语音播报”节点（语音告知游客商品位置，方便直观获取）；图4-5-3添加输出节点逻辑控制类节点：选择“合一”节点（整合“语音输入”“文本输入”两种输入方式的需求信息）、“分三”节点（将商品位置匹配结果同步分发至多个输出节点）。图4-4-4添加控制节点（3）关联节点逻辑：按照超级导购功能的流程逻辑，通过“端口连接”的方式建立各节点间的关联。具体关联顺序如下：将“语音输入”节点的输出端口、“文本输入”节点的输出端口，分别连接至“合一”节点的两个输入端口（实现两种输入方式的需求整合）；将“合一”节点的输出端口连接至“语音转文字”节点的输入端口（若为文本输入，该节点会自动跳过转码，直接传递文本信息）；将“语音转文字”节点的输出端口连接至“商品需求解析”节点的输入端口；同时选中“商品需求解析”节点的输出端口和“智能货架数据接口”节点的输出端口，分别连接至“商品位置匹配”节点的两个输入端口（实现需求与货架数据的精准匹配）；将“商品位置匹配”节点的输出端口连接至“分三”节点的输入端口；将“分三”节点的三个输出端口，分别连接至“文字显示”节点、“语音播报”节点、“地图导航”节点的输入端口（实现多形式结果反馈）。（4）配置节点参数：单击画布中已添加的各节点，在右侧“参数配置区”完成对应参数设置，确保功能正常运行：单击“智能货架数据接口”节点，在参数面板中输入智能货架系统的对接地址（平台提供测试接口可直接选择），勾选需要获取的货架数据字段（如货架编号、区域、商品名称、摆放层数、库存）；单击“商品需求解析”节点，设置解析精度为“高”，添加常见商品名称关键词库；单击“语音播报”节点，选择播报语音类型及播报语速（默认中等语速）。（5）保存节点配置：所有节点添加、关联及参数配置完成后，单击编辑界面右上角的“保存”按钮，系统将自动保存当前的节点布局、逻辑关联及参数设置，避免配置丢失。图4-5-5超级导购功能结构图步骤3.测试超级导购功能场景（1）测试准备：在编辑界面中，确认所有节点均已正确关联，单击右侧“智能货架数据接口”节点的“测试连接”按钮，验证与智能货架系统的连接是否正常（显示“连接成功”即可）；准备3-5个不同类型的商品需求测试案例（如“找纸巾”“购买充电宝”“哪里有薯片”等），用于全面验证功能。（2）启动测试流程：单击编辑界面上方的“运行”按钮（红色或绿色三角形标识），系统将启动超级导购功能的整体流程，此时各节点会显示“运行中”状态（绿色指示灯）。（3）执行多场景测试：文本输入测试：可单击“文本输入”节点的输入框，手动输入测试需求（如“购买充电宝”），输入完成后单击“确认输入”。观察数据流向与语音输入一致，均能正常解析商品关键词；匹配与反馈测试：待商品需求解析完成后，观察“商品位置匹配”节点的运行状态，该节点会自动调用“智能货架数据接口”获取的数据，匹配出目标商品的位置信息（如“矿泉水位于1号货架A区，第3层，当前库存充足”）；随后通过“分三”节点将该信息同步分发至各输出节点：“文字显示”节点会直接展示位置文本信息，“语音播报”节点会自动播放该信息，“地图导航”节点会显示智能货架区域地图，并标注出从当前位置前往1号货架A区的路线。（4）异常场景测试：测试无效需求（如“找不存在的商品”），观察系统反馈：“商品位置匹配”节点会显示“未匹配到对应商品”，各输出节点同步反馈“未查询到该商品，请重新输入需求”，验证系统的异常处理能力。（5）测试结束：所有测试案例执行完成后，单击编辑界面上方的“停止”按钮，结束功能运行。若测试过程中出现数据流转中断、解析错误、反馈异常等问题，可先检查节点关联是否正确、参数配置是否有误、智能货架接口是否连接正常，修正后重新启动测试。（6）保存测试结果：测试通过后，单击编辑界面右上角的“保存测试记录”按钮，将本次测试的需求案例、解析结果、反馈信息等内容保存至项目中，便于后续查阅和优化。项目拓展——开展“AI关键技术应用

伦理与创新”主题研讨

随着人工智能关键技术（文字识别、图像识别、人脸识别、语音识别、自然语言处理）在政务、教育、金融、办公等领域的深度渗透，其在提升行业效率的同时，也催生了一系列伦理困境与创新发展的边界挑战。作为技术应用者，学生在掌握AI技术实操能力的同