项目6自然语言处理

自然语言处理项目6IntroductiontoNaturalLanguageProcessing人工智能导论CONTENTS01项目概述02思政聚焦0304项目相关知识05项目任务06项目小结与展望思维导图07项目重难点01项目概述自然语言处理（NaturalLanguageProcessing，NLP），指用计算机来处理、理解及运用人类语言（如中文、英文等）的技术，其技术目标就是使机器能够“听懂”人类的语言，并进行翻译，实现人和机器的交流。自然语言处理应用----智能翻译与问答百度翻译、百度搜索与智能客服广泛应用02思维导图项目思维导图03项目重难点自然语言理解的层次与分词、词性标注的基本原理。理解TF-IDF、词向量等文本特征的表示形式。能够独立完成智能文本分析、机器人写诗和自然语言处理人机竞赛任务，理解其在实际场景中的应用。项目重难点项目重点机器人写诗的大模型训练逻辑。理解文本如何在计算机中被转化为可计算的特征表示。将具体的编程技能升华为“人工智能思维”，真正理解技术背后的逻辑而非仅仅调用工具。项目难点04思政聚焦语言是人类沟通的桥梁，计算机也有自己的语言，即数字信息。汉语书面语中词与词之间没有空格分隔，分词成为中文自然语言理解的第一只“拦路虎”，攻克这一难题，靠的不仅是算法，更是中国学者对母语文化的深刻理解与执着坚守。从基于规则到基于统计，再到基于深度学习，自然语言处理经历了三次范式跃迁。如今，以通义千问为代表的国产大语言模型异军突起，标志着中国在自然语言处理领域已从“跟跑”迈向“并跑”乃至“领跑”。同学们在本地部署大语言模型、体验智能文本分析和机器人写诗时，应深刻感受到：核心技术必须掌握在自己手中，语言主权与信息安全关乎国家文化安全。让机器“听懂”中国话：自然语言处理中的文化自信与技术担当05项目相关知识自然语言处理的典型应用a)机器翻译：百度翻译b)信息检索与问答：百度搜索c)智能客服：淘宝小蜜智能文本分析的流程智能文本分析的流程包括：获取原始文本→文本预处理→特征提取→模型训练→输出结果名词解释：数据清洗、TF-IDF、词向量、TextCNN智能文本分析流程图（1）获取原始文本：资料整理、网上下载抓取（2）文本预处理：数据清洗、分句、分词、词性标注（3）特征提取：词袋模型、TF-IDF、词向量（4）模型训练与输出：TextCNN等模型实现文本分类，生成智能文本分析报告文本处理的过程（a）小程序首页（b）输入文本（c）命名实体识别（d）形成文本摘要智能文本分析小程序界面智能文本分析小程序界面数据清洗：删除或更正错误、不完整、格式有误、多余的数据，如中文文本中的数字、英文、标点等非常规字符，可使用正则表达式处理分句：将一段文本分成一个一个的句子，一般按照句末标点符号进行切分，可使用NLTK中的punkt句子分割器实现分词：将每一个句子分割成一个有意义的词汇单元，中文分词一般使用jieba库的cut()精准模式词性标注：给每个词标记上词性，使文本在后续处理中融入更多语言信息文本的预处理词袋模型：不考虑词语原本在句子中的顺序，直接统计每个词语出现的词频。词频-逆文档频率（TF-IDF）是词袋模型的经典方法，用于评估一个词对文本库中某份文件的重要程度。词向量：一种将词语映射为低维连续向量的表示方法，能够捕捉词语之间的语义和语法关系，常见模型包括Word2Vec、GloVe和FastText等。文本的特征提取提取特征向量后，针对不同的应用需求可使用不同的模型：传统机器学习模型包括kNN、SVM、朴素贝叶斯、决策树、k-Means等；深度学习模型包括CNN、RNN、LSTM、Seq2Seq、FastText、TextCNN等。本任务的文本分类采用基于TextCNN的文本分类方法。KNN分类器原理示意图文本分类的模型训练卷积神经网络结构示例深度学习算法深度学习模型的特点优势：在语料充足的情况下准确率高，能够自动学习语言的层次化表示局限性：（1）大规模语料的获取与清洗成本高、耗时（2）模型训练阶段对硬件要求高深度学习模型自然语言理解五层次示意图自然语言理解的层次两种分词结果对比分词：词是汉语中能够独立的最小语言单位。汉语书面语中词与词之间没有空格分隔，正确的分词取决于对文本语义的正确理解，分词是理解语言的第一道工序，也是中文自然语言理解的第一只“拦路虎”。词性标注：为给定句子中的每个词赋予正确的词性标记（如名词、动词、形容词等），是一个经典的序列标注过程，常见方法有基于规则的方法和基于统计的方法（如基于HMM的词性标注）。分词与词性标注Ollama交互界面1.命令行部署：执行ollamarunqwen3:latest一键下载并运行通义千问模型2.图形界面：通过Ollama内置界面下载模型、可视化对话大语言模型的本地部署1.特征工程依赖：不同任务需要单独设计算法与特征；2.上下文理解有限：难以掌握长距离的语言依赖关系；3.缺乏深层次语义理解：难以真正“理解”语言的含义与语境。传统自然语言处理方法的局限1.多任务通用：一个模型即可支持问答、写作、翻译、编程等多种任务，无须为每个任务单独设计算法；2.语义理解能力强：基于大规模语料学习语言规律，通过自注意力机制捕捉词语间的远距离依赖；3.本地可控：通过Ollama等工具部署量化模型，保障数据隐私与安全，支持离线使用。大语言模型的优势1.机器翻译2.智能客服3.信息检索与问答4.情感分析与文本分类5.机器人写诗等创作应用自然语言处理的应用06

项目任务1、任务描述本任务为智能文本分析。输入一段待分析的文本内容，通过文本分句、分词、命名实体识别3个重要步骤，从文本中提取出时间、地点、人物、事件等关键信息，再根据这些关键信息形成反映中心内容的文本摘要，实现对文本的情感分析和分类，最终生成文本分析报告。任务1：智能文本分析2、任务实现2、任务实现2、任务实现1、任务描述本任务为机器人写诗。通过输入诗的标题、类型等，让模型自动生成符合格式要求的诗。写诗前需让模型学习各种类型或主题的诗，获得诗的基本特征和规律。主流诗生成方法采用基于深度学习的方法，LSTM是常用的深度学习方法：获取足够的训练诗数据并规范化后，使用Keras函数库搭建包含输入层、LSTM层、全连接层和输出层的LSTM模型，设置输出维度、激活函数等信息，训练并保存模型，最后调用训练好的模型自动生成五言律诗、五言绝句等格式的诗。任务2：机器人写诗2、任务实现2、任务实现任务3：自然语言处理人机竞赛（文本分类、文本纠错）07项目小结与展望本项目介绍了自然语言处理的定义、发展、两大流程、自然语言理解的层次和大语言模型等相关内容，然后介绍了智能文本分析、机器人写诗和自然语言处理人机竞赛3个自然语言处理任务的具体实施过程。其中，智能文本分析任务的实施过程主要包括提取文本关键信息、形成文本摘要等重要步骤；机器人写诗任务则主要通过输入诗的标题和类型，进行模型训练并自动生成诗。读者可以在学习自然语言处理理论的基础上动手实践，体会自然语言处理的魅力。项目小结人工智能自然语言处理将是信息科学技术中长期发展的一个新的战略制高点，自然语言处理技术会给人们的生活带来便利。与此同时，技术的进步也会给人们的生