人工智能通识实践教程 课件 第9章 自然语言处理

第9章自然语言处理实验内容搭建实验环境：在Anaconda中建立实验环境，为JupyterNotebook配置环境实验1：智能问答实验2：调用大模型API编程软件—JupyterNotebook交互式编程环境，便于实时测试和调试代码支持丰富的可视化功能，方便展示数据分析和模型结果支持使用Markdown（轻量级的标记语言）记录实验过程和结果，使学习更加高效JupyterNotebook编程环境交互式编程环境，便于实时测试和调试代码支持丰富的可视化功能，方便展示数据分析和模型结果支持使用Markdown，记录实验过程和结果，使学习更加高效实验准备—创建编程环境步骤1：创建conda环境启动AnacondaNavigator，创建conda环境，命名为“NLP”，选择Python3.8.20打开终端，安装如下第三方库jiebawordcloudgensimrequests实验准备—创建编程环境步骤2：JupyterNotebook连接Anaconda虚拟环境①在Anaconda的命令行窗口中激活目标虚拟环境condaactivatenlp②安装ipykernel（仅第一次）condainstallipykernel③将conda环境注册为JupyterNotebook内核python-mipykernelinstall--user

--name<your-env-name>启动Jupyternotebook步骤1：进入指定的路径（拟存储文件的路径或要打开文件所在的路径）步骤2：执行jupyternotebook命令，启动JupyterNotebook启动JupyternotebookJupyterNotebook的基本使用菜单栏工具栏单元格类型和状态单元格操作9.2中文分词jieba库

自然语言处理（NaturalLanguageProcessing，NLP）是一门涉及计算机科学、人工智能和语言学等多个领域的交叉学科，NLP的目标是让计算机能够像人类一样理解和处理自然语言。ChatGPT、DeepSeek等大语言模型是NLP技术在对话生成领域的一个具体应用，从文本分析到语言理解，是一种生成式AI模型，可以生成流畅、连贯的自然语言响应。在NLP中，分词是将连续的字符序列（如中文文本）切分成具有独立含义的词语的过程。分词是中文文本处理的基础，对于词性标注、命名实体识别、关键词提取、情感分析等后续任务具有重要的影响。中文分词jieba库

jieba(结巴)分词是一个常用的中文分词工具，可以为后续的NLP任务提供基础支持。中文分词：将中文文本切分成有意义的词语，并可以添加自定义词典，纠正分词错误或增加领域特定的词汇。词性标注：jieba能够对分词结果进行词性标注，即为每个词语添加对应的词性标签。这对于词义消歧、命名实体识别等任务非常有用。关键词提取：jieba提供了基于TF-IDF/TextRank算法的关键词提取功能，可以从文本中自动抽取出重要的关键词。1.中文分词函数说明jieba.cut(s)精确模式，将句子最精确的分词，返回可迭代对象jieba.cut(s,cut_all=True)全模式，输出所有可能成词的词语jieba.lcut(s)精确模式，返回一个列表类型jieba.lcut(s,cut_all=True)全模式，返回列表类型jieba.add_word(w)向分词字典中增加新词jieba.load_userdict(file)向分词字典中添加自定义字典分词模式>>>importjieba>>>sentence="自然语言处理是一门涉及多领域的交叉学科">>>jieba.lcut(sentence)#精确模式['自然语言','处理','是','一门','涉及','多','领域','的','交叉学科']>>>jieba.lcut(sentence,cut_all=True)#全模式['自然','自然语言','语言','处理','是','一门','涉及','多','领域','的','交叉','交叉学科','学科']添加新词>>>sentence="王清晨是信安系主任也是云计算方面的专家"

>>>words=jieba.lcut(sentence)

>>>print("/".join(words))王/清晨/是/信安/系主任/也/是/云/计算/方面/的/专家>>>jieba.add_word("王清晨")

>>>jieba.add_word("信安系")

>>>jieba.add_word("云计算")

>>>words=jieba.lcut(sentence)

>>>print("/".join(words))王清晨/是/信安系/主任/也/是/云计算/方面/的/专家批量添加新词自定义词典import

jieba

sentence="王清晨是信安系主任也是云计算方面的专家"

jieba.load_userdict("userdict.txt")

words=jieba.lcut(sentence)

print("/".join(words))王清晨/是/信安系/主任/也/是/云计算/方面/的/专家2.词性标注词性标注：用于确定文本中每个单词的词性或词类。在词性标注中，每个单词会被分配一个特定的标签，表示其在句子中扮演的语法角色，例如名词、动词、形容词、副词等。这些标签可以提供有关单词的语法和语义信息，对于句子的理解和后续的语言处理任务非常有用。jieba.posseg是jieba库中的词性标注模块，可以将中文文本分词后，为每个分词结果赋予对应的词性标签。标签体系基于北大《人民日报》语料库标准和

ICTCLAS标注规范标识基本词性（如名词、动词）、细粒度分类（如人名、地名）和特殊标签（如助词、标点）等信息8.2.2词性标注jieba.posseg算法核心基于前缀词典的分词算法：jieba使用了基于前缀词典的分词算法，该算法将待分词的文本按照最大概率路径进行切分，并且通过动态规划来实现高效的分词。隐马尔可夫模型（HMM）词性标注：HMM是一种统计模型，用于描述一个含有隐含未知参数的马尔可夫过程，它可以根据词语的上下文推测出最可能的词性。其他优化策略、词频统计等方法，以提高分词和词性标注的准确性和效率。词性标注import

jieba.possegaspsg

text="我和朋友去欣赏颐和园西堤的美景"

seg=psg.lcut(text)

for

elementin

seg:

print(element.word,element.flag)我r和c朋友n去v欣赏v颐和园ns西堤nr的uj美景n代词连词名词动词地名人名单词词性词性标注import

jieba.possegas

psg

text="山西拥有众多著名景区，如五台山的佛教圣地、云冈石窟的石窟艺术、平遥古城的明清建筑、悬空寺的奇特建筑、太原古城墙的历史遗迹和雁门关的自然风光。这些景区展现了山西丰富的文化底蕴和壮美的自然风景，吸引着游客和历史文化爱好者前来探访。"

seg=psg.lcut(text)ls=print(ls)['山西','五台山','云冈石窟','古城','太原','雁门关','山西']#提取地名信息[x.wordfor

xin

segif

x.flag=='ns']3.关键词提取关键词抽取：从一段文本中抽取出最具代表性的、能够概括文本主题的关键词或短语。通过对文本进行自然语言处理和计算机算法分析，可以抽取出文本中出现频率较高、与主题相关性较强的单词或短语。这些关键词可以帮助读者快速了解文本主题，也有助于搜索引擎优化和信息检索。jieba使用

TF-IDF/TextRank算法抽取关键词。其中，TF-IDF通过计算一个词语在文本中的重要程度提取关键词。3.关键词提取TF-IDF由TF和IDF两部分组成TF

表示词频（TermFrequency），指某个词在文本中出现的次数。如果一个词在文本中多次出现，那么它很有可能与文本的主题密切相关，因此应该给予较高的权重。IDF表示逆文档频率（InverseDocumentFrequency），指包含这个词的文档在整个语料库中出现的频率的倒数。如果一个词在整个语料库中很常见，那么它对区分不同文本的能力就较低，因此应该给予较低的权重；相反，则它对于区分不同文本的能力就较强，因此应该给予较高的权重。TF-IDF=TF*IDF3.关键词提取#假设有包含多篇文档的语料库corpus=[

'Thisisthefirstdocument.',

'Thisdocumentistheseconddocument.',

'Andthisisthethirdone.',

'Isthisthefirstdocument?'

]#假设有包含多篇文档的语料库corpus=[

'This

is

thefirstdocument.',

'Thisdocumentistheseconddocument.',

'Andthis

is

thethirdone.',

'Is

this

thefirstdocument?'

]区分不同文本的能力弱3.关键词提取jieba.analyse：jieba库中的关键词提取功能模块jieba.analyse.extract_tags(text,topK=10,withWeight=True)参数text：需要提取关键词的文本内容topK：需要提取的关键词数量withWeight：是否返回关键词的权重返回值：关键词列表，每个关键词可以携带权重信息3.关键词提取import

jieba.analyse

asja

text="山西拥有众多著名景区，如五台山的佛教圣地、云冈石窟的石窟艺术、平遥古城的明清建筑、悬空寺的奇特建筑、太原古城墙的历史遗迹和雁门关的自然风光。这些景区展现了山西丰富的文化底蕴和壮美的自然风景，吸引着游客和历史文化爱好者前来探访。"

keywords=ja.extract_tags(text,topK=5,withWeight=True)

for

word,weight

in

keywords:

print("{:<10}weight:{:.2f}".format(word,weight))景区weight:0.41山西weight:0.32悬空寺weight:0.30建筑weight:0.30壮美weight:0.28中文文本分析实例情感分析的用途覆盖商业、金融、医疗、政治等多个领域，量化主观信息，快速捕捉公众情绪变化，自动处理海量文本等产品评价分析：了解消费者对产品的满意度，优化产品设计或营销策略竞争对手分析：比较竞品的情感倾向，发现自身产品的优势或不足内容推荐：根据用户评论的情感倾向调整推荐内容自动客服系统：识别用户投诉中的负面情绪，优先处理紧急问题股市预测：分析财经新闻或股民论坛的情感倾向，辅助判断市场情绪患者反馈分析：从医疗评价平台提取患者对医院服务的满意度舆情监测：跟踪社交媒体上用户的言论，及时发现负面舆情并采取公关措施中文文本分析实例【例】中文情感分析--基于规则和词典的情感分析。对用户评论的褒贬性进行判断是情感分析的常用方法。形容词、程度副词和连词都是用于判断褒贬的重要依据。外观很好，画质也不错。但是音质真的太糟糕了，操作也不方便。使用jieba库对该评论进行分词，提取所有的形容词在列表中分别存放褒义词和贬义词，文本中每出现一次褒义词加1分，出现贬义词减1分。计算该产品评论的情感分。大于0为积极情感，小于0为消极情感。import

jieba.possegas

psg

comment="外观很好，画质也不错。但是音质真的太糟糕了，操作也不方便。"

positive_words=['好','不错','方便','赞']

negative_words=['糟糕','不方便']

words=psg.lcut(comment)

print(words)

score=0for

word,flag

in

words:

ifflag

==

'a':

ifwordinpositive_words:score+=1

elifwordinnegative_words:score-=1

print(word,score)

ifscore>0:

print(score,"positivefeeling")else:

print(score,"negtivefeeling")a:形容词[pair('音质','n'),pair('真的','d'),pair('太','d'),pair('糟糕','a'),pair('了','ul'),pair('，','x'),pair('操作','v'),pair('也','d'),pair('不','d'),pair('方便','a'),pair('。','x'),pair('但是','c'),pair('外观','n'),pair('很','d'),pair('好','a'),pair('，','x'),pair('画质','n'),pair('也','d'),pair('不错','a'),pair('。','x')]2positivefeeling不方便：处理否定词is_not=False#引入“不”的判断

score=0

forword,flag

inwords:

ifflag

==

'a':

ifis_not:#出现否定词，情感取反

ifwordinpositive_words:

score-=1

elifwordinnegative_words:

score+=1

is_not=False#否定词结束

else:

ifwordinpositive_words:

score+=1

elifwordinnegative_words:

score-=1

ifword=="不":

is_not=True0negtivefeeling[pair('音质','n'),pair('真的','d'),pair('太','d'),pair('糟糕','a'),pair('了','ul'),pair('，','x'),pair('操作','v'),pair('也','d'),pair('不','d'),pair('方便','a'),pair('。','x'),pair('但是','c'),pair('外观','n'),pair('很','d'),pair('好','a'),pair('，','x'),pair('画质','n'),pair('也','d'),pair('不错','a'),pair('。','x')]"外观很好，画质也不错。但是音质真的太糟糕了，操作也不方便。"

"音质真的太糟糕了，操作也不方便。但是外观很好，画质也不错。"处理但是的转折is_not=False

score=0

forword,flag

inwords:

ifflag

==

'a':#a:形容词

…………

ifword=="不":

is_not=True

elifword=="但是":#引入“但是”的转折处理

ifscore>0:

score-=1

else:

score+=1-1negtivefeeling[pair('外观','n'),pair('很','d'),pair('好','a'),pair('，','x'),pair('画质','n'),pair('也','d'),pair('不错','a'),pair('。','x'),pair('但是','c'),pair('音质','n'),pair('真的','d'),pair('太','d'),pair('糟糕','a'),pair('了','ul'),pair('，','x'),pair('操作','v'),pair('也','d'),pair('不','d'),pair('方便','a'),pair('。','x')]"外观很好，画质也不错。但是音质真的太糟糕了，操作也不方便。"is_not=False

score=0

forword,flag

inwords:

ifflag

==

'a':#a:形容词

…………

ifword=="不":

is_not=True

elifword=="但是":#引入“但是”的转折处理

ifscore>0:

score-=1

else:

score+=1"音质真的太糟糕了，操作也不方便。但是外观很好，画质也不错。"[pair('音质','n'),pair('真的','d'),pair('太','d'),pair('糟糕','a'),pair('了','ul'),pair('，','x'),pair('操作','v'),pair('也','d'),pair('不','d'),pair('方便','a'),pair('。','x'),pair('但是','c'),pair('外观','n'),pair('很','d'),pair('好','a'),pair('，','x'),pair('画质','n'),pair('也','d'),pair('不错','a'),pair('。','x')]1positivefeelingweight={'很':2,"太":3,"非常":2,"较":1,"极":3,"无比":4}#引入权重"外观很好，画质也不错。但是音质真的太糟糕了，操作也不方便。"判断前面的词是否为这些加权词=>记录每个词的前词[pair('音质','n'),pair('真的','d'),pair('太','d'),pair('糟糕','a'),pair('了','ul'),pair('，','x'),pair('操作','v'),pair('也','d'),pair('不','d'),pair('方便','a'),pair('。','x'),pair('但是','c'),pair('外观','n'),pair('很','d'),pair('好','a'),pair('，','x'),pair('画质','n'),pair('也','d'),pair('不错','a'),pair('。','x')]weight={'很':2,"太":3,"非常":2,"较":1,"极":3,"无比":4}is_not=False

score=0word_pre=""#前一个词forword,flag

inwords:

ifflag

==

'a':#a:形容词

ifis_not:#出现否定词，情感取反

ifwordinpositive_words:

score-=1

elifwordinnegative_words:

score+=1

is_not=False#否定词结束

elifis_not==False:#未出现否定词

ifwordinpositive_words:

score+=1

elifwordinnegative_words:

score-=1

……

word_pre=word

#记录前一个词-2negtivefeeling*weight.get(word_pre,1)*weight.get(word_pre,1)*weight.get(word_pre,1)*weight.get(word_pre,1)该情感分析方法的优点简单直观基于规则和词典的方法易于理解和实现，通过简单的加减分规则即可量化情感倾向，逻辑清晰可解释性强每个词的贡献（加分或减分）明确，便于人工验证和调整规则和词典可以灵活定制，例如添加新的褒贬义词或调整权重处理否定和转折通过引入否定词（如“不”）和转折词（如“但是”）的处理逻辑，能够捕捉部分上下文信息，提升分析的准确性支持动态调整可以动态调整权重（如程度副词“很”“太”），增强对情感强度的区分能力无需大量训练数据与机器学习方法相比，不需要标注大量数据训练模型，适合小规模或特定领域的情感分析基于规则和词典的情感分析该情感分析方法的缺点依赖词典质量需要人工构建和维护褒贬义词库，覆盖范围有限，难以应对新词或领域特定词汇忽略上下文语义单纯依赖词频和规则，无法理解句子深层语义。例如，“好得不像话”实际是褒义，但可能被误判为否定。处理长文本效果有限对长文本或多主题文本的情感分析可能失效，因为规则难以覆盖全局上下文。否定和转折的局限性仅能处理简单的否定词（如“不”）和转折词（如“但是”），对于嵌套否定（如“并不是不友好”）或复杂句式容易误判。权重设计主观程度副词的权重（如“很”=2，“太”=3）依赖人工设定，缺乏数据支持，可能不够精准机器学习方法实验1：智能问答实验1：智能问答

知识点：文本的统计特征表示Dictionary（词典）：将文本中的词映射到唯一的整数IDCorpus（语料库）与词袋模型（Bag-of-Words,BoW）：文档集合的统计表示，每个文档表示为词袋模型（ID，频率）TF-IDF（词频-逆文档频率）模型：改进的词袋模型，衡量词在文档中的重要性文本的统计特征表示词典语料库（Corpus）和词袋模型（BoW）为每个词分配一个唯一的ID将文档中的词转换为其在词典中的ID及出现的次数TF-IDF模型利用词的频率和逆文档频率计算每个词的重要性文档集合计算文本相似度等新文档questions=['自然语言处理的定义及其重要性是什么？','文本预处理的步骤和目的有哪些？','词嵌入技术如何改善自然语言处理的效果？','深度学习在自然语言处理中的主要应用是什么？','当前自然语言处理的研究热点及其应用前景如何？’]answers=['自然语言处理是人工智能的一个分支，旨在使计算机能够理解、解释和生成自然语言，涉及语言学、计算机科学和统计学等多个学科。','文本预处理是自然语言处理中的重要步骤，包括去除停用词、词干提取和词形还原等，以提高模型的性能和准确性。','词嵌入技术用于将词汇映射到低维向量空间中，能够捕捉词汇之间的语义关系，改善文本分析效果。','深度学习在自然语言处理中的应用包括序列到序列模型、循环神经网络和变换器，这些模型能够处理复杂的语言任务，如翻译和文本生成。','当前自然语言处理的研究热点包括情感分析、对话系统和自动文本摘要等，这些技术正在不断推动人机交互的进步。']任务1：构建智能问答的问答对。jieba(结巴)分词是一个常用的中文分词工具，可以为后续的NLP任务提供基础支持。中文分词：将中文文本切分成有意义的词语，并可以添加自定义词典，纠正分词错误或增加领域特定的词汇。词性标注：jieba能够对分词结果进行词性标注，即为每个词语添加对应的词性标签。这对于词义消歧、命名实体识别等任务非常有用。关键词提取：jieba提供了基于TF-IDF/TextRank算法的关键词提取功能，可以从文本中自动抽取出重要的关键词。任务2：数据预处理（jieba库）。函数说明jieba.lcut(s)精确模式，返回一个列表类型jieba.add_word(w)向分词字典中增加新词jieba.load_userdict(file)向分词字典中添加自定义字典任务2：数据预处理（jieba库）。任务2：数据预处理（jieba库）。添加自定义词jieba.add_word("自然语言处理")jieba.add_word("深度学习")jieba.add_word("词嵌入")sentences=[]forquestioninquestions:

seg_list=jieba.lcut(question)

sentences.append(seg_list)“自然语言处理”“深度学习”“词嵌入”任务2：数据预处理（jieba库）。去停用词“的”“是”“和”“中”“？”stoplist=["是","和","中","的","？"]#停用词列表documents=[]forsentenceinsentences:

tmp=[]

forwordinsentence:

ifwordnotinstoplist:

tmp.append(word)

documents.append(tmp)任务3：建立TF-IDF模型。创建词典表示为词袋模型创建TF-IDF模型将文档换为TF-IDF向量表示dictionary=corpora.Dictionary(documents)#创建词典print(dictionary.token2id){'什么':0,'及其':1,'定义':2,'自然语言处理':3,'重要性':4,'哪些':5,'文本':6,'有':7,'步骤':8,'目的':9,'预处理':10,'如何':11,'技术':12,'改善':13,'效果':14,'词嵌入':15,'主要':16,'在':17,'应用':18,'深度学习':19,'前景':20,'当前':21,'热点':22,'研究':23}任务3：建立TF-IDF模型。创建词典表示为词袋模型创建TF-IDF模型将文档换为TF-IDF向量表示corpus=[]fordocumentindocuments:

corpus.append(dictionary.doc2bow(document))[[(0,1),(1,1),(2,1),(3,1),(4,1)],[(5,1),(6,1),(7,1),(8,1),(9,1),(10,1)],[(3,1),(11,1),(12,1),(13,1),(14,1),(15,1)],[(0,1),(3,1),(16,1),(17,1),(18,1),(19,1)],[(1,1),(3,1),(11,1),(18,1),(20,1),(21,1),(22,1),(23,1)]]任务3：建立TF-IDF模型。创建词典表示为词袋模型创建TF-IDF模型将文档换为TF-IDF向量表示tfidf_model=models.TfidfModel(corpus)corpus_tfidf=tfidf_model[corpus]文档1的TF-IDF向量表示：[(0,0.3485847413542797),(1,0.3485847413542797),(2,0.6122789185961829),(3,0.08489056411237639),(4,0.6122789185961829)]任务4：计算文本相似度。创建相似度矩阵similarity_index=similarities.MatrixSimilarity(corpus_tfidf)[[1.00000000,0.00000000,0.00564751,0.10977542,0.09409548],[0.00000000,1.00000000,0.00000000,0.00000000,0.00000000],[0.00564751,0.00000000,0.99999994,0.00481641,0.07374064],[0.10977542,0.00000000,0.00481641,0.99999994,0.08024823],[0.09409548,0.00000000,0.07374064,0.08024823,1.00000000]]任务5：智能问答。计算新问题（文档）与TF-IDF模型中已有问题（文档）之间的文本相似度，找到最匹配的问题，再将该匹配问题对应的答案作为自动回答的结果question="词嵌入技术如何影响自然语言处理模型的训练和性能"new_bow=dictionary.doc2bow(jieba.cut(question))

#词袋模型向量new_tfidf=tfidf_model[new_bow]#TF-IDF向量表示#计算新文档与已有文档的文本相似度sims=similarity_index[new_tfidf]#对文本相似度按降序排序sims_sorted=sorted(enumerate(sims),key=lambdaitem:-item[1])index=sims_sorted[0][0]

#索引最大值similarity=sims_sorted[0][1]

#文本相似度最大值ifsimilarity>0.5:

print(answers[index])else:

print("对不起，超出了我的答题范围.")任务5：智能问答。计算新问题（文档）与TF-IDF模型中已有问题（文档）之间的文本相似度，找到最匹配的问题，再将该匹配问题对应的答案作为自动回答的结果拓展练习构建自定义问答对数据集，进行基于“文本的统计特征表示”的智能问答系统实验

评价该智能问答系统的语义匹配能力，结合基于深度学习的词嵌入方式分析该方法的优势和劣势实验2：调用大模型API

使用大语言模型的方式对话交互方式：浏览器/客户端交互、输入自然语言、模型实时生成响应API调用方式：编程接口访问、发送结构化请求、模型返回标准化响应实验2：调用大模型API百度智能云千帆大模型服务与开发平台ModelBuilder（千帆平台）：百度为开发者和企业提供的一个全面的人工智能服务平台，帮助用户轻松构建、训练和部署大规模的人工智能模型。平台集成了文心、DeepSeek、Llama等众多大模型，提供了灵活、高效的API，支持自然语言处理、图像识别、语音识别等应用场景。/qianfan/overview调用API的原理

客户端/服务器架构客户端：开发者应用（发送结构化请求）服务端：大模型运行平台（返回JSON格式响应）通信协议：基于HTTPS的RESTful架构步骤：

认证鉴权（验证用户或系统身份合法性）

构造请求添加认证头（如Authorization:Bearerbce-xxx）封装请求体（如提问、历史信息）

通过Python的requests库发送请求、接收响应解析响应结果（文本/二进制）实验2：调用大模型API千帆平台API调用（1）注册并获取千帆平台的APIKey①注册并登录百度账号②获取APIKey（2）调用大模型API实验2：调用大模型API

申请API_KEY：/iam/#/iam/apikey/list安全起见，可以将其保存至操作系统环境变量实验2：调用大模型APIimportosapi_key=os.getenv('BAIDU_API_KEY_0608')实验2：调用大模型API调用千帆平台大模型API大多采用APIKey鉴权方式，发送API请求时，需要在请求头（headers）的Authorization参数中包含APIKey用于鉴权。填入鉴权信息时，在APIKey前面需加上“Bearer”（用空格隔开）#请求头headers={

'Content-Type':'application/json',

'Authorization':'Bearer

'+api_key}实验2：调用大模型API请求体model：指定调用模型messages：消息数组，包含对话历史的上下文信息role：消息角色（user为人类用户的输入）content：消息的具体文本内容importjson

payload=json.dumps({#将Python字典转换为JSON字符串

"model":"deepseek-v3",#模型名称

"messages":[{

"role":"user",

"content":"千帆大模型简介"

#用户发送的消息内容

}]})实验2：调用大模型API查找调用模型的名字：百度智能云文档中心/doc/WENXINWORKSHOP/index.html实验2：调用大模型API

调用过程#发送请求、接收响应response=requests.post(API_URL,headers=headers,data=payload)#提取API返回的答案result_json=response.json()#大模型的URLAPI_URL="/v2/chat/compl