《机器学习项目开发实战》-课件 项目6 NLTK 项目实战-自然语言处理

NLTK项目实战-自然语言处理项目背景与目标CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：人脸识别本次任务的重点是对训练好的卷积神经网络（CNN）模型进行评估，以及训练过程可视化展示，分析模型性能，并根据保存最终模型，应用于实际场景。/02知识储备情感分析的概念文本情感分析，也称为意见挖掘，是一种自然语言处理（NLP）技术，旨在识别和提取文本中的主观信息，以确定作者的态度、情绪或对某个主题的情感倾向。情感分析应用场景社交媒体监控企业和组织可以利用情感分析工具来监测社交平台上公众对其品牌、产品或服务的态度。1客户反馈与支持通过分析客户评论、在线评价及客服对话记录，企业可以识别出客户的满意度水平以及常见的投诉点。2市场调研与竞争分析情感分析可以帮助公司评估消费者对特定产品或品牌的看法，为制定市场营销策略提供数据支持。3产品评论分析通过分析产品评论的情感倾向，自动筛选出高质量的正面评价进行展示，或者识别负面评价以便及时处理顾客问题。4舆情分析使用情感分析来跟踪公众对政策、事件或人物的看法，从而更好地理解民意和社会动态，辅助决策过程。5推荐系统利用情感分析技术分析观众、听众或读者对作品的评价，进而基于情感倾向向用户推荐他们可能感兴趣的内容。6情感分析常用方法基于规则的方法依赖于预定义的语言学规则和词典来识别文本中的情感倾向。基于规则机器学习方法通过训练模型来自动识别文本的情感类别。常用的算法包括朴素贝叶斯、支持向量机（SVM）、随机森林等。机器学习深度学习方法，特别是卷积神经网络、循环神经网络及其变体长短期记忆网络和门控循环单元，以及最近的Transformer架构，已经成为情感分析领域的前沿技术。深度学习/03任务实施任务实施背景随着互联网的迅速发展，电影评论作为观众表达对电影看法的重要方式之一，其数量呈爆炸式增长。这些丰富的影评数据包含了大量有价值的信息，能够反映观众对影片的态度与情感倾向。因此，利用自然语言处理技术对影评进行情感分析具有重要的现实意义和广泛的应用前景。数据集准备01官方来源Cornell大学网站，该数据集最初由Cornell大学的Pang和Lee教授发布，用于情感分析研究。02第三方平台Kaggle是一个数据科学社区，许多用户会上传常用的数据集;HuggingFace是一个流行的自然语言处理平台，提供了许多公开数据集;许多研究者和开发者会在GitHub上分享数据集。环境安装pipinstallpandaspipinstallnltk1importnltk2nltk.data.load(‘./punkt’)3nltk.data.load(‘./punkt_tab’)4nltk.data.load(‘./stopwords’)5nltk.data.load(‘./vader_lexicon')pandas的安装NLTK的安装下载NLTK资源环境安装1importnltk,ssl2try:3_create_unverified_https_context=ssl._create_unverified_context4exceptAttributeError:5pass6else:7ssl._create_default_https_context=_create_unverified_https_context1nltk.download('punkt')2nltk.download('stopwords')3nltk.download('vader_lexicon')禁用SSL下载SSL有效性检查/04任务评价任务评价1.是否能够完成pandas和NLTK的安装，并下载NLTK资源？2.能否实现禁用SSL下载并实现SSL有效性检查？THANKS课程结束，谢谢观看深度神经网络项目实战-人脸识别情感分析实现CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：人脸识别本次任务要求掌握使用NLTK工具进行文本情感分析的完整流程，包括从数据预处理到结果生成的各项操作，并能准确解读分析结果。需要能够熟练运用所学分析方法，独立完成对影评数据集（moviereviews.tsv）中review列的情感分析任务。这涵盖了数据加载、数据处理、数据分析的全过程。/02知识储备NLTKNLTK专门用于处理人类语言数据，广泛应用于自然语言处理（NLP）的教学和研究中。优势添加标题提供了超过50种不同语料库和词汇资源丰富的语料库和资源01包括分词、词干提取、词形还原、去除停用词、句子分割等基础文本预处理功能。全面的文本处理能力02支持分类、标记化、解析、语义推理等多种自然语言处理任务所需的算法。多种算法支持03提供了一系列简单易用的API接口。易于使用的接口04拥有活跃的用户社区和大量的教程、书籍资源社区支持与教育资源丰富05FOCOSlide01性能问题对于大规模数据处理时，NLTK的性能不如其他专门设计用于高效处理大数据集的工具或框架。02速度较慢执行效率方面不是最优的，特别是在需要实时处理的应用场景中。03依赖外部库高级功能要求安装额外的数据包或模型，增加了使用的复杂性和部署难度。04不适合深度学习对深度学习支持有限。局限性VADER真糟糕我喜欢推荐关键词愤怒避雷不喜欢关键词真棒！满意关键词烂透了关键词超赞！加油太好了！王牌侦探VADER基于一套精心设计的规则和启发式方法，特别擅长分析社交媒体上的短文本。分析结果负面分数衡量文本带有负面情绪的概率，范围从0到1；01中立分数评估文本不带感情色彩的可能性；02正面分数表示积极情绪的强度。03复合分数三个维度综合成一个数值，范围从-1到1。04/03任务实施分析流程情感分析fromnltk.sentimentimportSentimentIntensityAnalyzer1sia=SentimentIntensityAnalyzer()#初始化情感分析器2#示例文本13content1='Thisfilmisreallybad’4print("content1SentimentScore:\n",sia.polarity_scores(content1))5#示例文本26content2="It'samovie,that'saboutit"7print("content2SentimentScore:\n",sia.polarity_scores(content2))8#示例文本39content3='Thisfilmisamazing’10print("content3SentimentScore:\n",sia.polarity_scores(content3))导入库情感分析影评数据集分析1defvader_sentiment_analysis(text):2sentiment=sia.polarity_scores(text)3returnsentiment['compound']4datas_final['sentiment_score']=datas_final['cleaned_review'].apply(vader_sentiment_analysis)5datas_final['vader_sentiment']=datas_final['sentiment_score'].apply(lambdax:1ifx>=0.05else0)6print(datas_final.head())/04任务评价任务评价1.是否成功导入了必要库SentimentIntensityAnalyzer？2.是否成功进行了情感分析，并得出的合理的结果？THANKS课程结束，谢谢观看深度神经网络项目实战-人脸识别

文本分类实现CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：人脸识别本次任务要求掌握使用机器学习进行文本分类的全流程，包括数据预处理、特征提取、模型建立、评估与优化，得到最终文本分类模型。需熟练运用这些技能，利用影评数据集（moviereviews.tsv）独立完成一个文本分类模型。通过此过程，提升从数据到模型的实际操作能力，确保能够针对具体问题优化模型性能并应用于真实场景。/02知识储备文本分类概念文本分类是一种自然语言处理技术，旨在自动将文本分配到一个或多个预定义的类别中。01预处理分词、去除停用词等02提取特征通过TF-IDF或词嵌入03识别特征训练机器学习或深度学习模型文本分类方法传统机器学习朴素贝叶斯（NaiveBayes）支持向量机（SVM）逻辑回归（LogisticRegression）决策树和随机森林1深度学习卷积神经网络（CNN）循环神经网络（RNN）Transformer架构（如BERT）2其他方法K近邻算法主题模型（如LDA）301朴素贝叶斯一种简单而有效的概率分类器，尤其适用于文本分类问题，因为它能够很好地处理高维数据。02支持向量机通过寻找一个最优的超平面来最大化不同类别之间的间隔。03逻辑回归解决分类问题的一种线性模型，适用于需要输出概率估计的情况。04决策树和随机森林构建树形结构来进行决策，随机森林是多个决策树的集成，可以提高分类准确性和控制过拟合。文本分类方法FOCOSlide文本分类方法循环神经网络特别适合处理序列数据，能够捕捉文本中的长距离依赖关系，适用于句子或文档级别的分类任务。02Transformer架构近年来非常流行的预训练语言模型，基于注意力机制，能有效地理解上下文信息，在各种NLP任务中表现出色，包括文本分类。0301卷积神经网络原本为图像识别设计，但也可用于捕捉文本中的局部特征，适合短文本分类任务。文本分类方法基于实例的学习方法，根据最近邻样本的类别来进行分类。K近邻算法01虽然主要用于主题发现，但也可以作为文本特征提取的一部分，结合其他分类器使用。主题模型02模型评估指标混淆矩阵TP：实际为正类且预测为正类的数量。TN：实际为负类且预测为负类的数量。FP：实际为负类但预测为正类的数量。FN：实际为正类但预测为负类的数量。Part01准确率(Accuracy)准确率是指所有预测正确的样本（包括正例和反例）占总样本数的比例。Part02精确率(Precision)精确率是指被正确预测为正类的样本数占所有预测为正类样本数的比例。Part03模型评估指标召回率(Recall)召回率是指被正确预测为正类的样本数占所有实际为正类样本数的比例。Part01F1分数(F1Score)F1分数是精确率和召回率的调和平均数，提供了单个指标来衡量模型的表现。Part02ROC曲线与AUC值用于评估分类器的整体性能，尤其是在处理不平衡数据集时非常有用。Part03模型部署文本分类模型部署是指将已经训练好的文本分类模型集成到生产环境中，使其能够接收新数据并返回分类结果的过程。模型保存将训练好的模型及其相关组件保存下来，以便在部署时加载。使用joblib或pickle保存机器学习模型。预处理组件保存数据预处理组件保存的是文本向量化工具或其他预处理组件。构建预测函数定义一个函数，用于对新文本进行预处理、特征提取和分类预测。构建API接口通过RESTfulAPI将模型封装为服务，供其他系统调用。部署到生产环境将模型和服务部署到生产环境中，确保其稳定运行。监控与运维监控模型性能，及时发现并解决潜在问题，定期评估模型性能，必要时重新训练模型。模型部署注意事项01数据预处理一致性确保部署环境中使用的预处理逻辑与训练时完全一致，包括分词、去停用词、向量化等步骤。03可扩展性设计可扩展的架构，支持未来可能增加的功能或更大的数据量；使用分布式计算框架处理大规模文本数据。05版本管理对模型和相关组件进行版本控制，便于回滚或更新；使用Git或其他版本管理工具记录代码和配置的变化。02模型性能优化对于大规模词汇表，使用稀疏矩阵存储以减少内存消耗；优化特征提取和预测过程，确保实时响应能力。04安全性对敏感数据进行加密处理，防止信息泄露；限制API的访问权限，避免滥用。06用户体验提供清晰的接口文档，方便开发者调用；在前端展示分类结果时，考虑用户体验。/03任务实施建立分类模型1fromsklearn.model_selectionimporttrain_test_split2fromsklearn.svmimportSVCX_train,X_test,y_train,y_test=train_test_split(X,datas_final['label'],test_size=0.2,random_state=42)1classifier=SVC(kernel='linear')2classifier.fit(X_train,y_train)y_pred=classifier.predict(X_test)导入库划分数据集建立分类模型模型测试模型性能评估及可视化1fromsklearn.metricsimportaccuracy_score,recall_score,f1_score，classification_report,confusion_matrix2importmatplotlib.pyplotasplt3importseabornassns1accuracy=accuracy_score(y_test,y_pred)2recall=recall_score(y_test,y_pred)3f1=f1_score(y_test,y_pred)4print("准确率：",accuracy)5print("召回率：",recall)6print("F1：",f1)导入库模型性能评估模型性能评估及可视化print(classification_report(y_test,y_pred))评估结果可视化模型性能评估及可视化1cm=confusion_matrix(y_test,y_pred)2plt.figure(figsize=(8,6))3sns.heatmap(cm,annot=True,fmt='d',cmap='Blues',xticklabels=['Negative','Positive'],yticklabels=['Negative','Positive'])4plt.xlabel('predictedlabel')5plt.ylabel('actuallabel')6plt.show()绘制混淆矩阵图模型优化fromsklearn.model_selectionimportGridSearchCVparam_grid={'C':[0.1,1,10,100],'kernel':['linear','rbf']}1grid_search=GridSearchCV(SVC(random_state=42),param_grid,cv=3)2grid_search.fit(X_train,y_train)3print("最佳参数:",grid_search.best_params_)导入库定义参数网格最佳参数模型优化1best_classifier=grid_search.best_estimator_2y_pred=best_classifier.predict(X_test)3accuracy=accuracy_score(y_test,y_pred)4print("最佳模型准确率：",accuracy)1importjoblib2joblib.dump(classifier,'sentiment_classifier.pkl')评估参数性能模型保存情感分析结果评估1fromsklearn.metricsimportaccuracy_score,precision_score,recall_score,f1_score,classification_report2#计算评估指标3accuracy=accuracy_score(datas_final['label'],datas_final['vader_sentiment'])4precision=precision_score(datas_final['label'],datas_final['vader_sentiment'])5recall=recall_scor