《机器学习项目开发实战》-课件 20. 项目六 - 任务四

深度神经网络项目实战-人脸识别

文本分类实现CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：人脸识别本次任务要求掌握使用机器学习进行文本分类的全流程，包括数据预处理、特征提取、模型建立、评估与优化，得到最终文本分类模型。需熟练运用这些技能，利用影评数据集（moviereviews.tsv）独立完成一个文本分类模型。通过此过程，提升从数据到模型的实际操作能力，确保能够针对具体问题优化模型性能并应用于真实场景。/02知识储备文本分类概念文本分类是一种自然语言处理技术，旨在自动将文本分配到一个或多个预定义的类别中。01预处理分词、去除停用词等02提取特征通过TF-IDF或词嵌入03识别特征训练机器学习或深度学习模型文本分类方法传统机器学习朴素贝叶斯（NaiveBayes）支持向量机（SVM）逻辑回归（LogisticRegression）决策树和随机森林1深度学习卷积神经网络（CNN）循环神经网络（RNN）Transformer架构（如BERT）2其他方法K近邻算法主题模型（如LDA）301朴素贝叶斯一种简单而有效的概率分类器，尤其适用于文本分类问题，因为它能够很好地处理高维数据。02支持向量机通过寻找一个最优的超平面来最大化不同类别之间的间隔。03逻辑回归解决分类问题的一种线性模型，适用于需要输出概率估计的情况。04决策树和随机森林构建树形结构来进行决策，随机森林是多个决策树的集成，可以提高分类准确性和控制过拟合。文本分类方法FOCOSlide文本分类方法循环神经网络特别适合处理序列数据，能够捕捉文本中的长距离依赖关系，适用于句子或文档级别的分类任务。02Transformer架构近年来非常流行的预训练语言模型，基于注意力机制，能有效地理解上下文信息，在各种NLP任务中表现出色，包括文本分类。0301卷积神经网络原本为图像识别设计，但也可用于捕捉文本中的局部特征，适合短文本分类任务。文本分类方法基于实例的学习方法，根据最近邻样本的类别来进行分类。K近邻算法01虽然主要用于主题发现，但也可以作为文本特征提取的一部分，结合其他分类器使用。主题模型02模型评估指标混淆矩阵TP：实际为正类且预测为正类的数量。TN：实际为负类且预测为负类的数量。FP：实际为负类但预测为正类的数量。FN：实际为正类但预测为负类的数量。Part01准确率(Accuracy)准确率是指所有预测正确的样本（包括正例和反例）占总样本数的比例。Part02精确率(Precision)精确率是指被正确预测为正类的样本数占所有预测为正类样本数的比例。Part03模型评估指标召回率(Recall)召回率是指被正确预测为正类的样本数占所有实际为正类样本数的比例。Part01F1分数(F1Score)F1分数是精确率和召回率的调和平均数，提供了单个指标来衡量模型的表现。Part02ROC曲线与AUC值用于评估分类器的整体性能，尤其是在处理不平衡数据集时非常有用。Part03模型部署文本分类模型部署是指将已经训练好的文本分类模型集成到生产环境中，使其能够接收新数据并返回分类结果的过程。模型保存将训练好的模型及其相关组件保存下来，以便在部署时加载。使用joblib或pickle保存机器学习模型。预处理组件保存数据预处理组件保存的是文本向量化工具或其他预处理组件。构建预测函数定义一个函数，用于对新文本进行预处理、特征提取和分类预测。构建API接口通过RESTfulAPI将模型封装为服务，供其他系统调用。部署到生产环境将模型和服务部署到生产环境中，确保其稳定运行。监控与运维监控模型性能，及时发现并解决潜在问题，定期评估模型性能，必要时重新训练模型。模型部署注意事项01数据预处理一致性确保部署环境中使用的预处理逻辑与训练时完全一致，包括分词、去停用词、向量化等步骤。03可扩展性设计可扩展的架构，支持未来可能增加的功能或更大的数据量；使用分布式计算框架处理大规模文本数据。05版本管理对模型和相关组件进行版本控制，便于回滚或更新；使用Git或其他版本管理工具记录代码和配置的变化。02模型性能优化对于大规模词汇表，使用稀疏矩阵存储以减少内存消耗；优化特征提取和预测过程，确保实时响应能力。04安全性对敏感数据进行加密处理，防止信息泄露；限制API的访问权限，避免滥用。06用户体验提供清晰的接口文档，方便开发者调用；在前端展示分类结果时，考虑用户体验。/03任务实施建立分类模型1fromsklearn.model_selectionimporttrain_test_split2fromsklearn.svmimportSVCX_train,X_test,y_train,y_test=train_test_split(X,datas_final['label'],test_size=0.2,random_state=42)1classifier=SVC(kernel='linear')2classifier.fit(X_train,y_train)y_pred=classifier.predict(X_test)导入库划分数据集建立分类模型模型测试模型性能评估及可视化1fromsklearn.metricsimportaccuracy_score,recall_score,f1_score，classification_report,confusion_matrix2importmatplotlib.pyplotasplt3importseabornassns1accuracy=accuracy_score(y_test,y_pred)2recall=recall_score(y_test,y_pred)3f1=f1_score(y_test,y_pred)4print("准确率：",accuracy)5print("召回率：",recall)6print("F1：",f1)导入库模型性能评估模型性能评估及可视化print(classification_report(y_test,y_pred))评估结果可视化模型性能评估及可视化1cm=confusion_matrix(y_test,y_pred)2plt.figure(figsize=(8,6))3sns.heatmap(cm,annot=True,fmt='d',cmap='Blues',xticklabels=['Negative','Positive'],yticklabels=['Negative','Positive'])4plt.xlabel('predictedlabel')5plt.ylabel('actuallabel')6plt.show()绘制混淆矩阵图模型优化fromsklearn.model_selectionimportGridSearchCVparam_grid={'C':[0.1,1,10,100],'kernel':['linear','rbf']}1grid_search=GridSearchCV(SVC(random_state=42),param_grid,cv=3)2grid_search.fit(X_train,y_train)3print("最佳参数:",grid_search.best_params_)导入库定义参数网格最佳参数模型优化1best_classifier=grid_search.best_estimator_2y_pred=best_classifier.predict(X_test)3accuracy=accuracy_score(y_test,y_pred)4print("最佳模型准确率：",accuracy)1importjoblib2joblib.dump(classifier,'sentiment_classifier.pkl')评估参数性能模型保存情感分析结果评估1fromsklearn.metricsimportaccuracy_score,precision_score,recall_score,f1_score,classification_report2#计算评估指标3accuracy=accuracy_score(datas_final['label'],datas_final['vader_sentiment'])4precision=precision_score(datas_final['label'],datas_final['vader_sentiment'])5recall=recall_score(datas_final['label'],datas_final['vader_sentiment'])6f1=f1_score(datas_final['label'],datas_final['vader_sentiment'])7#打印评估结果8print(f"准确率:{accuracy:.4f}")9print(f"精确率:{precision:.4f}")10print(f"召回率:{recall:.4f}")11print(f"F1分数:{f1:.4f}")计算评估指标文本分类模型应用1importjoblib2loaded_classifier=joblib.load('sentiment_classifier.pkl’)3vectorizer=joblib.load('vectorizer.pkl’)4defpredict_sentiment(text):5#对文本进行预处理6processed_text=vectorizer.transform([text])7#使用模型进行预测8prediction=loaded_classifier.predict(processed_text)9returnprediction