Python大数据分析与挖掘实战课件 12微博文本情感分析

基于微博文本的情感分析:

洞察社交舆情的数字密码01引言：社交网络时代的情感洞察目录02案例背景：情感分析的基石03案例目标及实现思路：通往精准分析之路04数据预处理过程：数据的净化与准备05模型构建与实现：情感分析的核心引擎06总结：回顾与展望社交网络发展浪潮011.展示数据：截至2024年12月，我国网民规模达11.08亿人，互联网普及率达78.6%，全球社交网络用户规模从2017年的29.37亿人稳步增长至2022年的39.11亿人。社交网络已成为人们生活不可或缺的部分，改变了信息传播与交流方式。022.以新浪微博为例：作为热门社交平台，2024年其月活跃用户数达5.5亿。用户能发布动态、分享生活感悟、交流各类评论信息，产生海量文本数据。1引言：社交网络时代的情感洞察Chapter01社交网络发展浪潮1.展示数据：截至2024年12月，我国网民规模达11.08亿人，互联网普及率达78.6%，全球社交网络用户规模从2017年的29.37亿人稳步增长至2022年的39.11亿人。社交网络已成为人们生活不可或缺的部分，改变了信息传播与交流方式。2.以新浪微博为例：作为热门社交平台，2024年其月活跃用户数达5.5亿。用户能发布动态、分享生活感悟、交流各类评论信息，产生海量文本数据。文本情感分析的商业金矿02推动产业升级加快产业发展，促使企业优化产品与服务。如在线教育平台根据用户评论改进课程内容与教学方式，用户满意度提高25%。03提升用户体验深入了解用户感受，解决痛点，增强用户粘性。如电商平台根据评论优化物流配送，用户复购率增加15%。商家或平台分析用户评论情感倾向，了解喜好与需求，推送契合商品与服务。如某美妆品牌通过分析微博评论，针对用户对保湿的需求推出新品，销售额提升30%。01助力精准营销智能未来本案例探秘技术融合本案例采用基于情感词典和深度学习的技术，结合支持向量机和LSTM模型，对微博文本进行情感分析。内容概览将从案例背景、目标、数据处理、模型构建与实现、结果总结等方面展开，全面剖析微博文本情感分析过程。2案例背景：情感分析的基石Chapter02文本情感分析的定义与内涵数据来源计算机科学、脑科学、认知科学、心理学、语言学、逻辑学、哲学。常见来源有社交媒体（微博、微信）、电商平台评论、新闻媒体等。本案例聚焦新浪微博数据，其话题广泛、用户多样，能反映大众情感与观点。定义阐释文本情感分析是运用自然语言处理、文本挖掘等技术，提取文本主观信息，判断其态度倾向（正面、负面、中性）的过程。数据集揭秘来源出处微博数据集来自GitHub社区，经过精心整理与标注。规模详情包含10万多条微博，正负向评论各约5万条，均带情感标注，为模型训练与分析提供丰富数据。问题提出对数据集预处理，构建有效模型，计算预测准确率，为微博文本情感分析应用提供参考。3案例目标及实现思路：通往精准分析之路Chapter03案例目标：能力提升与模型掌握1.数据预处理能力：掌握中文文本读取、分词、去停用词等预处理技能，为后续分析奠定基础。2.词向量计算：学会中文文本词向量wordembedding简单计算方法，将文本转化为机器可理解的向量形式。3.模型构建：掌握基于支持向量机和LSTM网络的情感分析模型，实现准确的情感分类。实现思路可视化：流程指引步骤关联：依次介绍各步骤，数据读取后进行预处理，再构建模型，通过训练优化模型，最后评估性能。微博文本读取文本数据处理Jieba分词WordEmbedding训练集测试集模型训练情感分类模型评估本案例的主要目标包括掌握中文文本的读取、分词、去停用词等预处理步骤的简单处理技能、掌握中文文本词向量wordembedding处理的简单计算方法、掌握基于支持向量机的情感分析模型和基于LSTM网络的情感分析模型。基本实现思路如下图12-1所示。4数据预处理过程：数据的净化与准备Chapter04数据读取：开启数据之旅01样本抽取因样本数据大，随机抽取5000样本，节省演示时间，确保数据代表性。02代码展示利用Pandas包读取csv格式数据，展示去除空值代码。03结果展示#加载必要Pandas的模块importpandasaspd#读取文本数据data1=pd.read_csv('weibo_senti_100k.csv')data=data1.sample(n=5000)#由于样本数据太大，为了节省演示时间，随机抽取5000样本data=data.dropna()#去掉数据集的空值data.shape#输出数据结构data.head()#输出文本数据集的前5行输出结果如下：(5000,2)由以上结果可以看出，处理后的微博文本数据总量是500条记录，label列的1表示正向评论，0表示负面评论。微博文本里即有中文、英文，还有数字、符号还有各种各样的表情等等，因此有接下来的处理。分词：文本的拆解分词工具选择：1.工具列举：常见分词工具如jieba库、NLTK、StanfordCoreNLP等。2.选择原因：选择jieba库因其简单易用、分词效果好、支持多种模式，适用于中文文本处理。3.安装步骤：使用pipinstalljieba命令即可安装。Jieba分词模式详解：1.模式特点：精确模式将文本精确切分，适合文本分析；全模式输出所有可能词，用于词库构建；搜索引擎模式在精确模式基础上对长词再次切分，适用于搜索引擎。2.参数说明：jieba.cut()方法参数有sentence（待分词文本）、cut_all（是否全模式，默认False为精确模式）等。

分词代码及结果展示：一般情况，采用默认的jieba.cut(s)精确模式即可，示例代码如下：importjiebadata['data_cut']=data['review'].apply(lambdax:list(jieba.cut(x)))#内嵌自定义函数来分词data.head()输出结果如下：图12-3去停用词：清除文本噪声概念解释：停用词是在信息检索中无实际意义、对文本主题和情感判断影响小的常用词（如“的”，“了”，“在”）。作用特点：可减少数据量、提高处理效率、降低噪声干扰，提升文本分析准确性。停用词概念阐释代码展示：利用停用词，把微博的评论数据清理一遍，放在新建立的data[‘data_after’]一列，具体实现代码如下：#去停用词#读取停用词withopen('stopword.txt','r',encoding='utf-8')asf:#读取停用词txt文档stop=f.readlines()#对停用词处理importrestop=[re.sub('|\n|\ufeff','',r)forrinstop]#替换停用词表的空格等#去除停用词#把分词之后的文本根据停用词表去掉停用词data['data_after']=[[iforiinsifinotinstop]forsindata['data_cut']]data.head()结果展示：去停用词代码及结果词向量：文本的数字化表达1.功能原理：WordCloud库能将文本中词语频率以图形展示，直观呈现文本关键词。2.安装使用：使用pipinstallwordcloud安装，绘制时设置参数（如字体、背景颜色、形状）。3.代码结果：展示绘制微博文本词云代码及结果，从词云分析文本主题与情感倾向。词云可视化1.思路说明：整合微博文本、统计词频、定义转化向量函数，用apply（）方法将文本转换为词向量。2.代码展示：展示构建词向量矩阵代码及结果，呈现词向量矩阵维度、含义。词向量实现思路与代码1.重要性强调：在自然语言处理中，将语言数据化是机器识别与分析的关键。词向量将文本转化为向量，保留语义信息，便于模型处理。2.概念介绍：词向量是将文本中每个词映射为低维向量，word2vec是常用模型，通过训练学习词的语义表示。词向量技术意义划分数据集：数据的合理分配划分函数：使用sklearn包train_test_split()函数划分训练集与测试集。参数意义：参数有test_size(测试集比例)、random_state(随机种子，保证结果可复现等)。代码展示：###数据集划分fromsklearn.model_selectionimporttrain_test_splitfromkeras.preprocessingimportsequence

maxlen=100#句子长度vec_data=list(sequence.pad_sequences(data['vec'],maxlen=maxlen))#把文本数据都统一长度x,xt,y,yt=train_test_split(vec_data,data['label'],test_size=0.2,random_state=123)#分割训练集--2-8原则#转换数据类型mportnumpyasnpx=np.array(list(x))y=np.array(list(y))xt=np.array(list(xt))yt=np.array(list(yt))数据集划分方法及参数划分数据代码长度统一原因：文本数据长度不一，模型输入需统一长度，确保处理一致性。实现方法：用sequence.pad_sequences()方法实现，通过填充或截断使文本长度一致。5模型构建与实现：情感分析的核心Chapter05朴素贝叶斯分类模型：基于概率的判断模型原理简介模型评估结果模型实现代码展示：Fromsklearn.naive_bayesimportMultinomialNB#朴素贝叶斯方法clf=MultinomialNB()#实例化模型clf.fit(x,y)#模型训练#调用报告fromsklearn.metricsimportclassification_reporttest_pre=clf.predict(xt)#

模型预测report=classification_report(yt,test_pre)#预测结果print(report)参数解释：MultinomialNB()函数参数有alpha（平滑参数，防止概率为0）等。原理简述：基于贝叶斯理论，假设特征之间相互独立，通过计算文本属于不同情感类别的概率进行分类。常用于文本分类、垃圾邮件过滤等领域。结果如下所示：precisionrecallf1-scoresupport00.520.350.4250910.500.670.57491accuracy0.511000macroavg0.510.510.501000weightedavg0.510.510.491000由以上结果可以看出，准确率51%，分类结果效果不是很好。随机森林模型：集成学习的力量算法关系：基于Bagging算法，构建多个决策树，通过投票或平均方式决定最终分类结果，能提高模型稳定性与泛化能力。模型简介模型实现代码代码展示：展示使用Sklearn模块RandomForestClassifier类解决文本情感分析问题代码模型预测准确率代码参考如下：fromsklearn.ensembleimportRandomForestClassifierfromsklearn.metricsimportaccuracy_score#训练模型model=RandomForestClassifier(n_estimators=2,random_state=0)model.fit(x,y)#评估模型pred=model.predict(xt)ac=accuracy_score(yt,pred)print("随机森林模型的预测准确率：",ac)

执行结果如下所示

随机森林模型的预测准确率：0.577梯度提升决策树模型：逐步优化的策略模型提及:梯度提升决策树（GBDT）是迭代决策树算法，XGBoost是其高效实现，广泛应用于数据挖掘与机器学习竞赛。模型简介#梯度提升决策树模型fromxgboostimportXGBClassifierxgbc=XGBClassifier(n_estimators=2)xgbc.fit(x,y)print("测试集准确率：",xgbc.score(xt,yt),sep="")行结果如下所示

测试集准确率：0.71模型准确率代码展示：展示运用XGBoost模型解决文本情感分析问题代码。模型实现代码基于LSTM网络的分类模型：扑抓序列的情感1.模块介绍：采用TensorFlow2.0中keras模块堆叠层构建LSTM模型。2.层作用说明：Embedding层将词索引转换为词向量；隐含层LSTM扑抓文本上下文信息；输出层通过全连接层和激活函数输出情感分类结果。3.代码结果展示:展示模型构建代码及模型各层信息结果，用plot_model()方法画出模型图。模型构建模型优化配置1.训练展示：展示模型训练代码及每次迭代训练准确率结果，观察模型训练过程与收敛情况。2.评估展示：展示模型验证代码及测试集准确率结果，全面评估模型性能。模型训练与评估优化方法：采用adam优化器调整模型参数，分类交叉熵损失函数计算预测与真实值差异，以预测精度评估模型性能。代码展示：展示模型编译代码，设置优化器、损失函数、评估指标。基于LSTM网络的分类模型训练与评估#模型构建model=Sequential()model.add(Embedding(len(num_data['id'])+1,256))#输入层，词向量表示层model.add(Dense(32,activation='sigmoid',input_dim=100))#全连接层，32层model.add(LSTM(128))#LSTM网络层model.add(Dense