2025年Python自然语言处理专项训练试卷：文本挖掘与情感分析实战演练

2025年Python自然语言处理专项训练试卷：文本挖掘与情感分析实战演练考试时间：______分钟总分：______分姓名：______一、请编写Python代码，使用`pandas`库读取名为`data.csv`的文件（假设该文件包含一列名为`text`的文本数据），并显示前5行内容。二、假设你已经使用`pandas`读取了名为`corpus`的DataFrame，其中包含一列名为`text`的中文评论文本。请编写代码，使用`jieba`库进行分词，去除停用词（假设你有一个名为`stopwords.txt`的文件，每行一个停用词），并将处理后的分词结果存储在一个新的列`words`中。请展示处理后的前5条记录。三、继续使用上一题的`corpus`DataFrame。请编写代码，为`text`列中的每条评论计算TF-IDF向量表示。你需要使用`scikit-learn`库中的`TfidfVectorizer`，并假设你需要去除标点符号和数字，分词时使用`jieba`。请展示前5条评论的TF-IDF向量化结果（仅展示向量化的数据部分，非DataFrame本身）。四、假设你有一个包含新闻标题和对应主题标签的数据集（例如，标签有`体育`、`科技`、`娱乐`）。请编写Python代码，使用`scikit-learn`库，基于TF-IDF特征，训练一个朴素贝叶斯分类器（`MultinomialNB`）来预测新闻标题的主题。你需要将数据集划分为训练集（80%）和测试集（20%），并使用训练集进行模型训练。五、在第四题的基础上，请编写代码，使用训练好的朴素贝叶斯模型对测试集进行预测，并计算模型的准确率（`accuracy_score`）、精确率（`precision_score`，考虑多类平均）、召回率（`recall_score`，考虑多类平均）和F1分数（`f1_score`，考虑多类平均）。请展示这些评估指标的结果。六、请编写代码，使用`scikit-learn`库中的`TextBlob`库，对`corpus`DataFrame中的`text`列进行情感分析。你需要为每条评论计算其情感极性（`polarity`）和主观性（`subjectivity`）得分，并将这两个分数分别存储在新的列`polarity`和`subjectivity`中。请展示包含这两个新列的处理后的前10条记录。七、假设你有一份包含用户评论及其对应情感标签（`positive`,`negative`,`neutral`）的数据集。请编写代码，使用`scikit-learn`库，基于TF-IDF特征，训练一个支持向量机分类器（`SVC`）来进行情感分类。你需要将数据集划分为训练集（80%）和测试集（20%），并使用训练集进行模型训练。八、在第七题的基础上，请编写代码，使用训练好的SVC模型对测试集进行预测，并计算分类的准确率（`accuracy_score`）、精确率（`precision_score`，考虑三类平均）、召回率（`recall_score`，考虑三类平均）和F1分数（`f1_score`，考虑三类平均，使用`'macro'`平均方式）。请展示这些评估指标的结果。九、请编写Python代码，使用`transformers`库中的预训练模型（例如`distilbert-base-chinese-sentiment`）对一个中文句子（例如：“这家餐厅的服务非常好，食物也很美味。”）进行情感分析。你需要加载模型和对应的分词器（`Tokenizer`），对句子进行编码，进行预测，并输出预测的情感类别（积极或消极）以及对应的置信度分数。十、假设你使用`TfidfVectorizer`对一段英文文本进行了TF-IDF向量化，得到了一个形状为`(1,1000)`的稀疏向量`X_tfidf`（这里仅为示例维度）。请编写代码，使用`scikit-learn`库中的`LinearSVC`模型，将该向量分类到三个预定义的类别（例如，`['news','sports','opinion']`）中。你需要展示模型预测的类别。试卷答案一、```pythonimportpandasaspd#读取数据df=pd.read_csv('data.csv')#显示前5行print(df.head())```解析：使用`pandas.read_csv`函数读取指定路径的CSV文件，并利用`head()`方法展示前5行数据。二、```pythonimportpandasaspdimportjieba#假设stopwords已加载为一个列表stopwords_list#stopwords_list=[词1,词2,...]#读取数据corpus=pd.read_csv('corpus.csv')#定义分词和去停用词函数defprocess_text(text):words=jieba.cut(text)words_filtered=[wordforwordinwordsifwordnotinstopwords_listandlen(word)>1]#假设stopwords_list已准备好return''.join(words_filtered)#应用函数到text列corpus['words']=corpus['text'].apply(process_text)#显示前5条记录print(corpus.head())```解析：首先读取包含评论文本的DataFrame。定义一个`process_text`函数，使用`jieba.cut`进行分词，然后通过列表推导式过滤掉停用词和单字词。使用`DataFrame.apply()`将此函数应用到`text`列，生成处理后的分词结果并存储在新列`words`中。最后展示前5条记录。三、```pythonfromsklearn.feature_extraction.textimportTfidfVectorizerimportpandasaspd#假设corpusDataFrame和stopwords_list已从上一题准备好#创建TfidfVectorizer实例#使用jieba进行分词，去除标点、数字，使用自定义停用词列表vectorizer=TfidfVectorizer(tokenizer=lambdax:jieba.cut(x),token_pattern=None,#token_pattern=None允许自定义tokenizerpreprocessor=lambdax:''.join([cforcinxifc.isalnum()orc.isspace()]),#去除标点和数字，保留字母数字和空格stop_words=stopwords_list)#使用停用词列表#拟合并转换文本数据X_tfidf=vectorizer.fit_transform(corpus['text'])#展示前5条记录的TF-IDF向量（仅展示数据本身）print(X_tfidf[:5].toarray())#使用toarray()转换为普通数组形式以便查看```解析：导入`TfidfVectorizer`。创建实例时，指定`tokenizer`参数为一个lambda函数，该函数接收文本输入并使用`jieba.cut`进行分词。设置`token_pattern=None`因为我们自定义了分词器。`preprocessor`参数设置为去除非字母数字字符的lambda函数。`stop_words`参数传入停用词列表。使用`fit_transform`方法拟合模型到文本数据并转换为TF-IDF矩阵。`X_tfidf[:5].toarray()`用于展示前5条文本的TF-IDF向量（转换为非稀疏数组形式）。四、```pythonfromsklearn.model_selectionimporttrain_test_splitfromsklearn.naive_bayesimportMultinomialNBfromsklearn.feature_extraction.textimportTfidfVectorizerimportpandasaspd#假设dfDataFrame包含'title'（标题）和'topic'（主题标签）列#假设topics=['体育','科技','娱乐']是所有可能的标签列表#读取数据（示例，实际数据结构可能不同）#df=pd.read_csv('news.csv')#示例文件名#分词和TF-IDF向量化vectorizer=TfidfVectorizer(tokenizer=lambdax:jieba.cut(x),token_pattern=None,preprocessor=lambdax:''.join([cforcinxifc.isalnum()orc.isspace()]),stop_words=stopwords_list)#假设stopwords_list已准备好X_tfidf=vectorizer.fit_transform(df['title'])y=df['topic']#划分训练集和测试集X_train,X_test,y_train,y_test=train_test_split(X_tfidf,y,test_size=0.2,random_state=42,stratify=y)#训练朴素贝叶斯分类器nb_classifier=MultinomialNB()nb_classifier.fit(X_train,y_train)```解析：首先，导入必要的库。准备数据集`df`，其中包含新闻标题`title`和对应主题`topic`。使用与第三题类似的`TfidfVectorizer`对标题进行向量化。将文本特征`X_tfidf`和对应标签`y`准备好。使用`train_test_split`函数将数据划分为训练集（80%）和测试集（20%），`random_state`确保可复现性，`stratify=y`保证标签在训练集和测试集中的比例与原始数据一致。创建`MultinomialNB`实例并使用训练集数据`X_train`,`y_train`进行模型训练。五、```pythonfromsklearn.metricsimportaccuracy_score,precision_score,recall_score,f1_score#假设nb_classifier已从第四题准备好，X_test,y_test也已准备好#使用模型进行预测y_pred=nb_classifier.predict(X_test)#计算评估指标accuracy=accuracy_score(y_test,y_pred)precision=precision_score(y_test,y_pred,average='macro')#'macro'处理多类平均recall=recall_score(y_test,y_pred,average='macro')f1=f1_score(y_test,y_pred,average='macro')#展示结果print(f"Accuracy:{accuracy}")print(f"Precision:{precision}")print(f"Recall:{recall}")print(f"F1Score:{f1}")```解析：导入评估指标相关的函数。使用训练好的`nb_classifier`对测试集特征`X_test`进行预测，得到预测标签`y_pred`。分别调用`accuracy_score`,`precision_score`,`recall_score`,`f1_score`计算准确率、精确率、召回率和F1分数。在多类分类场景下，指定`average='macro'`表示计算每一类的指标然后取平均值，不考虑类别不平衡问题。最后打印出各个指标的结果。六、```pythonfromtextblobimportTextBlobimportpandasaspd#假设corpusDataFrame已从第二题准备好#初始化TextBlob对象#假设corpus['text']列包含需要分析的中文评论#应用情感分析corpus['polarity']=corpus['text'].apply(lambdax:TextBlob(x).sentiment.polarity)corpus['subjectivity']=corpus['text'].apply(lambdax:TextBlob(x).sentiment.subjectivity)#显示包含新列的前10条记录print(corpus[['text','polarity','subjectivity']].head(10))```解析：导入`TextBlob`库。假设`corpus`DataFrame已包含评论文本列`text`。使用`TextBlob`的`sentiment`属性，该属性返回一个`Sentiment`对象，包含`polarity`（情感极性，范围-1到1）和`subjectivity`（主观性，范围0到1）两个属性。通过`apply`将此lambda函数应用于`text`列，分别计算每条评论的情感极性和主观性，并将结果存储在新的列`polarity`和`subjectivity`中。最后展示包含这两列的前10条记录。七、```pythonfromsklearn.model_selectionimporttrain_test_splitfromsklearn.svmimportSVCfromsklearn.feature_extraction.textimportTfidfVectorizerimportpandasaspd#假设dfDataFrame包含'comment'（评论）和'sentiment'（情感标签：positive/negative/neutral）列#假设sentiment_labels=['positive','negative','neutral']是所有可能的标签列表#读取数据（示例）#df=pd.read_csv('sentiment.csv')#示例文件名#分词和TF-IDF向量化vectorizer=TfidfVectorizer(tokenizer=lambdax:jieba.cut(x),token_pattern=None,preprocessor=lambdax:''.join([cforcinxifc.isalnum()orc.isspace()]),stop_words=stopwords_list)#假设stopwords_list已准备好X_tfidf=vectorizer.fit_transform(df['comment'])y=df['sentiment']#划分训练集和测试集X_train,X_test,y_train,y_test=train_test_split(X_tfidf,y,test_size=0.2,random_state=42,stratify=y)#训练SVC分类器svm_classifier=SVC(kernel='linear')#使用线性核svm_classifier.fit(X_train,y_train)```解析：与第四题类似，导入所需库。准备包含评论`comment`和情感标签`sentiment`的数据集`df`。使用`TfidfVectorizer`对评论进行向量化。准备好特征`X_tfidf`和标签`y`。使用`train_test_split`划分训练集和测试集，`stratify=y`保证标签分布。创建`SVC`实例，指定`kernel='linear'`使用线性核（适用于高维稀疏数据）。使用训练集`X_train`,`y_train`训练模型。八、```pythonfromsklearn.metricsimportaccuracy_score,precision_score,recall_score,f1_score#假设svm_classifier已从第七题准备好，X_test,y_test也已准备好#使用模型进行预测y_pred=svm_classifier.predict(X_test)#计算评估指标accuracy=accuracy_score(y_test,y_pred)precision=precision_score(y_test,y_pred,average='macro')#'macro'处理多类平均recall=recall_score(y_test,y_pred,average='macro')f1=f1_score(y_test,y_pred,average='macro')#展示结果print(f"Accuracy:{accuracy}")print(f"Precision:{precision}")print(f"Recall:{recall}")print(f"F1Score:{f1}")```解析：与第五题类似，导入评估函数。使用训练好的`svm_classifier`对测试集`X_test`进行预测，得到`y_pred`。计算准确率、精确率、召回率和F1分数。在多类（3类）场景下，指定`average='macro'`进行平均。最后打印出评估指标结果。九、```pythonfromtransformersimportpipeline,AutoTokenizerimporttorch#可能需要#预定义句子sentence="这家餐厅的服务非常好，食物也很美味。"#选择预训练模型（确保模型名称正确）model_name="distilbert-base-chinese-sentiment"#加载预训练模型和分词器tokenizer=AutoTokenizer.from_pretrained(model_name)model=pipeline("sentiment-analysis",model=model_name,tokenizer=tokenizer)#进行情感分析result=model(sentence)#提取并展示结果#result通常是一个包含字典的列表，例如[{'label':'POSITIVE','score':0.9998...}]label=result[0]['label']score=result[0]['score']print(f"Sentiment:{label},Confidence:{score:.4f}")```解析：导入`transformers`库中的`pipeline`和`AutoTokenizer`。定义要分析的中文句子。指定要使用的预训练模型名称（例如`distilbert-base-chinese-sentiment`）。使用`AutoTokenizer.from_pretrained`加载对应的分词器。使用