Python数据处理、分析、可视化与数据化运营 (第二版) 课件 第7章 数据建模与文本分析进阶

数据建模与文本分析进阶07Python数据处理、分析、可视化与数据化运营(第二版)本章学习目标理解线性回归的基本原理和适用场景学习逻辑回归的基本概念，以及与线性回归的联系与区别掌握KMeans聚类的原理、实施步骤和结果评估方法能够通过实际案例，运用所学知识，使用Python解决数据分析问题理解中文分词的基本概念和常见方法，以及关键字提取的应用场景7.1线性回归线性回归的基本概念和原理线性回归的特点和适用场景线性回归的实施步骤和关键要点线性回归模型的效果评估7.1线性回归线性回归是一种统计学方法，用于建立自变量（输入变量）和因变量（输出变量）之间的线性关系。线性回归的基本概念和原理自变量与因变量之间存在线性关系，即可以用一条直线来描述二者之间的关系。概念：假设：y=β0+β1x+ε。其中，y为因变量，β0为截距，β1为斜率，x为自变量，ε为随机误差公式：7.1线性回归（1）简单直观：线性回归模型的形式简单直观，通过最小化残差平方和来确定最佳拟合直线的截距和斜率，易于理解和解释。（2）计算效率高：计算线性回归模型的参数通常使用最小二乘法等方法，计算速度较快，适用于大规模数据集。（3）广泛适用性：线性回归适用于因变量和自变量之间的线性关系建模，可用于连续型因变量的预测和关联分析。（4）可解释性强：线性回归模型的参数（截距和斜率）直观地反映了自变量对因变量的影响程度，具有较强的可解释性。线性回归的特点和适用场景线性回归是最简单的回归模型之一，具有以下特点7.1线性回归（1）预测分析：适用于对连续型因变量进行预测，如销售额、房价等。通过建立线性回归模型，可以预测未来的趋势和变化。（2）关联分析：通过检查回归系数的显著性和符号，可以确定变量之间的关系方向和强度。（3）效果评估：可以用于评估某些因素对特定结果的影响程度，如广告投入对销售额的影响。（4）趋势分析：可以用于分析数据的趋势，帮助预测未来的发展方向。通过观察回归直线的斜率，可以判断数据的增长或下降趋势。（5）数据探索和假设检验：可以用于探索数据之间的关系，并进行假设检验。通过检验回归系数的显著性，可以验证假设并得出结论。线性回归的特点和适用场景线性回归适用于以下场景7.1线性回归（1）数据准备：收集并准备用于分析的数据集，包括自变量和因变量的数据。（2）数据预处理：实际情况进行处理，如填充缺失值、去除异常值等。将数据划分为训练集和测试集，其中训练集用于训练和拟合模型，测试集用于检验模型效果。（3）拟合模型：使用最小二乘法等方法拟合线性回归模型。（4）模型检验：模型使用训练集拟合后，需使用测试集检验模型效果，通常称为交叉检验。（5）模型评估：使用各种统计指标（如R²、调整R²、均方误差等）评估模型的拟合程度。（6）预测和解释：使用模型进行预测，并解释自变量对因变量的影响程度。可通过模型自身的predict等方法进行预测，并解释结果。线性回归的实施步骤和关键要点线性回归的实施步骤如下：7.1线性回归线性回归的实施步骤和关键要点代码实现：导入库1importpandasaspd2fromsklearn.linear_modelimportLinearRegression3fromsklearn.model_selectionimporttrain_test_split4fromsklearn.metricsimportmean_squared_error,r2_score代码实现：读取数据集5df=pd.read_excel('raw_data.xlsx',sheet_name='线性回归')7.1线性回归线性回归的实施步骤和关键要点代码实现：数据预处理6X=df[['房屋面积']]7y=df['房屋总价']8X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)代码实现：模型训练9model=LinearRegression()10model.fit(X_train,y_train)7.1线性回归线性回归的实施步骤和关键要点代码实现：模型预测和检验11y_pred=model.predict(X_test)12mse=mean_squared_error(y_test,y_pred)13print('均方误差:',mse)14r2=r2_score(y_test,y_pred)15print('R²分数:',r2)16intercept=ercept_17coefficient=model.coef_[0]18print(f'回归方程:y={coefficient}x+{intercept}')均方误差:3761700.377796296R²分数:0.8167395557821736回归方程:y=4649.695581295032x+535059.29409119797.1线性回归线性回归的实施步骤和关键要点注意要点（1）线性关系假设：应用线性回归模型前，需确认自变量和因变量之间存在线性关系。可通过散点图检验和分析二者之间的关系。（2）多重共线性：若回归分析中包含多个自变量，且它们之间存在高度相关性，可能导致模型不稳定。需注意多重共线性问题，可通过计算自变量之间的相关系数来检测。若存在共线性，可保留其中一个变量，去除其他相关性高的变量。（3）异常值处理：需识别和处理数据集中的异常值，以确保模型准确性。可通过箱线图和散点图检测异常值，并考虑删除或修正这些异常值。（4）模型检验：任何数据分析和建模都应通过训练集和测试集（甚至验证集）来检验模型效果，避免过拟合。在训练集上效果好但在测试集上效果差的情况称为过拟合。7.1线性回归线性回归模型的效果评估线性回归模型评估主要关注模型的拟合优度、系数的显著性以及残差的分布等（1）拟合优度：线性回归模型的拟合优度通常用R²分数来衡量。该分数表示模型对观测数据的拟合程度，取值范围在0到1之间。R²分数越接近1，说明模型对数据的拟合越好。（2）系数的显著性：在线性回归模型中，自变量的系数表示自变量对因变量的影响程度。系数的显著性通常通过p值来检验。一般而言，当p值小于0.05时，表示系数在统计上是显著的，说明自变量对因变量的影响是显著的。7.1线性回归线性回归模型的效果评估线性回归模型评估主要关注模型的拟合优度、系数的显著性以及残差的分布等（3）残差的分布：残差是指模型预测值与实际观测值之间的差异。在一个良好的模型中，残差应该是随机分布在0附近的。通过绘制残差图，我们可以观察残差的分布情况。如果残差呈现某种规律性，那么就说明模型可能存在问题，需要进一步改进。（4）其他回归模型评估指标：除了R²分数和系数的显著性检验外，我们还可以使用均方误差（MSE）、平均绝对误差（MAE）、解释方差分（ExplainedVarianceScore）、最大误差（MaxError）等指标来评估模型的预测能力。这些指标可以帮助我们评估模型在实际预测中的表现。7.1线性回归线性回归模型的效果评估代码实现：模型效果评估1fromsklearn.metricsimportmean_absolute_error,explained_variance_score,max_error2print('平均绝对误差:',mean_absolute_error(y_test,y_pred))3print('解释方差分:',explained_variance_score(y_test,y_pred))4print('最大误差:',max_error(y_test,y_pred))均绝对误差:1599.1653852188379解释方差分:0.864831485121816最大误差:4473.684829684447.2逻辑回归逻辑回归与线性回归的联系与区别逻辑回归的特点和适用场景逻辑回归模型的实施步骤和要点逻辑回归模型的效果评估逻辑回归的基本概念和原理7.2逻辑回归逻辑回归是一种常用的分类算法，尤其在二分类问题中表现优异。逻辑回归的基本概念和原理（1）目标：逻辑回归的目标是预测一个事件的概率。（2）假设：假设事件的发生是由一个或多个特征决定的。（3）输出：输出是一个介于0和1之间的概率值，表示事件发生的可能性。概念：假设：7.2逻辑回归逻辑回归与线性回归的联系与区别对比维度逻辑回归线性回归模型联系1.同属广义线性模型（GLM），均为线性模型的特例2.基于线性回归推广而来，可视为线性回归的一种变体应用场景主要用于分类问题（尤其二分类），预测事件发生的概率主要用于回归问题，预测连续型变量的值（如房屋价格、商品销量）输出结果概率值，范围在

0-1

之间连续实数值，无固定范围（可是任意实数）评估指标常用准确率、精确率、召回率、F1值等常用均方误差（MSE）、R平方值等模型目标最大化似然函数，提升分类准确性最小化残差平方和，提升模型拟合程度7.2逻辑回归（1）输出概率值：逻辑回归模型输出样本属于某一类别的概率值，常用于判断样本属于某一类别的可能性大小。我们可以基于概率来设定类别判断的阈值。（2）线性模型：逻辑回归是一种线性模型，利用线性函数的组合进行分类。（3）简单高效：相比于其他复杂的分类算法，逻辑回归模型计算简单，容易理解和实现。（4）可解释性强：模型的结果易于解释，可以分析各个特征对分类结果的影响程度。逻辑回归的特点和适用场景逻辑回归主要特点7.2逻辑回归（1）分类问题：逻辑回归常用于分类问题，如判断邮件是否为垃圾邮件、预测用户是否购买某种产品等。（2）数据线性可分的数据场景：逻辑回归假设数据是线性可分的，适用于数据分布在一个超平面两侧的情况。数据线性可分意味着不同类别的数据可以通过一个线性函数进行分割。（3）需要快速实现和部署的应用场景：逻辑回归计算简单，适合需要快速实现和部署的场景，可快速部署上线并验证业务假设和结果。逻辑回归的特点和适用场景逻辑回归适用于以下场景7.2逻辑回归（1）数据收集：收集包含特征和标签的数据集。特征是用来预测标签的属性，而标签是我们希望模型预测的结果。（2）数据预处理：包括处理缺失值、异常值、进行特征缩放、特征编码和处理不平衡数据等操作。同时，将数据集拆分为训练集和测试集。（3）模型训练：使用训练集训练逻辑回归模型。（4）模型评估：通过交叉检验，使用测试集评估模型的性能。（5）模型优化：根据评估结果调整模型的超参数，例如正则化参数和学习率，以提高模型的性能。（6）预测与解释：基于优化后的模型，对新数据进行预测并获得结果。逻辑回归的实施步骤和关键要点逻辑回归的实施步骤如下：7.2逻辑回归逻辑回归的实施步骤和关键要点代码实现：导入库1importpandasaspd2fromsklearn.model_selectionimporttrain_test_split3fromsklearn.linear_modelimportLogisticRegression4fromsklearn.metricsimportaccuracy_score,roc_auc_score代码实现：读取数据集5data=pd.read_excel('raw_data.xlsx',sheet_name='逻辑回归')7.2逻辑回归逻辑回归的实施步骤和关键要点代码实现：数据预处理6X=data[['学习时间','出勤率','作业按时提交率']]7y=data['通过考试']8X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)代码实现：模型训练9model=LogisticRegression()10model.fit(X_train,y_train)7.2逻辑回归逻辑回归的实施步骤和关键要点代码实现：模型预测和检验11y_pred=model.predict(X_test)12print("模型准确率：",accuracy_score(y_test,y_pred))13print("ROCAUC：",roc_auc_score(y_test,y_pred))模型准确率：0.8ROCAUC：0.81318681318681327.2逻辑回归逻辑回归的实施步骤和关键要点注意要点（1）特征选择：特征过多时，需要选择与目标变量相关性高的特征，避免使用与目标变量不相关或高度相关的特征。（2）正则化：通过正则化（如L1正则化、L2正则化）来避免过拟合，提高模型的泛化能力。如果模型效果不佳，可以考虑使用正则化。（3）处理不平衡数据：若数据集中正负样本数量差异较大，可以通过过采样、欠采样或使用特定的损失函数来处理不平衡数据。也可以使用ROCAUC、F1得分等指标来评估不均衡数据下的模型效果。7.2逻辑回归逻辑回归模型的效果评估在评估逻辑回归模型时，我们通常使用以下指标来评价模型的效果（1）准确率（Accuracy）：准确率是指模型正确预测的样本数占总样本数的比例。尽管准确率是最直观的评估指标之一，但在数据不平衡的情况下可能会产生误导，因为模型可能更倾向于预测出现频率较高的类别。（2）精确率（Precision）：精确率是指模型预测为正例的样本中，真正例的比例。精确率高意味着模型在预测正例时更为准确，适用于希望确保分类结果为正例时的情况。（3）召回率（Recall）：召回率是指真实的正例中，模型成功预测为正例的比例。召回率高表示模型能够识别出更多的正例，适用于希望尽量减少漏判正例的情况。7.2逻辑回归逻辑回归模型的效果评估在评估逻辑回归模型时，我们通常使用以下指标来评价模型的效果（4）F1分数（F1Score）：F1分数是精确率和召回率的调和平均数，综合考虑了模型的准确性和召回率。F1分数越高，模型的性能越好。（5）AUC（AreaUnderCurve）：AUC表示ROC曲线下的面积，用于衡量模型在不同阈值下分类器的性能。AUC值越接近1，模型性能越好。（6）对数损失（LogLoss）：对数损失是一种用于评估概率估计的标准。对数损失越小，说明模型的概率预测越准确。7.2逻辑回归线性回归模型的效果评估代码实现：模型效果评估1fromsklearn.metricsimportprecision_score,recall_score,f1_score,log_loss2print("精确率：",precision_score(y_test,y_pred))3print("召回率：",recall_score(y_test,y_pred))4print("F1分数：",f1_score(y_test,y_pred))5print("对数损失：",log_loss(y_test,model.predict_proba(X_test)))7.3KMeans聚类聚类与分类回归的联系与区别KMeans聚类的应用领域和优势KMeans聚类模型的实施步骤和要点如何选择合适的Kmeans聚类数量KMeans聚类的基本概念和原理KMeans聚类模型的效果评估7.3KMeans聚类K均值聚类是一种常用的聚类算法，用于将数据点划分为不同的簇，使得同一簇内的数据点彼此相似度较高，而不同簇之间的数据点相似度较低。KMeans聚类的基本概念和原理通过迭代优化簇的质心位置，使得簇内数据点到其质心的距离最小化，从而实现数据点的聚类。概念：原理：7.3KMeans聚类聚类与分类回归的联系与区别对比维度聚类分类模型联系输出结果为将数据点分配到不同的类别或簇中数据需求通常不需要事先标记好的类别信息，仅依赖数据自身特征需要已知的类别标签，以标签为依据进行模型训练和学习核心目的发现数据中的潜在结构，将数据点划分为特征相似的组建立预测模型，利用已知类别标签的训练数据，对新输入的数据进行类别判断监督学习类型属于无监督学习，无需已知类别标签指导分组过程属于有监督学习，必须依赖已知类别标签训练模型输出差异仅输出数据点所属的簇（类别）结果除输出数据点的类别结果外，还可输出数据点属于该类别的概率值7.3KMeans聚类（1）市场细分：在市场营销中，可以使用KMeans聚类将客户分成不同的群体，从而针对不同群体制定个性化的营销策略。（2）图像分割：在计算机视觉领域，KMeans聚类可以用于图像分割。（3）推荐系统：在推荐系统中，可以使用KMeans聚类将用户分成不同的群体，从而推荐更符合用户兴趣的产品或服务。（4）异常检测：KMeans聚类可以用于异常检测，将数据点分配到簇的过程中，可以检测出与其他数据点差异较大的异常点。（5）文本聚类：在自然语言处理领域，可以使用KMeans聚类对文本进行聚类，从而实现文本分类和主题提取等功能。KMeans聚类的应用领域和优势KMeans聚类在许多领域都有着广泛的应用和优势7.3KMeans聚类（1）算法简单易懂：KMeans聚类算法直观且易于实现，适合初学者入门。（2）计算效率高：KMeans算法在大规模数据集上具有较高的计算效率，适用于处理大规模数据。（3）适用性广泛：KMeans算法适用于各种数据类型和数据分布，具有很强的通用性。（4）可扩展性强：KMeans算法可以与其他算法结合使用，如PCA降维等，以进一步提高聚类效果和加速算法收敛速度。KMeans聚类的应用领域和优势KMeans聚类的优势7.3KMeans聚类（1）数据准备。（2）数据预处理：预先处理，例如缺失值、异常值、数据量纲差异等。（3）模型构建：导入KMeans模型，并设置聚类数量（即簇的数量）。（4）模型训练：使用生成的数据对KMeans模型进行训练。KMeans模型通过迭代计算数据点与簇中心点之间的距离，并更新簇的分配情况。（5）模型评估：虽然KMeans是一种非监督学习算法，但为了确保聚类质量，我们可以通过一些评估指标来评估模型的表现，如轮廓系数。（6）结果预测：对新的数据点进行预测，即将其分配到最近的簇中。KMeans聚类模型的实施步骤和要点KMeans聚类的实施步骤如下：7.3KMeans聚类KMeans聚类模型的实施步骤和要点代码实现：导入库1importpandasaspd2fromsklearn.clusterimportKMeans3fromsklearn.metricsimportsilhouette_score4importmatplotlib.pyplotasplt代码实现：读取数据集5df=pd.read_excel('raw_data.xlsx',sheet_name='聚类')7.3KMeans聚类KMeans聚类模型的实施步骤和要点代码实现：数据预处理6X=df[['客流量','转化率']]代码实现：模型训练7kmeans=KMeans(n_clusters=3,random_state=42)8kmeans.fit(X)9labels=kmeans.labels_7.3KMeans聚类KMeans聚类模型的实施步骤和要点代码实现：模型预测和检验10silhouette_avg=silhouette_score(X,labels)11print(f"平均轮廓系数为:{silhouette_avg}")代码实现：聚类结果可视化12plt.figure(figsize=(8,6))13plt.scatter(X['客流量'],X['转化率'],c=labels,cmap='viridis')14plt.xlabel('客流量')15plt.ylabel('转化率')16plt.title('KMeans聚类结果')17plt.show()平均轮廓系数为:0.78152159125322417.3KMeans聚类如何选择合适的Kmeans聚类数量在KMeans聚类中，簇的数量K是一个需要预先指定的参数。选择合适的K值可以使聚类结果更具解释性和实用性，而选择不当的K值可能会导致聚类效果不佳。业务角度：从业务角度来看，聚类结果应具有解释性和实用性，能够反映出业务领域的特征和规律。评估聚类结果时，可以考虑以下几点：（1）业务解释性：聚类结果是否能被业务专家理解和解释，是否符合业务领域的常识和规律。（2）业务有效性：聚类结果是否能帮助业务决策或优化业务流程，是否能提高业务效率或降低成本。7.3KMeans聚类如何选择合适的Kmeans聚类数量在KMeans聚类中，簇的数量K是一个需要预先指定的参数。选择合适的K值可以使聚类结果更具解释性和实用性，而选择不当的K值可能会导致聚类效果不佳。模型角度：从模型角度来看，聚类结果应具有稳定性和准确性，能够在不同数据集上稳定地划分数据点。评估聚类结果时，可以考虑以下几点：（1）稳定性：聚类结果在不同数据集上是否具有一致性，是否受到数据集大小和特征选择的影响。（2）准确性：聚类结果是否能准确地将相似的数据点划分到同一簇，将不相似的数据点划分到不同簇中。7.3KMeans聚类KMeans模型的效果评估在评估KMeans模型时，我们通常使用以下指标来评价模型的效果（1）轮廓系数法（SilhouetteMethod）：该方法结合了聚类内部的紧密度和聚类之间的分离度，用于衡量聚类的质量。通过计算不同聚类数量下的平均轮廓系数，选择平均轮廓系数最大的聚类数量作为最优选择。“7.3.4”中使用的就是这种方法。（2）Gap统计量法（GapStatistics）：该方法比较了原始数据和随机生成数据的SSE（SumofSquaredErrors），通过计算不同聚类数量下的Gap统计量（原始数据的SSE减去随机数据的SSE），选择Gap统计量最大的聚类数量作为最优选择。（3）DB指数法（Davies-BouldinIndex）：该指数通过计算聚类内部的紧密度和聚类之间的分离度的比值来衡量聚类的质量。选择DB指数最小的聚类数量作为最优选择。7.3KMeans聚类KMeans模型的效果评估代码实现：模型效果评估1fromsklearn.metricsimportdavies_bouldin_score2print(f"DB指数为:{davies_bouldin_score(X,labels)}")DB指数为:0.29995725899555897.4中文分词与关键字提取中文分词在不同领域的应用中文分词方法：基于词典和基于统计关键词提取的作用和应用场景使用TF提取关键字中文分词的基本概念7.4中文分词与关键字提取中文分词指的是将一个汉字序列切分成具有语义合理性的词语序列的过程。中文分词的基本概念将连续的汉字序列切分成具有语义完整性的词语，为后续的文本理解和信息检索提供基础。概念：目的：7.4中文分词与关键字提取（1）搜索引擎：可以帮助搜索引擎理解用户输入的中文查询，提高搜索引擎的检索效率和准确性。（2）信息检索：在信息检索领域，提高信息检索系统的搜索效率和准确性。（3）文本挖掘：帮助识别文本中的关键词和短语，实现对文本内容的分析和挖掘，提取出文本中的主题和信息，帮助分析人员更好地理解文本内容。（4）机器翻译：中文分词可以帮助机器理解源语言文本，更准确地进行翻译，将源语言文本切分成短语和词语，提高翻译的质量和准确性。（5）情感分析：中文分词可以帮助识别文本中的情感词和情感短语，实现对文本情感的分析和判断，更准确地识别文本中的情感色彩，帮助分析人员更好地理解文本的情感倾向。中文分词在不同领域的应用中文分词作为中文文本处理的基础步骤，在各个领域都有着广泛的应用7.4中文分词与关键字提取基于词典的分词方法利用预先构建的词典确定分词位置。在分词过程中，将待分文本逐个与词典中的词语匹配，若匹配成功则将词语切分出来。这种方法简单直观，适用于处理专业词汇较多的文本。但由于中文词汇数量庞大且词语组合灵活，词典无法包含所有可能的词语，因此无法处理未在词典中出现的新词和专业术语。中文分词方法：基于词典和基于统计1.基于词典的中文分词方法7.4中文分词与关键字提取基于统计的分词方法通过分析大量的中文语料库，统计词语出现的频率和词语之间的搭配关系来确定分词位置。常用的统计模型包括隐马尔可夫模型（HMM）和条件随机场（CRF）等。这种方法可以自动学习词语出现的规律，对新词和专业术语有一定的适应能力。但对语料库的质量和规模有一定要求，且对于词语歧义性较高的情况处理效果可能不佳。在实际应用中，基于词典和基于统计的分词方法常结合使用，通过词典匹配和统计模型相结合的方式来提高分词的准确性和效率。同时，随着深度学习技术的发展，基于神经网络的分词方法也逐渐得到应用，取得了一定的效果。中文分词方法：基于词典和基于统计2.基于统计的中文分词方法7.4中文分词与关键字提取中文分词方法：基于词典和基于统计基于结巴分词的代码实现1importjieba2text="中文分词是文本处理的基础步骤。"3seg_list=jieba.cut(text,cut_all=False)4print("分词结果：","".join(seg_list))分词结果：中文分词是文本处理的基础步骤。7.4中文分词与关键字提取（1）帮助理解文本内容：关键词提取有助于人们快速了解文本的主题和要点，起到提炼和概括文本信息的作用。（2）提高信息检索效率：通过将文本的关键词作为索引，可以提高信息检索的效率和准确性。（3）辅助文本摘要生成：关键词通常是文本的核心内容，可用于生成文本摘要，帮助用户快速获取文本要点。（4）支持文本分类：关键词可作为文本分类的特征，帮助分类模型更好地区分不同类别的文本关键词提取的作用和应用场景关键词提取是从文本中自动或半自动地抽取具有代表性和重要性的词语或短语的过程。在信息检索、文本摘要、文本分类等领域，关键词提取具有重要作用：7.4中文分词与关键字提取（1）搜索引擎：搜索引擎通过提取文档的关键词生成搜索结果摘要，帮助用户快速了解搜索结果。（2）新闻摘要：在新闻报道中，关键词提取可帮助编辑快速概括新闻要点，生成新闻摘要，避免完整阅读所有新闻内容。（3）学术文献：在学术领域，关键词提取可帮助研究人员快速了解文献的主题和研究重点，提高科研效率和项目进度。（4）情感分析：关键词提取可帮助识别文本中的情感词，从而判断文本的情感倾向。同时，基于关键字的组合，可提取用户的标签特性，形成对用户的画像描述。关键词提取的作用和应用场景关键词提取在以下应用场景中常见：7.4中文分词与关键字提取在自然语言处理和信息检索领域，词频统计是一种常见的方法，用于衡量一个词语在文本中的重要性。TF（TermFrequency，词频）是其中一种常用的词频统计方法。TF（TermFrequency，词频）是一种用于衡量一个词在文本中重要性的统计方法。它表示某个词在文档中出现的频率，计算方式为该词在文档中出现的次数除以文档总词数。TF有助于我们了解一个词在文档中的重要程度。一般来说，一个词在文档中出现的次数越多，它对于该文档的主题的贡献越大。因此，在搜索引擎中，当计算文档与关键词的相关性时，TF是一个重要的因素之一。使用TF提取关键字7.4中文分词与关键字提取使用TF提取关键字代码实现：基于词频统计提取关键字1importjieba2fromcollectionsimportCounter3text="异常数据通常被认定是一种“噪音”。产生数据“噪音”的原因很多，例如业务运营操作、数据采