大数据分析技术应用- 课件 项目6 基于机器学习的数据挖掘算法

项目4基于机器学习的数据挖掘算法KNN决策树线性回归支持向量机k-means132数据安全的重要性科学探索精神知识思政技能数据挖掘能力代码编写排错能力4.1KNN算法基本概念KNN（K-NearestNeighbors，K最近邻）算法是一种简单而经典的机器学习算法，主要用于分类和回归任务。KNN算法的核心思想是“物以类聚”，即相似的数据点倾向于彼此接近。在KNN算法中，我们通过测量不同特征值之间的距离来确定数据点之间的相似性。对于一个给定的数据点，我们寻找训练数据集中与它最近的K个数据点（最近邻），然后根据这些最近邻的信息来预测该数据点的标签。实现过程（1）

数据预处理在应用KNN算法之前，通常需要对数据进行预处理，以确保算法能够有效地工作。（2）确定K值选择合适的K值是KNN算法的关键。K值的选择通常基于经验，或者通过交叉验证来确定最优的K值。K值的选择会影响到模型的泛化能力。（3）选择距离度量确定用于计算数据点之间距离的度量方法。常用的距离度量包括欧氏距离、曼哈顿距离和闵可夫斯基距离等。实现过程（4）训练阶段KNN算法的“训练”阶段实际上并不涉及模型的构建，因为KNN是一种懒惰学习算法。在这个阶段，算法只需简单地存储训练数据集。（5）预测阶段（6）

实现多数投票或平均值在分类任务中，统计K个最近邻中每个类别的出现次数，并选择出现次数最多的类别作为预测结果。在回归任务中，计算K个最近邻的目标值的平均值作为预测结果。（7）

评估模型使用适当的评估指标（如准确率、精确率、召回率、F1分数等）来评估KNN模型的性能。这通常涉及到将预测结果与测试数据集的真实标签进行比较。代码演示fromsklearn.neighborsimportKNeighborsClassifierfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.preprocessingimportStandardScalerfromsklearn.metricsimportaccuracy_score

#加载数据集iris=load_iris()X=iris.datay=iris.target

#划分数据集X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

代码演示#数据标准化scaler=StandardScaler()X_train_scaled=scaler.fit_transform(X_train)X_test_scaled=scaler.transform(X_test)

#创建KNN模型knn=KNeighborsClassifier(n_neighbors=3)#训练模型knn.fit(X_train_scaled,y_train)#预测predictions=knn.predict(X_test_scaled)#评估模型print("Accuracy:",accuracy_score(y_test,predictions))结果分析4.2决策树算法基本概念决策树是一种直观的分类和回归工具，它通过学习简单的决策规则从数据特征中推断出目标值。决策树通过构建一个树状模型来表示决策过程中的每个判断节点和决策结果。每个内部节点代表一个特征上的判断，每个分支代表判断的结果，每个叶节点代表一个决策结果。我们也可以将决策树视为流程图，树的每一个节点代表的是一个维度上的特征，树的分支代表特征的每一个具体的结果，树的叶子节点代表一个类别。实现过程（1）数据准备数据准备是构建决策树的第一步，它包括数据的收集、清洗和预处理。（2）特征选择特征选择是决策树构建中的关键步骤，它决定了树的构建方式。信息增益：基于熵的概念，选择能够最大程度减少不确定性的特征。信息增益越大，特征的分类能力越强。增益率：在C4.5算法中使用，考虑了特征的固有信息，以避免选择具有大量值的特征。基尼不纯度：在CART算法中使用，衡量一个节点内样本的不纯度。基尼不纯度越小，节点的纯度越高。实现过程（3）

构建树构建树是决策树算法的核心，它通过递归地选择特征和分割点来构建树。（4）剪枝剪枝是决策树算法中用于提高泛化能力的技术。预剪枝：在树完全生长之前，提前停止树的生长，以防止过拟合。后剪枝：先让树完全生长，然后从底部开始剪除那些对整体性能提升不大的分支。（5）训练模型使用训练数据集来训练决策树模型。学习决策规则：模型通过学习训练数据中的模式和关系来构建决策规则。处理连续和分类特征：对于连续特征，树会选择一个分割点；对于分类特征，树会为每个类别创建一个分支。实现过程（6）

预测使用构建好的决策树模型对新数据进行预测。从根到叶的遍历：对于每个新的数据点，从根节点开始，根据特征值沿着树向下遍历，直到到达叶节点，叶节点的类别就是预测的类别。（7）评估模型使用准确率、精确率、召回率等指标来评估决策树模型的性能。准确率：模型正确预测的样本数占总样本数的比例。精确率和召回率：在分类任务中，精确率和召回率衡量模型对正类的预测能力。（8）调参根据模型评估的结果，调整模型参数，如树的深度、最小分割样本数等，以优化模型性能。代码演示fromsklearn.treeimportDecisionTreeClassifier

fromsklearn.datasetsimportload_iris

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportaccuracy_score

#加载数据集

iris=load_iris()

X=iris.data

y=iris.target

#划分数据集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#创建决策树模型

tree=DecisionTreeClassifier(max_depth=2)#限制树的最大深度为2

#训练模型

tree.fit(X_train,y_train)

#预测

predictions=tree.predict(X_test)

#评估模型

print("Accuracy:",accuracy_score(y_test,predictions))结果分析4.3k-平均算法基本概念k-means算法是一种经典的聚类分析方法，用于将数据集分成k个簇，使得簇内的方差尽可能小，簇间的方差尽可能大。该算法基于距离的度量（通常是欧氏距离），将数据点划分到最近的聚类中心，以此形成簇。算法的目标是最小化簇内距离的平方和，即每个点到其簇中心的距离之和。实现过程（1）选择K值：确定要形成的簇的数量K。K值的选择可以基于领域知识，或者使用如肘部法则（ElbowMethod）等方法来估计。（2）初始化聚类中心：随机选择K个数据点作为聚类中心，或者使用k-means++方法来优化初始中心的选择。（3）分配数据点到最近的聚类中心：对于数据集中的每个点，计算它与各个聚类中心的距离，并将其分配给最近的聚类中心。（4）更新聚类中心：对于每个簇，计算簇内所有点的均值，并更新聚类中心。（5）重复迭代：重复分配和更新步骤，直到满足停止条件（如聚类中心的变化小于某个阈值，或达到预设的迭代次数）。（6）结果评估：评估聚类结果的质量，可以使用轮廓系数（SilhouetteCoefficient）等指标。代码演示fromsklearn.clusterimportKMeans

fromsklearn.datasetsimportload_iris

fromsklearn.preprocessingimportStandardScaler

fromsklearn.metricsimportsilhouette_score

#加载数据集

iris=load_iris()

X=iris.data

#数据标准化

scaler=StandardScaler()

X_scaled=scaler.fit_transform(X)

#选择K值

K=3

#创建K-Means模型

kmeans=KMeans(n_clusters=K,random_state=42)

#训练模型

kmeans.fit(X_scaled)

#预测簇标签

labels=kmeans.predict(X_scaled)

#评估模型

silhouette_avg=silhouette_score(X_scaled,labels)

print("SilhouetteScore:",silhouette_avg)

#打印聚类中心

print("Clustercenters:",kmeans.cluster_centers_)结果分析4.4线性回归算法基本概念线性回归模型假设输入变量（X）和输出变量（Y）之间存在线性关系，即可以表示为：Y=wX+b其中，Y是输出变量，X是输入变量，w是权重（斜率），b是偏差（截距）。线性回归的目标是找到最佳的权重和偏差，使得模型预测的值和实际值之间的误差最小。线性回归又分为两种类型，即：简单线性回归（simplelinearregression)，只有1个自变量；多变量回归（multipleregression)，至少两组以上自变量。基本概念实现过程（1）数据准备数据准备是任何机器学习项目的基础。对于线性回归，这个过程包括以下几个关键步骤：收集数据：数据可以来自各种来源，如数据库、文件、API等。清洗数据：移除重复记录，处理异常值，解决不一致性问题。处理缺失值：可以通过删除含有缺失值的记录、填充缺失值（使用均值、中位数、众数或其他预测方法）来处理。特征编码：如果数据集中包含分类变量，需要将其转换为数值形式，常用的方法包括独热编码（One-HotEncoding）和标签编码（LabelEncoding）。标准化或归一化：为了使模型不受特征尺度的影响，通常需要对特征进行标准化（Z-score标准化）或归一化（缩放到[0,1]区间）。（2）特征选择特征选择是确定哪些输入变量将被用于构建线性回归模型的过程。单变量特征选择：在简单线性回归中，只有一个特征被用于预测输出变量。多变量特征选择：在多元线性回归中，可以选择多个特征。可以使用统计测试、模型选择方法或基于知识的选择来确定哪些特征最有信息量。实现过程（3）模型构建根据选择的特征构建线性回归模型。简单线性回归：模型形式为

Y=wX+b，其中

Y是输出变量，X是输入变量，w是权重，b是偏差。多元线性回归：模型形式为

Y=w1X1+w2X2+...+wnXn+bY，其中

Y是输出变量，X1,X2,...,Xn是输入变量，w1,w2,...,wn是权重，b是偏差。（4）参数学习参数学习涉及估计线性回归模型中的权重和偏差。最小二乘法：在简单线性回归中，可以通过最小化误差的平方和来解析地计算权重和偏差。梯度下降：在多元线性回归中，梯度下降是一种常用的优化算法，通过迭代地调整权重和偏差来最小化损失函数（如MSE）。这个过程通常包括初始化参数、计算梯度、更新参数，并在满足收敛条件时停止迭代。实现过程（5）模型评估模型评估是检查线性回归模型性能的重要步骤。均方误差（MSE）：衡量模型预测值与实际值之间差异的平均值。均方根误差（RMSE）：MSE的平方根，以实际观测值的单位衡量误差。决定系数（R²）：表示模型解释的变异性的比例，值越接近1表示模型越好。（6）模型优化根据模型评估的结果，可能需要进行模型优化。调整特征：可能需要添加或删除特征，或者创建新的特征（特征工程）。优化算法参数：调整学习率、增加迭代次数或改变优化算法。（7）预测一旦模型被训练和优化，它就可以用来对新数据进行预测。代码演示fromsklearn.linear_modelimportLinearRegression

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportmean_squared_error,r2_score

#加载数据集

X=[[1],[2],[3],[4]]

y=[2,4,6,8]

#划分数据集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#创建线性回归模型

model=LinearRegression()

#训练模型

model.fit(X_train,y_train)

#预测

y_pred=model.predict(X_test)

#评估模型

mse=mean_squared_error(y_test,y_pred)

r2=r2_score(y_test,y_pred)

print("MeanSquaredError:",mse)

print("R²Score:",r2)结果分析4.5支持向量机算法基本概念SVM的核心概念是找到一个最优的超平面，这个超平面能够最大化地分开不同类别的数据点。在二维空间中，超平面就是一条直线；在三维空间中，它是一个平面；在更高维的空间中，它是一个广义的平面。SVM模型将实例表示为空间中的点，将使用一条直线分隔数据点。需要注意的是，支持向量机需要对输入数据进行完全标记，仅直接适用于两类任务，应用将多类任务需要减少到几个二元问题。基本概念实现过程(1)数据预处理：包括数据清洗、标准化或归一化特征等，以提高算法的收敛速度和性能。(2)选择合适的核函数：根据数据的特点选择合适的核函数。对于线性可分的数据，可以使用线性核；对于非线性数据，可以使用RBF核等。(3)模型训练：构建目标函数：SVM的目标是最小化模型复杂度的同时，最大化间隔。这通常通过求解一个凸二次规划问题来实现。求解优化问题：使用拉格朗日乘子法和对偶问题来求解优化问题，得到最优的权重和偏差。(4