概率基础及学习 10

概率机器学习：

从基础到前沿第5章K近邻与决策树K-NearestNeighborsDecisionTree均为非概率模型Outline用sklearn中的KNN做分类（乳腺癌数据集）KNN模型结构和预测使用sklearn的决策树做分类（鸢尾花数据集）决策树模型结构和预测决策数模型的训练常用决策树模型单棵决策树集成学习2026/10/435.1用sklearn实现K近邻分类K-NearestNeighbors,KNN用KNN实现乳腺癌分类代码forkinrange(1,10):clf_knn=KNeighborsClassifier(n_neighbors=k).fit(X_train,y_train)y2_pred=clf_knn.predict(X_test)print('k=',k,'knnAccuracy=',np.sum(y2_pred==y_test)/len(y_test))训练集大小：(455,30)(455,)测试集大小：(114,30)(114,)k=1knnAccuracy=0.9473684210526315k=2knnAccuracy=0.9473684210526315k=3knnAccuracy=0.9298245614035088k=4knnAccuracy=0.9385964912280702k=5knnAccuracy=0.9473684210526315k=6knnAccuracy=0.9473684210526315k=7knnAccuracy=0.9473684210526315k=8knnAccuracy=0.9473684210526315k=9knnAccuracy=0.9385964912280702LogisticRegressionAccuracy=0.9649122807017544运行结果（与逻辑回归比较）K近邻分类的误差不会高于最佳分类器的两倍5.2K近邻模型结构和预测Lazylearner近朱者赤，近墨者黑KNN模型结构和预测利用样本直接预测没有参数没有显式的训练过程预测方法基于距离或相似度近朱者赤，近墨者黑表决优点简单缺点预测速度慢准确度差模型预测示例基于欧氏距离KNN决策边界

5.3用sklearn构建决策树鸢尾花分类用sklearn创建决策树模型fromsklearn.treeimportDecisionTreeClassifier,plot_tree#criterion{“gini”,“entropy”,“log_loss”},default=”gini”clf=DecisionTreeClassifier(random_state=42)

#使用训练集训练分类器clf.fit(X_train,y_train)

#预测测试集的标签y_pred=clf.predict(X_test)

#评估模型的准确度accuracy=accuracy_score(y_test,y_pred)print(f"Accuracyofthedecisiontreemodel:{accuracy*100:.2f}%")鸢尾花数据集运行结果：Accuracyofthedecisiontreemodel:100.00%鸢尾花类别决策树基于sklearn实现概念分裂特征（Splittingfeature）分裂值（SplittingValue）基尼不纯度（GiniImpurity）定制criterion（可选gini、entropy、log_loss）splitter（可选best或random）max_depth（最大深度）min_samples_split（分割的最小样本数）min_samples_leaf（叶子节点包含的最小样本数）“sepallength”、“sepalwidth”、“petallength”、“petalwidth”X_test[0]=[6.1,2.8,4.7,1.2]y_pred[0]=?决策树优缺点

5.4决策树的模型结构和预测结构学习、参数学习模型结构和预测非概率模型模型结构：树节点：对应分裂特征和分裂值叶子：无法再细分的样本集合模型参数分裂特征分裂值预测从根到叶子查找在叶子处表决：样本类别最多的标签5.5决策树模型训练分治，DivideandConquer贪心，Greedy决策树的训练全局优化为NPhard，不可行“局部”损失函数采用贪心策略，每次优化子样本的“不纯度”训练方法启发式算法（HeuristicAlgorithm），不确保最优解分治+贪心分治分区（Partition）递归贪心选择特征时采用最大信息增益或最低基尼不纯度决策树训练：分治策略

P1P2

P

P1P2决策树训练：贪心策略

ABABGini不纯度

分裂特征及其分裂值的选择贪心算法对每个特征每个可能的分裂值产生的样本集，分别计算其基尼不纯度选择基尼不纯度最低的特征及其分裂值作为该节点的判断条件不能保证全局最优基于分治和基尼不纯度实现鸢尾花决策树代码略5.6常用决策树模型单棵决策树：ID3,C4.5,CART集成学习：随机森林，GBDT,

XGBoost,LightGBM,CatBoost单棵决策树ID31986年，RossQuinlan提出了ID3（IterativeDichotomiser3）使用信息增益选择特征倾向于选择具有较多取值的特征，容易过拟合C4.51993年，RossQuinlan对ID3进行了改进，提出了C4.5使用信息增益率选择特征，引入剪枝CART1986年，LeoBreiman等人提出CART（ClassificationandRegressionTrees）二叉树结构，使用基尼不纯度作为分裂准则集成学习（EnsembleLearning）三个臭皮匠，顶个诸葛亮随机森林（RandomForest）2001年由LeoBreiman提出使用随机特征子集来选择最佳分裂特征，降低了树之间的相关性使用自助法（Bootstrapsampling）从训练数据中生成多个子集，每个子集训练一棵树