数据挖掘基础及应用 课件 第3章-回归问题分析-蓝橙课堂版1

01第3章回归问题分析建立模型、评价预测、解释结果数据挖掘基础及应用本章学习路线02线性回归用直线或线性组合预测数值逻辑回归用概率描述二分类结果其他回归方法扩展特征，控制模型复杂度分析与解释用留出数据检验预测效果学习目标：能建立基本模型，解释系数与误差，并根据目标变量选择评价指标。图3-1回归问题分析知识结构图目标变量决定预测任务03预测一个数值房屋价格、期末成绩、每天的自行车租赁量。目标y记录连续数值或数量。线性回归等模型直接输出ŷ。预测一个类别的概率一年内是否发生心血管事件，或某天是否属于高需求日。目标y记录0或1。逻辑回归输出P(y=1|X)。先定义预测时点、目标和可用特征。同一组输入可以服务于不同的预测任务。一元线性回归模型04y=β₀+β₁x+ε预测值ŷ=b₀+b₁x自变量x提供预测信息的输入。例：房屋面积截距与斜率b₀是截距。b₁表示x每增加1单位，预测值的变化量。误差与残差ε是总体模型的误差。样本拟合后，残差为y−ŷ。截距对应x=0处的预测值。只有当x=0在业务上有意义时，才直接作业务解释。图3-5线性回归残差是观测值与拟合值的差05读图方法蓝点是观测值。橙线给出预测值。灰线表示纵向残差。x=3时：y=5，ŷ=4。残差为1。残差有正有负。最小二乘法比较残差的平方，避免正负误差在求和时相互抵消。最小二乘法的目标06RSS=Σᵢ(yᵢ−ŷᵢ)²求使RSS最小的参数一元模型的求解b₁=Σ(xᵢ−x̄)(yᵢ−ȳ)/Σ(xᵢ−x̄)²b₀=ȳ−b₁x̄先计算均值，再计算斜率与截距。多元模型的求解设计矩阵包含截距列。正规方程：XᵀXb=Xᵀy。计算时可用稳定的数值求解。可逆性不足时不直接求逆。最小二乘求解本身不要求误差服从正态分布。经典小样本检验与区间推断需要额外假设。例3.3：手算一条回归直线07xyx−3y−4乘积12−2−2424−100350104410055212计算结果x̄=3，ȳ=4。乘积之和为6。平方差之和为10。b₁=6/10=0.6。b₀=4−0.6×3=2.2。拟合式为ŷ=2.2+0.6x。代入x=3得到ŷ=4，回归直线经过样本均值点。例3.1：一元回归的拟合结果08拟合式ŷ=5.6333+0.54XX每增加1单位，拟合值增加0.54。拟合线描述整体趋势，各点仍然存在残差。X：5、15、25、35、45、55。Y：5、20、14、32、22、38。此页展示样本内拟合。例3.1：建模的关键调用09importnumpyasnpfromsklearn.linear_modelimportLinearRegressionX=np.array([5,15,25,35,45,55]).reshape(-1,1)y=np.array([5,20,14,32,22,38])model=LinearRegression().fit(X,y)pred=model.predict(X)print(ercept_,model.coef_[0])输入与输出X是二维特征矩阵，形状为6×1。y含6个目标值。predict返回预测值，coef_返回回归系数。这里在同一组数据上拟合并画图。要评价对新样本的预测能力，还需要独立测试数据。多元线性回归模型10ŷ=b₀+b₁x₁+b₂x₂+⋯+bₚxₚ多个输入共同预测例如使用面积、房龄和位置共同预测房屋价格。每个样本有p个特征，X的形状为n×p。系数的条件解释其他模型输入保持不变时，xⱼ增加1单位，预测值改变bⱼ个目标单位。应结合单位与编码方式解释。“线性”指模型对参数是线性的。自变量也可以包含平方项、交互项或类别变量编码。例3.2：两个自变量的回归11X₁X₂Y1122463912416205253063640得到的模型ŷ≈−1+1.9643X₁+0.8214X₂X₂=X₁²。这组数据展示特征扩展，两个输入并非独立变化。不要作独立干预的因果解释。X=np.column_stack([X1,X2])。拟合多个特征时，还应检查特征相关性和系数稳定性。多重共线性与系数解释12高度相关的输入面积、卧室数、卫生间数可能同时随房屋规模增加。多个特征提供相近信息时，模型可能难以稳定分配系数。小幅改变数据就可能改变系数。分析时关注什么比较不同划分下的系数。核对量纲、编码和异常值。可用岭回归等方法稳定估计。相关关系不能直接当作因果关系。同一个模型中，系数的绝对值也受到特征单位影响。比较大小前需要说明缩放与编码口径。训练、验证与测试的分工13训练部分拟合预处理参数，估计模型系数。验证或交叉验证选择模型、特征方案和正则化强度。测试部分方案确定后，评价未见数据上的表现。预处理也需要遵守划分均值填补、标准化、特征选择等步骤只在训练部分拟合。测试部分使用已学到的变换。Pipeline便于把步骤一起管理。同一对象的重复记录要考虑按对象分组。预测未来时，测试集应晚于训练集。MAE、MSE与RMSE14指标计算口径怎样解释MAEΣ|yᵢ−ŷᵢ|/n平均绝对误差，单位同yMSEΣ(yᵢ−ŷᵢ)²/n平方误差平均值，单位为y的平方RMSE√MSE误差量级，单位同y例3.3的样本内结果RSS=2.4，n=5。MAE=0.64，MSE=0.48，RMSE≈0.693。同一目标和同一测试集上才适合直接比较误差。MSE会对较大的残差赋予更高权重。R²与调整后的R²15R²的参照模型R²=1−RSS/Σ(yᵢ−ȳ)²相对于用评价集均值预测的基线。完美预测时为1。差于该基线时可能为负。例3.3的样本内R²=0.60。调整后的R²1−(1−R²)(n−1)/(n−p−1)考虑样本数n和特征数p。此式需要n>p+1。适合辅助比较线性模型拟合，仍需在留出数据上评价预测。目标在评价集中为常数时，需要单独处理R²的定义或软件行为。调整R²不替代交叉验证。残差图：检查模型遗漏的结构16读图时关注残差是否围绕0分布？是否呈弯曲趋势？是否随拟合值增大而扩散？是否有特别突出的点？有规律时检查模型与数据。本图只有5条数据，用于说明读图方法。少量点不能证明误差独立、等方差或正态。例3.4：自行车日租赁量预测17定义目标cnt：某天的总租赁数量。选择输入日历、天气、温度、湿度和风速等。划分与预处理按预测场景划分，正确编码类别特征。拟合与评估线性回归给出数值预测，检查误差与残差。预测时可用的信息若目标是预测未来一天，只使用预测时已知或可获得的特征。不要把由目标直接拆分得到的计数作为输入。运行结果以day.csv的实际分析为准，并记录日期、字段单位、编码和数据划分。自行车案例：类别编码与数值输入18输入组字段示例预处理类别或日历编码season、mnth、weekday、weathersit按含义指定类别，进行One-Hot编码二元标记holiday、workingday、yr核对0/1的含义数值气象量temp、atemp、hum、windspeed检查缩放、缺失值和相关性输入的业务含义决定编码方式。数值型存储不等于数值型含义。pd.get_dummies默认不会自动把所有整数列转换为One-Hot。需要显式指定columns或类别类型。自行车案例：拟合后怎样评价19model.fit(X_train,y_train)pred=model.predict(X_test)mae=mean_absolute_error(y_test,pred)mse=mean_squared_error(y_test,pred)r2=r2_score(y_test,pred)residual=y_test-pred需要保留的输出报告同一测试集的误差。对照真实值与预测值。检查残差图。与简单基线比较，说明数据划分和样本数。评价函数要比较y_test与pred。若把y_test与自身比较，会得到没有预测意义的零误差。逻辑回归：从线性组合到概率20z=b₀+b₁x₁+⋯+bₚxₚp=1/(1+e⁻ᶻ)模型输出p表示目标类别1的预测概率。它位于0与1之间。训练目标使用二分类标签y。从概率作分类给定阈值t：p≥t时判为1，否则判为0。阈值改变分类结果，不会改变同一模型输出的概率。逻辑回归常用于分类任务。医疗练习中的预测概率仍是教学模型输出，不能当作已验证的临床风险。Sigmoid函数与分类阈值21三个参照位置z=0时，p=0.5。z越大，p越接近1。z越小，p越接近0。t=0.5是常用起点，可根据误判代价调整。阈值应使用训练中的验证部分确定。测试集用于最终评估，不用于反复挑选阈值。阈值改变精确率和召回率22记录真实y预测概率p阈值0.5阈值0.3A00.1000B10.4001C00.6011D10.9011本例的比较阈值0.5：精确率=0.50，召回率=0.50，F1=0.50。阈值0.3：精确率≈0.67，召回率=1.00，F1=0.80。精确率P=TP/(TP+FP)，召回率R=TP/(TP+FN)，F1=2PR/(P+R)。TP/FP/FN分别为真正、假正和假负。逻辑回归的训练目标23对数损失L=−Σ[ylogp+(1−y)log(1−p)]最小化负对数似然，也就是最大化对数似然。梯度法沿下降方向更新参数。学习率控制更新步长。左图用L(w)=w²演示梯度下降，步长η=0.2。逻辑回归使用右侧对数损失，具体求解器也可利用二阶信息。二分类模型的评价口径24关注的问题常用输出读图或读数要点概率的排序能力ROC曲线、ROC-AUC使用正类预测分数或概率正类识别效果PR曲线、精确率、召回率类别不平衡时重点查看给定阈值的分类混淆矩阵、F1报告阈值和误判情况概率是否合理对数损失、校准曲线概率大小与发生比例是否一致MAE、MSE、R²适合数值回归评价。本章二分类例子使用分类指标，不沿用租赁数量的回归指标。例3.5：把租赁问题定义成二分类25先划分日期较早日期用于训练，较晚日期用于测试。定义高需求日用训练部分cnt的中位数作为演示阈值q。生成0/1标签cnt≥q记为1，否则记为0。训练逻辑回归预测高需求概率，评价分类表现。目标定义需要事先说明本例将数值任务改为“是否高需求”的二分类任务。演示阈值q只用训练部分计算，测试部分沿用同一个q。原始租赁数量仍用于数值回归。这里是另一个目标定义，不能把每个不同计数都当成一个二分类标签。例3.5：逻辑回归的核心代码26fromsklearn.pipelineimportmake_pipelinefromsklearn.preprocessingimportStandardScalerfromsklearn.linear_modelimportLogisticRegressionclf=make_pipeline(StandardScaler(),LogisticRegression(max_iter=1000))clf.fit(X_train,y_train_binary)p=clf.predict_proba(X_test)[:,1]label=(p>=0.5).astype(int)分清三种输出fit估计缩放参数与系数。p是类别1的概率。label给出阈值分类结果。用真实标签评价结果。标准化在Pipeline内部拟合。先划分训练/测试，再fit，最后用独立测试集评价。多项式回归：扩展输入特征27ŷ=b₀+b₁x+b₂x²+⋯+bₘxᵐ非线性的输入关系把x、x²、x³等作为输入，仍然用线性组合估计参数。次数决定曲线可弯曲的程度。高次数也会增加过拟合风险。例3.6的数据提醒X=1、2、3、4、5。Y=2、4、6、8、10。这组数据本来满足Y=2X。加入平方项后，平方项系数约为0。使用多项式模型不保证拟合结果一定弯曲。应根据数据关系和验证结果选择次数。多项式拟合的曲线与观测点28图形表达什么观测点围绕曲线分布。曲线表达整体变化关系。比较不同次数时，看验证误差与稳定性。谨慎解释范围外预测。本图沿用教材图3-8，展示非线性关系。它与例3.6的5点线性数据是两个不同的示例。图3-8多项式回归例3.6：生成多项式特征29fromsklearn.preprocessingimportPolynomialFeaturesfromsklearn.linear_modelimportLinearRegressionfromsklearn.pipelineimportmake_pipelinemodel=make_pipeline(PolynomialFeatures(degree=2,include_bias=False),LinearRegression())model.fit(X,y)pred=model.predict(X)特征的变化原输入：x。二次扩展后：x、x²。截距由回归模型估计。在验证部分选择次数。本页X、y沿用例3.6的5条数据。要对新样本评价时，应先划分数据，再拟合整个Pipeline。岭回归：约束系数的大小30目标：RSS+λΣⱼbⱼ²λ≥0L2惩罚的作用在拟合误差之外，对较大的系数增加惩罚。常用于缓解共线性带来的系数不稳定。使用时的选择λ越大，收缩通常越强。通过交叉验证选择强度。一般不产生稀疏解。数值特征通常先进行标准化通常不惩罚截距。Ridge的alpha对应其实现中的惩罚强度，λ=0时目标退化为普通最小二乘。图3-9岭回归例3.7：岭回归的收缩效果31相同训练数据下原数据满足Y=2X。训练X：3、4、5、6。测试X：1、2。Ridge(alpha=1)：ŷ=1.5+1.6667X。蓝点为训练点，橙点为测试点。该例展示系数收缩，不表示加入正则化一定能降低测试误差。Lasso：用L1惩罚得到稀疏系数32概念目标：RSS+λΣⱼ|bⱼ|与岭回归的区别L1惩罚有可能把部分系数压缩到恰好为0。因此可以形成稀疏模型，用于辅助特征选择。解释时的限制高度相关的特征中，可能只保留其中一部分。系数为0不等于变量无关。结果还受到数据和λ影响。scikit-learnLasso使用RSS/(2n)+alpha×Σ|bⱼ|。不同实现的惩罚参数不能只按数值大小直接比较。例3.8：Lasso的拟合结果33本例只有一个输入X：1、2、4、7、8、10。Y：1、4、2、8、7、10。Lasso(alpha=0.1)：ŷ=−2.472+1.272X。本例的斜率没有被压到0。训练/测试划分沿用random_state=42、test_size=0.2。只有一个输入的例子不能充分展示多特征选择。岭回归与Lasso的几何示意34图中各部分椭圆表示拟合损失的等高线。圆形边界对应L2约束。菱形边界对应L1约束。L1边界的尖角位于坐标轴上，有助于解释零系数现象。这是约束形式的二维示意。具体解取决于数据、损失函数与约束强度。图3-10岭回归和Lasso回归比较弹性网：同时使用L1和L235概念目标：RSS+λ₁Σⱼ|bⱼ|+λ₂Σⱼbⱼ²两类惩罚共同作用L1部分鼓励稀疏系数。L2部分提供收缩与稳定性。适用于相关特征较多、同时希望简化模型的情况。两个常见参数alpha控制整体惩罚强度。l1_ratio控制L1所占比例。比例为1时对应Lasso形式。参数需要在训练中选择。scikit-learn的目标含RSS/(2n)，L2项也有1/2因子。概念式用于理解，数值应按具体软件定义。例3.9：弹性网的关键调用36fromsklearn.linear_modelimportElasticNetfromsklearn.model_selectionimporttrain_test_splitX=np.arange(1,7).reshape(-1,1)y=np.array([2,3,5,4,6,7])Xtr,Xte,ytr,yte=train_test_split(X,y,test_size=0.2,random_state=42)model=ElasticNet(alpha=0.1,l1_ratio=0.5)model.fit(Xtr,ytr)pred=model.predict(Xte)拟合结果与用途本例未做标准化，沿用教材的单输入演示。截距≈2.2115。斜率≈0.7308。测试X为1、2。小样本用于演示调用。实际多特征建模时，把预处理放入Pipeline，并在训练数据内选择alpha和l1_ratio。几类回归方法的选择依据37方法主要变化适合重点关注的问题线性回归用原特征的线性组合预测建立简单基线、解释系数多项式回归增加平方项等特征输入与目标之间存在弯曲关系Ridge加入L2惩罚相关特征下的系数稳定性Lasso加入L1惩罚形成稀疏模型与特征选择ElasticNet结合L1和L2相关特征与稀疏性兼顾方法名称不能直接决定好坏。使用相同的数据划分、预处理和评价指标进行比较。交叉验证选择正则化强度38pipe=make_pipeline(StandardScaler(),Ridge())search=GridSearchCV(pipe,{'ridge__alpha':[0.01,0.1,1,10,100]},cv=5,scoring='neg_mean_squared_error')search.fit(X_train,y_train)print(search.best_params_)pred=search.predict(X_test)选择与测试分开各训练折单独拟合缩放。按验证误差选择参数。方案确定后评价测试集。时间数据按先后划分。GridSearchCV从sklearn.model_selection导入。折数须结合样本量及分组结构确定。结果解释：方向、单位与稳定性39先看预测误差是否优于基线？残差是否仍有规律？再看系数正负方向怎样？原单位或编码是什么？比较稳定性换一组训练样本后，结论是否改变？两种任务对应不同解释线性回归系数描述条件预测值的变化。逻辑回归系数作用于对数优势，exp(bⱼ)对应其他输入固定时的优势比。标准化后的数值系数对应特征增加一个标准差。模型中的关联解释不能替代因果结论。本章小结40定义任务连续数值还是0/1类别？预测时能获得哪些输入？建立基线线性模型作为起点，有需要时扩展或正则化。检验结果使用留出数据评价，结合残差和系数解释。完成一次分析应能说明目标如何定义、数据怎样划分、预处理在哪里拟合，以及模型相对基线改善了什么、仍有哪些限制。预测值、类别概率和最终分类结果各有用途。报告时应明确输出类型与评价口径。课后练习1：心血管事件二分类41模拟数据与目标预测一年内是否发生事件（0/1）。阳性比例约25%。输入包括年龄、BMI、收缩压、胆固醇、吸烟、家族史、空腹血糖和运动频次。需要提交的分析标准化与L2逻