监督学习之逻辑回归算法

20XX/XX/XX监督学习之逻辑回归算法汇报人:XXXCONTENTS目录01

课程导入：认识逻辑回归02

逻辑回归算法核心基础逻辑03

逻辑回归算法的适用场景04

逻辑回归算法案例演示05

课程内容总结课程导入：认识逻辑回归01监督学习算法分类回顾

分类任务算法回顾常见的有支持向量机、决策树等，这类算法旨在将输入数据划分到不同的预定义类别中。

回归任务算法回顾典型代表包含线性回归、岭回归等，主要用于预测连续型的数值输出结果。

半监督分类算法回顾例如标签传播算法，仅利用少量标注数据和大量未标注数据完成分类任务。本节课学习目标与要求

掌握逻辑回归核心原理理解逻辑回归基于Sigmoid函数实现分类的机制，区分其与线性回归的本质差异。

学会模型构建与评估方法能够运用Python搭建逻辑回归模型，并通过准确率、混淆矩阵完成模型性能评估。

具备实际场景应用能力可利用逻辑回归解决如信用卡欺诈检测、疾病诊断等二分类实际业务问题。逻辑回归算法核心基础逻辑02二分类概率预测问题针对垃圾邮件识别等场景，逻辑回归通过建模输出邮件为垃圾的概率，实现二分类判断。类别边界拟合问题以信贷风控场景为例，逻辑回归拟合违约与非违约用户的边界，区分高风险与低风险客户。线性可分近似场景分类问题在肿瘤良恶性判别中，逻辑回归对近似线性可分的特征数据进行分类，辅助临床诊断。解决的核心问题分类任务的输出逻辑概率值映射输出逻辑回归通过sigmoid函数将线性结果映射为0-1间的概率值，如判断用户是否违约时输出违约概率。二分类标签判定设定概率阈值（通常为0.5），概率高于阈值输出正类标签，反之输出负类标签，比如垃圾邮件判定。多分类扩展输出借助Softmax函数将输出转化为各类别的概率分布，如MNIST手写数字识别中输出10个数字的概率。与线性回归的关联差异

核心建模目标差异线性回归预测连续值，如房价；逻辑回归输出分类概率，如判断用户是否逾期还款。

模型函数形式差异线性回归用线性函数拟合数据，逻辑回归引入Sigmoid函数将输出映射至0-1区间。

损失函数设计差异线性回归采用均方误差，逻辑回归用对数似然损失，适配分类任务的概率特性。高阈值下的分类偏向高阈值会大幅降低假阳性率，如风控场景中设0.8阈值，能减少误判为优质客户的高风险用户。低阈值下的分类偏向低阈值会提升召回率，如疾病筛查时设0.2阈值，可尽可能捕捉更多潜在患病人员，减少漏诊。阈值与业务目标的匹配性电商欺诈检测需平衡误判与漏判，设0.5阈值，能在拦截欺诈订单同时降低对正常订单的误拦。阈值设定对结果的影响模型的训练思路梳理

构建对数似然损失函数以预测概率与真实标签的偏差为依据，构建对数似然损失函数，量化模型预测误差。

采用梯度下降法优化参数通过梯度下降迭代更新模型参数，最小化对数似然损失，提升模型拟合精度，类似线性回归参数优化逻辑。

设定迭代终止条件以损失函数收敛、参数变化阈值或迭代次数为终止条件，避免过拟合，保障模型训练效率。模型评估常用指标

准确率（Accuracy）准确率是正确分类样本占总样本的比例，适用于正负样本均衡的场景，如普通用户画像分类。

精确率（Precision）精确率是预测为正的样本中真正正样本的占比，常用于垃圾邮件识别，降低正常邮件误判率。

召回率（Recall）召回率是真实正样本中被正确预测的占比，在疾病筛查中关键，需尽可能识别出所有患病者。

F1分数（F1Score）F1分数是精确率和召回率的调和平均数，能平衡二者，适合电商欺诈检测这类需兼顾精准与全面的场景。逻辑回归算法的适用场景03二分类任务场景

用户信用风险评估银行等金融机构常用逻辑回归，依据用户收支、征信等数据判断其是否存在违约风险。

疾病辅助诊断医疗领域借助逻辑回归，结合患者症状、检验指标等判断是否罹患特定疾病，如乳腺癌筛查。

垃圾邮件识别邮件平台利用逻辑回归，分析邮件关键词、发件信息等区分正常邮件与垃圾邮件。一对多分类策略应用将某一类设为正类，其余为负类，训练多个二分类模型，如用该策略识别手写数字MNIST数据集。一对一分类策略实践每两类间训练一个二分类模型，通过投票确定类别，常用于鸢尾花多类别分类任务。多分类任务扩展特征相关性初步筛选

基于皮尔逊系数筛选连续特征针对连续型特征，可通过皮尔逊系数衡量与标签的相关性，比如筛选电商用户消费数据的特征。

基于卡方检验筛选分类特征对于分类型特征，借助卡方检验判断与标签的关联度，例如筛选信贷审批的用户身份特征。可解释性要求高场景

金融风控信贷审批银行审批信贷时，需清晰解释拒贷原因，逻辑回归的系数可直观说明逾期风险关联因素。

医疗辅助诊断决策在疾病诊断场景中，医生需明确诊断依据，逻辑回归能清晰呈现症状与患病概率的关联。

合规监管下的风险评估如保险行业的合规审查，逻辑回归的透明推导过程可满足监管对风险判定依据的披露要求。不适用的任务场景

非线性复杂分类任务逻辑回归无法拟合复杂非线性关系，如识别包含多种不规则特征的医学影像病变这类任务。

多标签分类任务逻辑回归仅能处理单标签分类，无法应对一张图片同时标注猫、狗、草地的多标签识别任务。

大规模高维特征任务面对百万级特征的基因测序数据分类，逻辑回归易过拟合且计算效率远低于深度学习模型。逻辑回归算法案例演示04糖尿病患病风险预测建模基于PIMA印第安人糖尿病数据集，用逻辑回归分析血糖、BMI等指标，预测患病概率。乳腺癌良恶性判别利用威斯康星乳腺癌数据集，通过逻辑回归分析肿瘤特征，判别肿瘤的良恶性。心血管疾病风险评估结合Framingham心脏研究数据，用逻辑回归分析血压、血脂等因素，评估患病风险。经典案例：疾病风险预测数据预处理步骤展示

缺失值处理以信用卡违约预测数据集为例，常用均值填充、删除样本等方式，消除缺失数据对模型的干扰。

特征标准化在鸢尾花分类任务中，对花萼、花瓣的尺寸特征做标准化，让特征处于同一量级。

类别特征编码针对贷款审批数据中的职业、学历等类别特征，采用独热编码转化为模型可识别的数值。模型调用与参数设置Scikit-learn库逻辑回归模型调用可通过fromsklearn.linear_modelimportLogisticRegression语句快速调用，是工业界常用实现方式。分类阈值参数调整设置可通过调整class_weight参数应对样本不平衡，如电商欺诈检测中提升欺诈样本权重。正则化参数配置设置penalty参数选择L1或L2正则化，防止模型在医疗诊断数据训练中过拟合。混淆矩阵输出与分析通过Pythonsklearn库输出混淆矩阵，清晰展示模型对良性、恶性肿瘤样本的分类正误情况。ROC曲线输出与解读绘制ROC曲线并计算AUC值，以医疗诊断案例为例，AUC达0.92说明模型区分度较高。分类概率输出与应用输出样本属于正类的概率值，如某用户信用卡违约概率为0.78，可据此制定风控策略。结果输出与结果解读模型效果验证分析混淆矩阵指标计算通过计算精准率、召回率等指标，以某银行信贷风控案例为例，评估模型的分类准确性。ROC曲线绘制分析绘制ROC曲线并计算AUC值，参考电商用户流失预测案例，判断模型的整体区分能力。交叉验证结果评估采用K折交叉验证，以医疗疾病诊断案例为参照，检验模型的稳定性与泛化能力。课程内容总结05核心知识点梳理01逻辑回归的本质与假设函数逻辑回归并非回归算法，是分类模型，以sigmoid函数为假设函数，将输出映射至0-1区间。02损失函数与梯度下降优化采用对数损失函数衡量预测偏差，通过梯度下降算法迭代更新参数，最小化损失值。03多分类扩展策略针对多分类场景，常用一对多、多对多策略，如Sklearn中LogisticRegression默认采用一对多法。