数据挖掘基础及应用 课件 第2章-数据准备-蓝橙课堂版1

01第2章数据准备理解属性、描述数据、完成预处理数据挖掘基础及应用本章学习路线022.1对象与属性识别记录、变量和属性类型2.2数据的描述用统计量和图形理解数据2.3数据预处理处理质量问题，准备建模数据学习目标：能判断属性类型，选择合适的统计量与图形，并说明预处理的目的。图2-1数据准备知识结构图数据对象、属性与属性向量03数据对象学号性别爱好宿舍楼号A同学24001M篮球AB同学24002F剧本杀BC同学24003M电子竞技AD同学23001M看书CE同学23002F看书B一行描述一个对象一列记录一个属性某个对象的一组属性值组成属性向量。学号用来识别对象，其差值通常没有分析意义。标称属性与二元属性04标称属性不同取值表示不同类别。类别之间没有天然的大小顺序。例：爱好、宿舍楼号、职业期望。二元属性只有两个类别或状态。例：教材学生信息中的M与F。也可以用0和1编码。数字编码只代表类别，不会自动赋予类别可加减、可比较倍数的含义。序数属性：有顺序的类别05不满意一般满意能够说明什么这些类别具有等级顺序，可以比较高低或前后。不能直接说明什么相邻等级的差距未必相等，不能仅用编码推断差距大小。教材还列举饮料杯型、成绩等级、教师职称等有序类别。区间标度与比率标度06比较角度区间标度比率标度有意义的顺序和差值有有绝对零点没有有教材示例摄氏温度、年份长度、速度、金额解释示例20℃比5℃高15℃10m/s是2m/s的5倍摄氏温度可以比较温差，但“20℃是10℃的两倍热”没有相应的比率意义。离散与连续：另一种分类角度07取值可数类别或计数例：专业类别、人数取值连续区间内可进一步细分例：身高、体重与定性、定量的关系离散属性既可能是类别，也可能是数值计数。属性类型需要结合实际含义判断。读入数据后，先核对字段含义，再决定编码方式和适用的统计量。统计描述回答的三个问题08中心在哪里均值、中位数、众数数据有多分散方差、标准差、IQR、极差分布是什么形状偏度、峰度统计量与可视化相互补充，帮助发现数据质量问题并选择后续分析方法。均值、中位数与众数09成绩：50、60、72、88、70、85、90、100、80、95均值：79所有数值之和除以个数。反映整体水平。中位数：82.5先排序，再确定中间位置。本例为(80+85)/2。众数出现次数最多的取值。表2-1中性别M出现3次。本页成绩来自教材例2.15。该成绩序列各值出现次数相同，不能挑出唯一众数。极端值为什么会影响均值10说明性序列10、11、12、13、14、100均值≈26.67中位数=12.5截尾均值排序后，两端各去掉一个值：11、12、13、14截尾均值=12.5截尾用于降低极端值影响，截尾比例与处理理由应说明。不能据此把真实极端值直接认定为错误。方差与标准差：离散程度11总体口径σ²=Σ(xᵢ−μ)²/n本例总体方差=226.8总体标准差≈15.06样本估计口径s²=Σ(xᵢ−x̄)²/(n−1)本例样本方差=252样本标准差≈15.87标准差是方差的平方根，与原变量单位相同。NumPy中ddof=0与ddof=1对应不同分母。四分位数、IQR与极差12排序后：50、60、70、72、80、85、88、90、95、100Q1=70.5第25百分位数Q2=82.5中位数，第50百分位数Q3=89.5第75百分位数采用NumPy默认线性插值口径：IQR=Q3−Q1=19；极差=100−50=50。偏度：分布向哪一侧拖尾13近似对称右偏：右侧长尾左偏：左侧长尾偏度看长尾的方向。偏度接近0只反映三阶矩特征，不能单独证明数据服从正态分布。峰度：先明确采用的定义14Pearson峰度正态分布参考值为3。scipy.stats.kurtosis使用fisher=False时返回该口径。超额峰度在Pearson峰度基础上减去3。正态分布参考值为0。使用fisher=True时返回该口径。峰度主要帮助描述尾部与极端值特征，不能只看峰顶高低。比较前需统一口径。统计描述的Python操作15importnumpyasnpx=np.array([50,60,72,88,70,85,90,100,80,95])np.mean(x),np.median(x)np.var(x,ddof=0),np.std(x,ddof=0)np.percentile(x,[25,50,75])x.max()-x.min()运行前后的检查先核对数据类型与缺失值。确认总体或样本口径。把结果与手工计算对照。本页使用固定序列，方便复算。np.var与np.std的分母由ddof控制。按分析问题选择图形16看分布与异常箱型图看区间频数直方图看变量关系散点图看有序变化折线图图形选择要服务于问题。先说明每个坐标轴、每个点或柱表示什么，再解释模式。箱型图：箱体、须与离群点17读图顺序箱体：Q1到Q3中线：中位数须：1.5×IQR围栏内的最远观测值独立点：围栏以外的观测值本例45被标为统计离群点。教材数据中的102、110还需按“成绩0—100”的业务范围核查。图2-2箱型图图2-3信息较为完整的箱型图直方图：数值落在哪些区间18图中共10条记录。除最后一个区间外，按左闭右开区间计数。图2-4简单的直方图图2-5学生成绩分布三种直方图怎样读图1.每个区间宽20分2.柱高表示区间人数3.80—100分区间有64.最后一个区间包含100分频数、频率与概率密度19频数nⱼ区间内的观测数。本例为2。频率nⱼ/n区间所占比例。2/10=0.2。密度nⱼ/(n×h)频率再除以区间宽度。0.2/10=0.02。频率之和为1；概率密度直方图的面积之和为1。密度柱高本身不等于区间概率。散点图：学习时间与考试成绩20读图问题每个点对应一条观测。总体趋势如何？是否存在偏离趋势的点？其他因素是否也可能影响成绩？散点图用于探索两个变量的关系。气泡图还可用点大小表达第三个变量。图2-6简单的散点图图2-7学生成绩相关三种散点图折线图：按顺序连接观测值21适用的问题观测具有时间或其他顺序。连线展示相邻观测的变化。可比较多组趋势。平滑曲线不等于新增观测。本页是教材的数学函数演示。销售额随月份变化等实际时间序列也常用折线图表达。图2-8简单的折线图图2-9基础折线图可视化操作：把问题对应到图形22importmatplotlib.pyplotaspltplt.boxplot(scores)plt.hist(scores,bins=[0,20,40,60,80,100])plt.scatter(study_hours,exam_scores)plt.plot(x,y)plt.show()作图后检查坐标轴名称、单位和范围。分箱边界、缺失与异常。数据来源与每个图形元素的含义。本页各调用独立对应一种图形。实际绘图时使用各例定义的数据，并分别创建图形。图2-10多折线图图2-11带阴影区域的折线图图2-12平滑曲线图数据预处理的整体流程23数据清洗缺失、噪声、异常与重复数据集成合并来源，统一含义与单位数据转换缩放、编码、离散化与构造数据归约减少冗余，保留有用信息具体任务中会反复检查数据，预处理流程与参数需要记录，便于解释和复现。缺失值：先识别，再选择处理方式24先回答什么哪些字段缺失？缺失了多少？缺失是否具有业务含义？是删除、填补，还是保留标记？教材案例的关键操作df.isna().sum()df['借款金额']=df['借款金额'].fillna(df['借款金额'].mean())#也可按需要选择中位数等策略填补方法应匹配属性类型和数据特点。均值填补可能改变原有分布，不能机械应用。异常值：统计判据与业务规则25IQR统计判据Q1=76.75，Q3=93.5IQR=16.75下围栏=51.625上围栏=118.62545落在围栏之外。业务范围检查若成绩范围定义为0—100：102、110超出了允许范围。它们没有超出本例IQR上围栏，仍然需要核对数据来源。统计离群点与错误记录并不等同。核查后再选择保留、修正、标记或排除。重复记录：明确去重的对象26学号性别爱好24001M篮球24002F剧本杀24001M篮球重复检测与保留策略df.duplicated().sum()df.drop_duplicates(keep='first')#按指定字段判断时df.drop_duplicates(subset=['学号'],keep='last')同一对象的多次有效测量可能需要保留。去重前应明确唯一标识、时间与业务规则。数据集成：合并前先统一含义27识别对象确认关联键与对象匹配统一字段同名字段是否含义一致消除冲突核对单位、编码和取值形成数据集记录来源与合并规则单位冲突示例身高170cm与1.70m表示同一长度，合并前需要统一单位。ETL包括抽取、转换、加载。合并后还应检查记录数、重复匹配和缺失情况。数值缩放：归一化与标准化28最小—最大归一化x′=(x−min)/(max−min)常把训练数据缩放到[0,1]。当最大值等于最小值时，需单独处理常量属性。Z-Score与小数定标z=(x−μ)/σ小数定标：x′=x/10ʲ选取j，使max(|x′|)<1。两者都保留对缩放参数的记录。Z-Score使拟合数据均值约为0、方差约为1，但不会自动把任意分布变成正态分布。等宽与等频离散化29说明性序列：1、2、3、4、5、100，划分为两箱等宽：区间宽度相近边界：1、50.5、100第一箱有5个值。第二箱有1个值。适合强调数值区间。等频：记录数相近边界：1、3.5、100两个箱各有3个值。重复值较多时，箱数和频数可能无法完全符合预期。分箱边界应记录。解释结果时要说明边界的开闭规则，并核对落在边界上的数据。类别编码与属性构造30专业类别护理药学康复护理100药学010康复001已有属性构造新属性月均本金=借款金额/借款期限期限需要统一为月。该计算没有包括利息和费用，不等于完整的每月还款额。独热编码用不同列表示不同类别，避免把无序类别的数字编码误当作大小关系。数据归约：保留列，还是生成新特征31原始特征特征选择特征提取保留一部分原始属性。结果仍能对应原来的字段。组合或变换原始属性。结果可能是新的特征空间。减少维度可以降低开销，但需要评价保留的信息是否仍能满足分析任务。特征选择的三种思路32过滤法按统计指标先筛选。例：SelectKBest包裹法围绕模型反复比较子集。例：RFECV嵌入法在模型训练中进行选择。例：树模型特征重要性选择标准与任务目标有关。有监督特征选择需要正确区分输入特征X与目标y。PCA、LDA与ICA的侧重点33方法主要思路是否使用类别标签PCA寻找方差较大的投影方向不使用LDA寻找有利于类别区分的投影使用ICA寻找统计上尽可能独立的成分不使用LDA输出维数最多为类别数减1。二分类任务最多1维，不能直接设置为2维。LCIS案例：把预处理步骤串起来34读取与检查列名、类型、缺失和重复清洗与集成按规则处理并记录变化转换与构造缩放、分箱或构造属性选择或提取得到用于后续建模的数据df=pd.read_csv('LCIS.csv')df.head();();df.describe()实际操作前核对文件路径、字段含义和数据类型，运行结果以实际数据为准。本章小结：数据准备的完整思路35认识数据对象、属性与类型描述数据中心、离散程度与形状检查图形分布、关系与变化完成预处理清洗、集成、转换、归约每一步都应能解释：为什么这样处理、改变了什么、会影响后续分析的哪些部分。课后练习：统计描述与编码36第1题：学生信息表构造姓名、性别、年龄、成绩、专业等字段。统计性别众数。计算成绩均值、中位数、标准差。绘制成绩直方图。第2题：身高与专业用Python模拟学生身高（cm）和专业类别。把身高离散化为低、中、高三个区间。把专业类别进行独热编码。提交时说明模拟数据的生成方法、统计口径、分箱边界及编码结果。课后练习：Iris特征选择与降维37读取数据使用sklearn的Iris数据集特征选择用SelectKBest选择前2个特征PCA降维降到