第2章 数据挖掘工具

数据挖掘基础与案例习题参考答案第2章数据挖掘工具习题1：元组（tuple）、列表（list）、字典（dict）和集合（set）是4种非常基础且重要的数据结构。元组是一个不可变的序列类型，用圆括号()定义，一旦创建，元组中的元素就不能被修改。列表是一个可变的序列类型，用方括号[]定义，列表是动态的，可以随时添加或删除元素。字典是一个无序的键值对集合，用大括号{}定义，字典中的每个元素都是一个键值对，键必须是唯一的，而值可以是任意类型。集合是一个无序的不重复元素集，用大括号{}或set()函数定义，集合中的元素是唯一的，不支持索引和切片操作。习题2：布尔值False，整数0，浮点数0.0，负数0j、空字符串''或""、空列表、空元组、空字典、空集合、None。习题3：break保留字立即终止当前循环，跳出循环体执行后续代码。continue保留字跳过当前循环continue之后的剩余代码，直接进入下一次循环迭代。pass保留字空操作语句，不执行任何逻辑，仅作为语法占位符保持代码结构完整性。习题4：算术运算符：用于数值计算，包括加(+)、减(-)、乘(*)、除(/)、取模(%)、幂(**)、取整除(//)等；比较运算符：用于比较两个变量的值是否相等或大小关系，包括等于(==)、不等于(!=)、大于(>)、小于(<)、大于等于(>=)、小于等于(<=)等；逻辑运算符：用于连接两个或多个条件，判断它们的逻辑关系，包括与(and)、或(or)、非(not)等；位运算符：用于对二进制数进行位运算，包括按位与(&)、按位或(|)、按位异或(^)、按位取反(~)、左移位(<<)和右移位(>>)等；成员运算符：用于判断一个值是否在指定的序列中，包括in和notin；身份运算符：用于判断两个变量是否是同一个对象，包括is和isnot；赋值运算符：用于给变量赋值，包括等于(=)、加等(+=)、减等(-=)、乘等(*=)、除等(/=)、取余等(%=)等。运算符之间的优先级顺序如下：括号：用于改变运算顺序或创建元组。幂运算符：**优先级最高按位取反：~乘法、除法、取模、整除‌：*,/,%,//加法、减法：+,-。左移、右移：<<,>>。按位与、按位异或、按位或‌：&,^,|。等于、不等于：==,!=。大于、小‌：>,<。大于等于、小于等于：>=,<=。身份比较、成员比较：is,isnot,in,notin。逻辑非、逻辑与、逻辑或：not,and,or。赋值运算符‌：=,+=,-=,*=,/=,%=,//=,=习题5：（1）代码复用函数将完成特定任务的代码封装起来，避免重复编写相同的代码，提高代码的复用性。（2）提高代码的可读性和可维护性通过将代码分解成多个函数，可以使代码结构更清晰，便于理解和维护。（3）参数传递函数可以通过参数接收输入，通过返回值输出结果，使得函数具有很高的灵活性。（4）作用域控制函数内部的变量只能在函数内部访问，有助于避免全局变量的污染，提高代码的安全性。习题6：与列表相比Numpy数组在处理数学运算和大数据集时的执行效率更高，Numpy数组支持广播操作，可以对不同维度的数组进行数学运算，而列表则不支持。Numpy数组支持更多高级的索引方式。习题7：元素级乘法使用“*”或numpy.multiply()方法，作用是数组对应位置元素相乘。矩阵乘法使用“@”或numpy.matmul()方法，遵循矩阵乘法行列数匹配的规则。点积numpy.dot()计算内积，结果为标量，数组与标量相乘使用“*”，作用是每个元素乘以标量。习题8：numpy.reshape()方法用于修改数组形状，numpy.transpose()翻转数组，numpy.broadcast()、numpy.squeeze()修改数组维度，numpy.concatenate()连接数组，numpy.split()分割数组、numpy.append()、numpy.insert()添加数组元素，numpy.delete()删除数组元素。习题9：在Pandas中，元素访问的索引方式丰富多样，且与关系型数据库索引既有相似之处，也存在明显差异。位置索引使用iloc[]，和Python列表索引的使用方法类似，但索引值与标签无关，当数据重新排序后，容易引发混淆，代码的可读性欠佳，特别是在列名有实际意义的时。标签索引使用loc[]。代码的可读性强，能直接通过标签理解访问意图，索引稳定。但标签必须唯一。布尔索引则通过条件表达式与前两种索引方式结合，用于过滤数据。能够基于条件灵活筛选数据，且支持复合条件查询，但多次使用会降低检索性能。多级索引可以高效处理高维数据，适用于分组统计和聚合操作，但索引结构复杂，理解和调试都有一定难度。习题10：在Pandas中，主要通过pd.merge()、pd.concat()、join()和append()等方法实现DataFrame合并。pd.merge()实现类似SQL的表连接操作，基于一个或多个键（列）合并DataFrame，支持内连接（inner）、左连接（left）、右连接（right）和外连接（outer）。pd.concat()按轴堆叠两个DataFrame，并支持按索引对齐（join='inner'或join='outer'），当轴axis为0时按行（垂直堆叠），为1时按列（水平拼接）。索引连接join()方法按索引（或指定列）合并多个DataFrame，类似pd.merge()，默认以索引作为键。append()方法向DataFrame末尾追加另一个DataFrame，与pd.concat(axis=0)等价，该方法返回新对象，原DataFrame不变。习题11：Scikit-Learn提供了丰富的内置数据集，这些数据集涵盖分类、回归和聚类等多种任务，帮助用户快速上手和验证模型。1）分类数据集较多，主要有鸢尾花数据集（Iris），3个类别的分类数据集（3类），包含150条样本，4个特征（花萼/花瓣的长度/宽度），适合分类（如决策树、SVM），手写数字数据集（Digits）是10个类别的多分类数据集，1797张8×8像素图像，64个特征，是图像分类的基础数据集，更应适合传统机器学习算法（如KNN、随机森林），乳腺癌数据集（BreastCancer）是二分类数据集（良性/恶性），包含569条样本，30个特征，医疗领域的数据集，类别分布略有不平衡，可测试模型在不平衡数据上的表现。2）回归数据集。波士顿房价数据集（BostonHousing）包含506条样本，13个特征（如犯罪率、房屋年龄等），适合测试线性回归、决策树等模型。糖尿病数据集（Diabetes）包含442条样本，10个特征（如年龄、BMI、血压等），可用于预测慢性病发展。3）聚类与降维数据集，奥利维蒂人脸数据集（OlivettiFaces）包含400张64×64像素人脸图像，10个不同人各40张，用于聚类、降维、人脸识别。20新闻组数据集（20Newsgroups）包含约20,000篇新闻文章，分为20个类别，主要用于文本分类、聚类、主题建模。4）生成式数据集，make_classification()和make_regression()可生成分类和回归数据集。习题12：Scikit-Learn提供了丰富的机器学习模型，涵盖回归和分类两大核心任务。回归方法如普通最小二乘法LinearRegresion()、决策树回归DecisionTreeRegressor()，随机森林RandomForestRegressor()、支持向量机SVR()和SVC()、K近邻KNeighborsRegressor()、神经网络MLPRegressor()等。分类方法包括逻辑回归LogisticRegression()、线性支持向量机LinearSVC()、决策树分类DecisionTreeClassifier()、随机森林RandomForestClassifier()、AdaBoost分类方法AdaBoostClassifier()、贝叶斯方法GaussianNB()和MultinomialNB()、多层感知机MLPClassifier()、K近邻KNeighborsClassifier()等。习题13：导入Matplotlib库中的pyplot模块后。使用plt.figure()函数创建画布，也可使用plt.add_subplot()或plt.subplots()函数在画布上创建一个或多个子图。在子图上使用各种绘图方法，如plot()、scatter()、bar()等。可以使用set_color()、set_marker()、set_xlim()、legend()等方法设置图形的颜色、标记样式、坐标轴范围、刻度标签、图例等属性来增强图形的可读性和美观度。最后使用plt.show()函数来显示绘制