人工智能应用导论（第三版）实验手册 3-5云计算与边缘计算、4-4房价预测

云计算与边缘计算实验手册【项目目标】(1)掌握从云端进行数据处理与模型训练，到将模型部署至边缘设备执行的全流程AI应用开发方法。(2)体验并学习使用零代码AI云平台，了解如何使用其提供的“云端算力”来简化和加速模型开发。(3)学习使用ONNXRuntime、OpenCV等行业标准工具，在个人计算机（模拟边缘设备）上调用摄像头进行实时数据处理与AI模型推理。(4)通过实践直观对比和理解云计算与边缘计算在AI应用中的不同角色、优势及其“云边协同”的工作模式。(5)培养解决实际问题的AI工程思维，体验从一个想法到一个可交互AI应用的创造过程，激发创新精神。任务一使用云平台实现图像分类应用在理论知识的讲解中，我们了解了云计算平台如何提供强大的“算力”来支持AI开发。本任务我们将体验一个免费的AI模型训练云平台。它将复杂的算力需求隐藏在简洁的网页背后，让我们可以利用自己的数据快速训练出一个有效的AI模型，使我们能更直观地聚焦于“数据->训练->模型”这一AI应用核心流程。本任务需要使用配套资源中提供的“猫狗分类数据集”，请自行下载。读者也可通过项目二的实验代码自行准备猫、狗动物图片，每种类至少100张。需要注意的是自行爬取的图片通常需要进行二次检查、筛选及清洗，以保证数据集的质量。使用Chrome浏览器访问https://train.aimaker.space/train。点击主页上的“图像项目”，如图3-6所示。图3-6在平台主页选择“图像项目”进入数据准备界面后，需要告诉平台要学习几个类别（Class），并为每个类别提供相应的学习“教材”（图片）。找到默认的“Class1”，点击旁边的铅笔图标，将其重命名为“猫”。继续点击下方的“上传”按钮上传样本图片。图3-7修改类别(Class)名称并打开上传界面在弹出的窗口中选择“在文件夹中选择图像或直接拖放到此处”，然后找到并选中提前下载好的数据集中所有猫的图片，点击“打开”进行上传。图3-8上传数据集中的样本图片按照同样的方式将“Class2”名称修改为“狗”并完成样本图片的添加。如有需要可以继续点击下方的“添加一个类别”按钮，继续添加新的Class及对应的样本图片，如图3-9所示。图3-9根据需要继续添加样本点击页面中部“训练模型”按钮下方的高级标签，可以看到模型训练的一些基本参数，如“单次训练迭代次数”、“批处理大小”、“学习速率”等。点击参数右侧的问号图标可以显示简单的参数说明。本次实验暂时不需要修改任何参数，保持默认即可。点击“训练模型”按钮，训练过程会立即开始，此时会看到一个训练进度提示。需要注意的是，训练期间页面会提示“不要切换标签页”，否则会中断训练。根据图片数量计算机性能，训练过程通常需要数分钟。图3-10使用上传的数据集训练图片分类模型训练完成后，可以点击“高级选项”按钮查看所训练模型的若干特征。图3-11模型训练的部分参数信息右侧的“预览”窗口会在训练结束后自动激活，可以测试训练好的AI模型。在“预览”窗口下方，选择输入方式为“文件夹”。点击“在文件夹中选择图像或直接拖动到此处”，从测试集中选择一张从未用于训练的、新的猫或狗的图片。上传后，模型会立刻进行分析，并在下方的“输出”区域显示结果。可以看到“猫”和“狗”两个进度条，进度条越长，代表模型认为图片属于该类别的可能性（置信度）越高。图3-12测试模型效果测试数据集中也准备了老虎、狐狸与狼的若干图片。读者也可将这些图片上传至模型进行判断，观察模型的反应。本任务在云端（网页应用）利用算力完成了一个AI图像分类模型的开发。该过程虽然简单，但完整地覆盖了数据准备、模型训练和效果验证三大核心环节，为后续学习更复杂的AI项目打下坚实基础。读者可以尝试利用本书配套资源中提供的数据集，自行训练一个能够完成手势识别的模型供下一个任务中使用。任务二边缘设备实现手势识别在任务一中，我们已经在云平台上快速训练并验证了一个在云端运行的图像分类模型。本任务将把云端训练好的模型“请”到本地计算机（边缘设备）上，使其能够在断网的情况下于本地实时运行。为方便验证模型识别的效果，本任务将使用一个手势识别的场景，通过本地摄像头实时采集手势，送至模型识别，将结果显示于本地计算机。请读者使用教材配套的手势识别数据集，按照任务一的步骤训练一个手势识别模型。训练完成后，在右上角“预览”区域，点击“导出模型”按钮。在弹出的窗口中，选择Tensorflow标签页。在其下方，确保选择的是Keras格式。点击“下载我的模型”按钮。图3-13下载训练好的模型浏览器会自动下载一个名为converted_keras.zip的压缩包。将其解压后可以得到两个文件：keras_model.h5:模型的核心文件，包含了神经网络的结构和权重。labels.txt:文本文件，记录了模型的分类标签。在步骤一中得到的.h5是Keras专用的模型格式，运行.h5模型通常需要安装庞大的TensorFlow完整库。对于存储和内存资源有限的边缘设备通常需要一种轻量化部署能力更强的模型。为了应对此类边缘设备的需求，一种名为ONNX（OpenNeuralNetworkExchange，开放神经网络交换格式）的开放标准应运而生，其目标旨在解决不同AI训练框架之间模型难以互通的壁垒。在业界，ONNX被广泛应用于AI模型的“云边端”全流程部署场景中。例如，数据科学家团队可能使用功能强大的PyTorch或TensorFlow框架在云端服务器上完成模型的训练，而负责将模型集成到手机App（端）或本地PC应用（边缘）的工程团队，则无需安装这些庞大的训练框架。他们只需要接收数据科学家交付的标准化ONNX模型，就可以利用轻量级的推理引擎（如ONNXRuntime）在最终产品上高效运行。相较于与特定框架（如TensorFlow/Keras）深度绑定的.h5格式，ONNX格式的模型具有良好的框架解耦与互操作性、优秀的轻量化部署能力以及卓越的性能优化潜力。因此在本步骤中我们将编写代码将上一步得到的.h5模型转换为.onnx格式的模型，具体如下。在一个全英文路径下新建一个名为convert_model.py的Python文件，复制以下代码至文件中：importtensorflowastfimporttf2onnximportjson#定义输入和输出文件名keras_model_path="keras_model.h5"output_onnx_path="gesture-recognition.onnx"try:#加载Keras模型model=tf.keras.models.load_model(keras_model_path)#将Keras模型转换为ONNX格式#spec：指定模型的输入签名，对于本项目导出的图像模型，通常是(None,224,224,3)#opset：ONNX的版本号，13是较为通用的版本model_proto,_=tf2onnx.convert.from_keras(model,input_signature=[tf.TensorSpec(shape=(None,224,224,3),dtype=tf.float32,name="input")],opset=13)#保存ONNX模型withopen(output_onnx_path,"wb")asf:f.write(model_proto.SerializeToString())print(f"模型转换成功！已将'{keras_model_path}'转换为'{output_onnx_path}'")exceptExceptionase:print(f"模型转换失败：{e}")print("请确保'keras_model.h5'文件与此脚本在同一个文件夹下。")将步骤一中解压出的keras_model.h5文件与convert_model.py置于同一个文件夹下。在该路径下运行convert_model.py文件，终端会输出“模型转换成功！”的提示，并且在文件夹中会生成一个gesture-recognition.onnx文件。该文件即为转换后的ONNX模型文件，接下来将利用该模型编写出能在本地计算机上实时识别手势的Python应用程序。在convert_model.py同文件夹下新建一个名为run_edge_app.py的Python程序文件。将下列代码复制至文件中。importcv2importnumpyasnpimportonnxruntimeasortfromPILimportImage,ImageDraw,ImageFont#---1.初始化---#从labels.txt文件中读取标签withopen('labels.txt','r',encoding='utf-8')asf:#读取所有行，并去除每行末尾的数字和换行符GESTURE_LABELS=[line.strip().split('')[1]forlineinf.readlines()]#加载上一步转换的ONNX模型文件onnx_model_path="gesture-recognition.onnx"#创建一个ONNXRuntime的推理会话ort_session=ort.InferenceSession(onnx_model_path)#获取模型的输入名称input_name=ort_session.get_inputs()[0].name#加载支持中文的字体,这里的'simhei.ttf'需要根据你的系统确认路径#通常在C:\Windows\Fonts\simhei.ttftry:font=ImageFont.truetype("simhei.ttf",32)exceptIOError:font=ImageFont.load_default()print("警告：未找到中文字体'simhei.ttf'，将使用默认字体，中文可能无法显示。")print("模型加载成功，准备启动摄像头...")在上述代码中定义了一个GESTURE_LABELS列表，用于存放模型能识别的所有手势名称。ort.InferenceSession()函数是ONNXRuntime的核心，通过该行代码，模型文件被加载到内存中，随时可以开始工作。每个模型都有标准的输入口，通过ort_session.get_inputs()[0].name代码可以自动获取这个输入口的名称，方便后续步骤向其中“喂”数据。接下来需要让程序打开电脑的摄像头，并像看电影一样，逐帧读取实时画面。这是一个无限循环，直到按下键盘上的q键退出。在run_edge_app.py文件中继续添加下列代码。#---2.启动摄像头与主循环---#参数0代表使用电脑的默认摄像头cap=cv2.VideoCapture(0)ifnotcap.isOpened():print("错误：无法打开摄像头。");exit()#进入主循环whileTrue:#逐帧读取摄像头画面ret,frame=cap.read()ifnotret:print("错误：无法读取画面。")break#---这里将是进行AI推理的核心区域---#(我们将在下一个步骤中填充该部分代码)#显示实时画面cv2.imshow('Real-timeGestureRecognition',frame)#检测按键，如果按下'q'键则退出循环ifcv2.waitKey(1)&0xFF==ord('q'):break#---释放资源---cap.release()cv2.destroyAllWindows()print("程序已退出。")在上述代码中cv2.VideoCapture(0)打开本地计算机的默认摄像头（台式计算机可以外接一个USB摄像头）。whileTrue:语句创建了一个无限循环，使程序能持续不断地处理视频流。在循环中，ret,frame=cap.read()语句负责从摄像头抓取当前瞬间的图像，frame就代表该张图像。cv2.imshow():函数将抓取到的frame显示在一个名为“Real-timeGestureRecognition”的窗口中。使用cv2.waitKey(1)&0xFF==ord('q')语句等待1毫秒，检测用户是否有键盘输入。如果按下的键是q，就跳出循环。退出循环后，使用cap.release()和cv2.destroyAllWindows()函数释放摄像头资源并关闭所有窗口，养成良好的编程习惯。有关OpenCV控制摄像头的更多用法，我们将在计算机视觉章节进一步讲解。摄像头捕捉到的原始画面，并不能直接送给AI模型。需要先将其转换成模型能够“理解”的格式（例如，调整尺寸、归一化颜色值等），这个过程叫做预处理。处理好后，就可以将数据送入模型，并获取预测结果。请将以下代码替换到上一步代码中标记为“#---这里将是进行AI推理的核心区域---”的注释行处。#---3.图像预处理---#复制一份原始帧用于显示，避免在原图上修改display_frame=frame.copy()#将图像尺寸调整为模型需要的224x224img_resized=cv2.resize(frame,(224,224))#将图像从BGR色彩空间转为RGBimg_rgb=cv2.cvtColor(img_resized,cv2.COLOR_BGR2RGB)#将图像数据类型转为float32，并进行归一化处理img_normalized=(img_rgb.astype('float32')/127.5)-1#增加一个批次维度，因为模型期望的输入是(N,H,W,C)input_tensor=np.expand_dims(img_normalized,axis=0)#---4.执行推理---#将处理好的数据送入ONNX模型ort_inputs={input_name:input_tensor}ort_outs=ort_session.run(None,ort_inputs)#ort_outs[0]就是模型的输出结果prediction=ort_outs[0]#---5.解析并展示结果---#找到概率最高的那个类别的索引predicted_index=np.argmax(prediction)#从我们的标签列表中获取对应的手势名称predicted_gesture=GESTURE_LABELS[predicted_index]#获取该预测的置信度（概率值）confidence=np.max(prediction)#准备要显示的文本result_text=f"预测结果:{predicted_gesture}({confidence:.2f})"#使用Pillow在图像上绘制中文#将OpenCV图像(BGR)转换为Pillow图像(RGB)pil_img=Image.fromarray(cv2.cvtColor(display_frame,cv2.COLOR_BGR2RGB))draw=ImageDraw.Draw(pil_img)#在图像上绘制文本draw.text((10,30),result_text,font=font,fill=(0,255,0))#将Pillow图像转换回OpenCV图像(BGR)display_frame=cv2.cvtColor(np.array(pil_img),cv2.COLOR_RGB2BGR)在图像预处理的代码中，resize,cvtColor,astype,expand_dims等一系列操作都是为了将摄像头抓拍的原始图片，变成符合模型输入要求的标准“证件照”。在执行推理的过程中，ort_session.run(None,ort_inputs)是核心语句。将处理好的input_tensor“喂”给模型，模型就会返回一个包含各个手势预测概率的列表prediction。使用np.argmax找到概率最高的那个结果，并从GESTURE_LABELS列表中找到对应的手势名称，最后用Pillow库将这个结果实时显示在视频窗口上。确保run_edge_app.py文件与gesture-recognition.onnx模型文件在同一个文件夹下。运行该文件，程序会启动计算机所连接的摄像头，并在屏幕上显示一个实时视频窗口。请将你的手放在摄像头前，做出不同的手势（石头、剪刀、布），观察屏幕左上角的识别结果。图3-14在本地计算机上运行的实时手势识别应用本任务将一个在云端训练好的AI模型，通过行业标准的ONNX格式，部署到了本地计算机这个“边缘设备”上。利用OpenCV技术使模型能够处理来自摄像头的实时数据，并即时地将分析结果反馈在屏幕上，完整地体验了边缘计算低延迟、保护隐私（图像数据未上传到云端）的核心优势。本项目体现了云计算和边缘计算并非孤立的技术，而是相辅相成的强大组合。“云边协同”的开发模式，将极大的推进AI智慧应用普及到现实世界各个角落的进程。

【实践报告】项目总结报告项目名称姓名学号小组名称（适合小组项目）实施过程记录测试结果总结后期改进思考成员分工（适合小组项目）姓名职责完成情况组长评分考核评价评价标准：1.执行力：按时完成项目任务。2.学习力：知识技能的掌握情况。3.表达力：实施报告详实、条理清晰。4.创新力：在完成基本任务之外，有创新、有突破者加分。5.协作力：团队分工合理、协作良好，组员得分在项目组得分基础上根据组长评价上下浮动。

房价预测实训手册【项目目标】本项目旨在通过一个完整的房价预测分析任务，引导学生使用真实的二手房数据，体验机器学习解决实际问题的全过程。项目基Python语言，利用Pandas库进行数据预处理，借助Matplotlib工具实现数据可视化，并运用Scikit-learn库构建一元线性回归与多元线性回归模型，分别进行房价预测，实现从数据处理、模型训练到预测结果的完整流程。本项目具体目标如下：（1）了解从原始数据到预测模型的全流程开发步骤；（2）掌握使用Pandas进行数据清洗、筛选与重组的基本方法；（3）掌握使用Matplotlib绘制散点图、柱状图、饼图等，实现数据可视化的能力；（4）掌握使用Scikit-learn构建、训练并调用线性回归模型进行预测的核心技能。注：本项目重点为机器学习回归分析，深度学习相关案例将在项目6、7的项目实训中展开。任务一Pandas基础房价预测实训Pandas一个强大的分析结构化数据的工具集，可以对数据进行运算操作，比如筛选、归并、重组，还有数据清洗和数据加工。Pandas广泛应用在学术、金融、统计学等各个数据分析领域，因此本项目使用Pandas工具对数据进行数据清洗、处理、分析。房价预测实训步骤一：Pandas数据结构以及入门程序Pandas的主要数据结构是Series（一维数据）与DataFrame（二维数据）。Series是一种类似于一维数组的对象，它由一组数据（各种Numpy数据类型）以及一组与之相关的数据标签（即索引）组成。DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame既有行索引也有列索引，它可以被看做由Series组成的字典（共同用一个索引）。下面通过一个入门的Pandas程序来展示数据结构。定义两列数据：班级名称、班级人数，每行数据一共存取3个班级的记录，如图4-12所示。示例代码如下：importpandasaspdmydataset={'班级名称':["人工智能1班","人工智能2班","人工智能3班"],'班级人数':[50,60,70]}myvar=pd.DataFrame(mydataset)print(myvar)图4-12pandas数据步骤二：Pandas数据结构Series使用方法PandasSeries类似表格中的一个列（column），类似于一维数组，可以保存任何数据类型。Series由索引（index）和列组成，函数如下：pandas.Series(data,index,dtype,name,copy)参数说明：data：一组数据(ndarray类型)。index：数据索引标签，如果不指定，默认从0开始。dtype：数据类型，默认会自己判断。name：设置名称。copy：拷贝数据，默认为False。通过定义一个列表a，转为对应Series数据类型，即定义一个列数据。示例代码如下：a=[1,2,3]myvar=pd.Series(a)print(myvar)运行效果如图4-13所示：图4-13Series数据类型如果没有指定索引，会自动添加索引值，索引值就从0开始，可以根据索引值读取数据。importpandasaspda=[1,2,3]myvar=pd.Series(a)print(myvar[1])输出结果值为2在定义数据时，可以自己定义索引值index，读取数据需要根据索引值获取数据。a=["人工智能1班","人工智能2班","人工智能3班"]myvar=pd.Series(a,index=["x","y","z"])print(myvar)print(myvar["y"])运行效果如图4-14所示：图4-14运行结果步骤三：Pandas数据结构dataFrame使用方法PandasdataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值），如图4-15所示。图4-15Pandas数据组成DataFrame既有行索引也有列索引，它可以被看做由Series组成的字典（共同用一个索引），如图4-16所示。图4-16DataFrame与Series关系DataFrame构造方法如下：pandas.DataFrame(data,index,columns,dtype,copy)，参数说明如表4-1所示。表4-1DataFrame构造方法参数说明data一组数据(ndarray、series,map,lists,dict等类型)index索引值，或者可以称为行标签columns列标签，默认为RangeIndex(0,1,2,…,n)dtype数据类型copy拷贝数据，默认为FalsePandasDataFrame是一个二维的数组结构，类似二维数组。下面的代码将一个定义好的列表数据转为DataFrame数据，Pandas可以使用loc属性返回指定行的数据，如果没有设置索引，默认第一行索引为0，第二行索引为1，以此类推。示例代码如下：importpandasaspddata={"班级":["人工智能1班","人工智能2班","人工智能3班"],"人数":[49,60,62]}#数据载入到DataFrame对象df=pd.DataFrame(data)print(df)#返回第一行print(df.loc[0])#返回第二行print(df.loc[1])运行结果如图4-17所示：图4-17DataFrame数据类型任务二数据预处理步骤一：数据读取北京的房价信息表名为bj_house_information.csv，此表通过爬虫爬取的房价数据，包括：朝向,地点,电梯,楼层，小区名称，Id，户型，房屋总价，区域，装修，建筑面积，楼龄等信息，如图4-18所示。图4-18房价信息表名CSV（Comma-SeparatedValues）是一种常用的文本文件格式，用于存储表格数据。它以逗号或制表符作为字段之间的分隔符，每行表示一条记录，记录之间通过换行符分隔。CSV文件可以使用记事本、Excel等常见软件直接打开和编辑，所有记录具有相同的字段结构，适合存储结构化数据。在Python中，一般使用Pandas库来读取和处理CSV文件。Pandas提供了与CSV结构高度兼容DataFrame数据类型，能够方便地进行数据加载、查看与初步分析。代码如下：importpandasaspd#导入二手房数据house_price_df=pd.read_csv('bj_house_information.csv')#打印前5行数据print(house_price_df.head())#打印列名print(house_price_df.columns)运行结果如图4-19所示：图4-19CSV数据可以使用下表的Pandas的数据函数得到对应数据信息，如表4-2所示。表4-2房价Pandas信息打印函数功能house_price_df.describe()给出行数和列数house_price_df.head(3)打印出数据的前3行。house_price_df.tail()打印对应数据的最后5行。house_price_df.loc[8]打印出第八行house_price_df.loc[8,column_1]打印第八行名为「column_1」的列house_price_df.loc[range(4,6)]第4到第6行(左闭右开)的数据子集步骤二：筛选重要字段原始数据集包含12个字段，其中一些字段（如id、楼龄等）对房价的影响较弱，或与预测目标关联性较低。为提高模型效率与可解释性，通常需要进行特征选择，即保留关键字段、移除非必要字段。本步骤演示通过drop()方法删除对房价预测影响较小的列。首先可通过columns属性查看所有字段名称，再根据业务理解与建模需求，选择需删除的字段['Id','朝向','电梯','装修','楼层','小区名称','地点','楼龄']。该操作有助于简化数据集，突出核心特征（如面积、区域、户型等），为后续建模做好准备。代码如下：importpandasaspd#二手房数据house_price_df=pd.read_csv('bj_house_information.csv')#删除一些不重要的列to_drop=['Id','朝向','电梯','装修','楼层','小区名称','地点','楼龄']house_price_df_clean=house_price_df.drop(to_drop,axis=1)#显示列名print(house_price_df_clean.columns)print(house_price_df_clean.head())运行结果如图4-20所示，看到只显示与房价关系大的数据列。图4-20显示与房价关系大的数据列Drop函数其他用法如下：表4-3Drop函数用法函数功能df.drop(5)删除第5行df.drop([1,4])或者df.drop(index=[1,4])删除第1和第4行df.drop(5,axis=1)删除第5列df.drop(['列1','列2'],axis=1)或者df.drop(columns=['列1','列2'])删除第1和第2列步骤三：调整列位置为便于数据查看及后续建模，将预测目标（即“房屋总价”）调整至数据表的首列。这样做既能使目标变量在浏览时更加醒目，也符合一般机器学习任务中特征与标签分开处理的惯例。调整列序后，可进一步输出数据集的总样本量，以帮助了解数据规模。进行列数据位置处理的代码：importpandasaspd#二手房数据house_price_df=pd.read_csv('bj_house_information.csv')#删除一些不重要的列to_drop=['Id','朝向','电梯','装修','楼层','小区名称','地点','楼龄']house_price_df_clean=house_price_df.drop(to_drop,axis=1)#显示列名print(house_price_df_clean.columns)print(house_price_df_clean.head())#重新摆放列位置columns=['房屋总价','建筑面积','区域','户型']house_price_df_clean=pd.DataFrame(house_price_df_clean,columns=columns)print(house_price_df_clean.head())house_total_num=house_price_df_clean['建筑面积'].count()print('房价数据集总数量为:'+str(house_total_num))运行结果如图4-21所示：如图4-21调整重要列数据步骤四：数据清洗为探究房价与面积之间的关系，我们从数据集中提取“建筑面积”与“房屋总价”两列数据，使用Matplotlib的scatter()方法绘制散点图。从散点图中可初步观察到：房价与建筑面积之间大致呈正相关趋势，即随着面积增大，房屋总价整体上升。代码如下：importmatplotlib.pyplotaspltarea=house_price_df_clean['建筑面积']price=house_price_df_clean['房屋总价']#支持中文，如果不加此句将无法显示中文plt.rc('font',family='SimHei',size=13)plt.scatter(area,price)plt.xlabel("建筑面积")plt.ylabel("房屋总价")plt.show()如图4-22房价散点图图4-22中同时可见部分明显异常样本，如“建筑面积”为0的记录。这类异常通常源于数据采集错误或信息缺失，若保留在数据集中将干扰模型训练，影响预测准确性，甚至导致后续计算错误，因此必须在建模前予以清洗。为进一步分析，我们可计算房屋单价作为新特征，即房屋单价df['房屋单价']=df['房屋总价']/df['建筑面积']，该特征可用于后续数据筛选与深入分析。#数据清洗df=house_price_df_cleandf['房屋单价']=df['房屋总价']/df['建筑面积']#去除有缺失项的df.dropna(how='any')#去重重复项df.drop_duplicates(keep='first',inplace=True)#一些别墅的房屋单价有异常，删选价格大于25万一平的df=df.loc[df['房屋单价']<25]area=df['建筑面积']price=df['房屋总价']#支持中文，如果不加此句将无法显示中文plt.rc('font',family='SimHei',size=13)plt.rcParams['font.sans-serif']=['SimHei']plt.scatter(area,price)plt.xlabel("建筑面积")plt.ylabel("房屋总价")plt.show()运行结果如图4-23所示：图4-23去掉异常房价散点图任务三数据可视化步骤一：各区域房价统计与条形图展示通过对北京区各区域的二手房的平均价格与数量进行统计，采用竖值条形图进行展示。通过使用df.groupby将所有样本点按照一个或多个属性划分为多个组，按照二手房区域分组对比二手房数量和每平米房价，示例代码如下所示：df_house_count=df.groupby('区域')['房屋总价'].count().sort_values(ascending=False)df_house_mean=df.groupby('区域')['房屋单价'].mean().sort_values(ascending=False)plt.bar主要生成条形图界面，具体参数如表4-4所示：表4-4条形图界面bar参数参数说明类型Xx坐标整形int,浮点型floatHeight条形的高度整形int,浮点型floatWidth条形的宽度0到1之间1，默认为0.8Botton条形的起始位置也是y轴的起始坐标Align条形的中心位置中心“center”,边缘"lege"Color条形的颜色红色“r",蓝色"b",绿色"g",默认为“b"Edgecolor边框的颜色同上Linewidth边框的宽度像素，默认无，整型inttick_label下标的标签可以是元组类型的字符组合Logy轴使用科学计算法表示布尔型BoolOrientation是竖直条还是水平条竖直："vertical"，水平条："horizontal"代码如下：importnumpyasnpimportmatplotlib.pyplotaspltimportmatplotlib#将全局的字体设置为黑体matplotlib.rcParams['font.family']='SimHei'#数据N=5y=[20,10,30,25,15]x=np.arange(N)#绘图x轴，以y值作为条形图的高度。p1=plt.bar(x,height=y,width=0.5)#展示图形plt.show()运行效果如图4-24所示：图4-24简单竖值条形图通过使用subplot设置两个子图对房价进行分析，代码如下：df_house_count=df.groupby('区域')['房屋总价'].count().sort_values(ascending=False)df_house_mean=df.groupby('区域')['房屋单价'].mean().sort_values(ascending=False)plt.figure(figsize=(20,10))plt.rcParams['font.sans-serif']=['MicrosoftYaHei']plt.style.use('ggplot')#各区域二手房数量对比plt.subplot(212)plt.title(u'各区域二手房数量对比',fontsize=20)plt.ylabel(u'二手房总数量（单位：间）',fontsize=15)rect1=plt.bar(df_house_count.index,df_house_count.values,color='c')x=df_house_count.indexy=df_house_count.valuesfora,binzip(x,y):plt.text(a,b+50,b,ha='center')#各区域二手房平均价格对比plt.subplot(211)plt.title(u'各区域二手房平均价格对比',fontsize=20)plt.ylabel(u'二手房平均价格（单位：万/平米）',fontsize=15)#区域名称，每个区域的二手房平均价格rect2=plt.bar(df_house_mean.index,df_house_mean.values,color='c')x=df_house_mean.indexy=df_house_mean.values#将柱子的高度值写在柱子上——改掉实验手册里比较复杂的调用函数fora,binzip(x,y):plt.text(a,b+0.1,round(b,2),ha='center')plt.show()运行结果如图4-25所示：图4-25房价简单竖值条形图步骤二：各区域二手房数量百分比饼图展示使用plt.pie实现画饼状图，将各个区域上的二手房数量百分比进行显示。代码如下：#导入模块importmatplotlib.pyplotasplt#数据labels=["A","B","c","d"]fracs=[15,30,45,10]#画图plt.pie(x=fracs,labels=labels)#展示plt.show()运行结果如图4-26所示：图4-26简单饼图将房价按区域进行单价与数据的显示。importmatplotlib.pyplotaspltplt.rcParams['font.sans-serif']=['MicrosoftYaHei']plt.style.use('ggplot')plt.figure(figsize=(10,10))plt.title(u'各区域二手房数量百分比',fontsize=18)plt.pie(df_house_count,radius=3,autopct='%1.f%%',shadow=True,labels=df_house_count.index)plt.axis('equal')plt.show()运行结果如图4-27所示：图4-27房价饼图任务四线性回归模型训练与预测步骤一：一元线性回归预测房价一元线性回归：线性回归是用法非常简单、用处非常广泛、含义也非常容易理解的一类算法，是机器学习的入门比较容易的一种算法。一元线性回归就是要找一条直线，并且让这条直线尽可能地拟合图中的数据点。因此先根据建筑面积和房屋总价利用一元线性回归拟合一条房价预测曲线。代码如下：#先根据建筑面积和房屋总价训练模型（一元线性回归）fromsklearn.linear_modelimportLinearRegressionimportnumpyasnp#定义自变量：房屋面积；自变量：房屋价格area=df['建筑面积']price=df['房屋总价']area=np.array(area).reshape(-1,1)#这里需要注意新版的sklearn需要将数据转换为矩阵才能进行计算print(area)price=np.array(price).reshape(-1,1)#定义一个线性回归对象linearlinear=LinearRegression()#训练模型，linear需要输入二维数组model=linear.fit(area,price)#打印截距和回归系数：截距就是b，回归系数就是kprint('0:',ercept_,model.coef_)#线性回归可视化(数据拟合)linear_p=model.predict(area)plt.figure(figsize=(12,6))plt.scatter(area,price,c="blue")plt.plot(area,linear_p,'red')plt.xlabel("建筑面积")plt.ylabel("房屋总价")plt.show()运行结果如图4-28所示：图4-28一元线性回归步骤二：多元线性回归预测房价在一元性线回归过程中只考虑了建筑面积和房屋总价之间的关系，但是实际影响房价还有其他很多因素，因此引入四个自变量（['建筑面积','区域','装修','电梯']）进行多元线性回归。1、导入第三方库、读入数据、数据整理importpandasaspdfromsklearn.linear_modelimportLinearRegressionimportnumpyasnpimportmatplotlib.pyplotasplt#二手房数据house_price_df=pd.read_csv('bj_house_information.csv')#册除一些不重要的列to_drop=['Id','楼层','小区名称','地点','楼龄','户型','朝向']house_price_df_clean=house_price_df.drop(to_drop,axis=1)#显示列名print(house_price_df_clean.columns)print(house_price_df_clean.head())#重新摆放列位置columns=['房屋总价','建筑面积','区域','电梯','装修',]house_price_df_clean=pd.DataFrame(house_price_df_clean,columns=columns)print(house_price_df_clean.head())lianjia_total_num=house_price_df_clean['建筑面积'].count()print('房价数据集总数量为:'+str(lianjia_total_num))2、数据清洗#数据清洗df=house_price_df_cleandf['房屋单价']=df['房屋总价']/df['建筑面积']#对汇总数据再次清洗df.dropna(how='any')df.drop_duplicates(keep='first',inplace=True)#inplace=True直接修改df#一些别墅的房屋单价有异常，删选价格大于25万一平的df=df.loc[df['房屋单价']<25]print(df.head())len(df)3、训练数据预处理#汉字到数字的映射字典loc_map={'东城':1,'西城':2,'朝阳':3,'海淀':4,'丰台':5,'石景山':6,'通州':7,'昌平':8,'大兴':9,'亦庄开发区':10,'顺义':11,'房山':12,'门头沟':13,'平谷':14,'怀