大数据平台技术实例教程 课件【ch11】数据应用篇

数据应用篇“新工科建设之路·数据科学与大数据系列大数据平台技术实刚教程第十一章01可视化分析展示配置在完成数据可视化的相关操作时，需要用到此前配置好的Python3、Jupyter等环境。本章的环境部署操作比较简单，读者可还原到快照“ahutOX-ll”进行操作。如果在部署过程中遇到难以解决的错误，可以将镜像还原到快照“ahutOX-12”，跳过环境部署步骤，直接进行相关的可视化实验。在实现数据可视化时，可以使用Jupyter网页编译器编写Python代码，使用方法为：使用远程登录工具MobaXterm,在ahutOl终端中启动PySpark,通过本地浏览器进入JupyterNotebook,编写源代码。除了JupyterNotebook,也可以安装PyCharm编译器来编写Python代码。HBase体系架构及组件02数据可视化概述Matplotlib是Python的一个二维绘图库，已经成为Python中公认的数据可视化工具使用Matplotlib可以轻松地画图，几行代码即可生成折线图、直方图、功率谱图、柱状图饼图、散点图等图形。本章通过以下两种方式搭建可视化环境，读者可任选一种方式运行本章的可视化代码：在集群中安装相关依赖包，并使用JupyterNotebook运行可视化代码。在Windows本地环境中安装相关依赖包，并使用PyCharm运行可视化代码。绘制折线图绘制柱状图绘制直方图绘制散点图绘制饼图绘制极坐标图绘制极坐标图绘制热力图绘制3D图04综合实例——鸢尾花数据集的可视化分析本实例使用scikit-leam包中的datasets数据集，操作前，需要在ahutOI中安装所需要的依赖包，命令如下：[root@ahut01T#pipinstallscikit-leampillow™7.1.2matplotlibseaborn在使用pipinstall安装的过程中可能会出现安装时间过长的问题，可以通过使用pip的国内镜像解决该问题，命令如下：[root@ahut01〜]#pipinstall-ihttps://pypi.tuna.tsinghua,eduxn/siinplescikitJeampillow=7.L2matplotlibseaborn实验环境搭建数据集介绍scikit-learn包中的datasets数据集提供了一些自带的小数据集，其中每个数据集都是一个类似字典的对象。特征数据存储在data成员中，常见的有：莺尾花：load_iris()乳腺癌：load_breast_cancer()手写数字：load_digits()糖尿病：load_diabetes()波士顿房价：load_boston()体能训练：load_linnerud()图像数据：load_sample_Jmage(name)数据可视化(1)从scikit-leam包中的datasets数据集中导入相关数据;(2)为了进一步对数据进行分析，需要将不同类别的数据提取出来。先设置空的列表setosa_list>versicolor_list>verginica_list,再根据target属性值对应的类别对数据进行提取，将各奖数据的结果分别放入对应的列表中；(3)以鸯尾花的花萼长度、花萼宽度为一组，花瓣长度、花瓣宽度为一组，画出3类莺尾花的花萼长度和花萼宽度、花瓣长度和花瓣宽度的分布情况；(4)统计每类莺尾花的花萼长度、花萼宽度、花瓣长度、花瓣宽度的平均值，利用Matplotlib画出折线图。数据可视化(5)基于步骤(4)的数据，利用Matplotlib画出柱状图;(6)统计各类莺尾花数据集的数量情况，利用Matplotlib画出饼图；(7)

Seaborn库提供了一个高级界面，用于绘制丰富的统计图形。下面利用莺尾花不同种类的数据，画出小提琴图来观察数据位置的密度；(8)为了进一步分析数据之间的关联程度，根据