Python人工智能技术与应用 课件 模块2 掌握Python 人工智能的基础应用

《Python人工智能技术与应用》能力模块二

掌握Python人工智能的基础应用任务一认知Python基础命令TaskImport任务导入某专注于汽车行业的传统商业咨询公司计划开发属于自己公司内部的可视化商业智能BI（BusinessIntelligence）产品，可以帮助汽车公司、经销商、零部件供应商等各种汽车行业相关企业进行数据分析和决策支持。你作为团队中的Python助理工程师，你的岗位职责是协助开发团队进行调试、测试等事宜。现你需要为团队搭建好Python的开发环境并运行一些Python的基础命令测试开发环境，方便团队后续对项目的开发。素养目标引导问题的过程中，培养学生形成勤于思考的能力获得分析解决问题以及多元化思考解决问题的方法，形成创新意识。TaskObject任务目标知识目标了解人工智能项目开发方式。了解Python的变量以及变量赋值。了解Python标准数据类型以及数据类型之间的转换。了解Python变量运算及运算符优先级。了解Python的选择和循环语句以及函数。技能目标掌握Python的虚拟环境和环境变量。掌握Python的安装及其环境的搭建。掌握Python编译器JupyterNotebook的安装和启动。培养勤于实践的职业习惯。新

授Python函数06CONTENTS目录Python文件操作07Python安装环境搭建08Python在人工智能中的应用01Python标准数据类型及数据类型转化02Python变量与赋值03Python变量运算及与运算优先级04Python选择和循环语句05机器学习技术原理与流程01（一）人工智能项目开发方式无代码开发人工智能项目是指使用可视化工具来构建和部署人工智能应用，而无需编写代码。常用的平台有GoogleAutoML、BigML、H20.ai、AzureMLStudio。无代码开发

AzureMLStudio的编辑界面机器学习技术原理与流程01（一）人工智能项目开发方式常用的开发人工智能项目的编程语言有Python、Java、C++等编程语言开发人工智能项目无代码开发可以快速构建出一个原型，快速验证设计的想法。但无法实现复杂的功能、可扩展性差，无法满足项目的长期发展需求。学习使用编程语言实现人工智能项目的开发可掌握项目的实现过程，从而更好地改进和调整项目的功能。04Python结构简单比如定义变量时不需要指明数据类型，允许给同一个变量赋值不同类型的数据。深度学习技术的优势与应用（二）Python是最受欢迎的人工智能语言和传统的c/C++、Java、C#等语言相比04Python拥有丰富的数据结构，支持列表、字典、元组等多种数据结构，可以方便地操作和处理数据。Python支持类似NumPy和Pandas的数据处理模块，可以快速处理大量数据。Python还拥有多种数据可视化工具，可以将处理后的数据可视化，更容易理解和分析数据。强大的数据处理能力Python拥有强大的数据处理能力，可以帮助开发者快速处理大量数据，提高工作效率满足各种复杂的数据处理需求。深度学习技术的优势与应用（二）Python是最受欢迎的人工智能语言04跨平台性:支持Linux、Windows、MacosX等操作系统。兼容性:支持x86、ARM和Powerpc等处理器架构。优秀的跨平台性和兼容性Python具有良好的跨平台性和兼容性，使得人工智能项目的开发和部署可以在多种操作系统上运行，并且可以在不同的处理器架构上运行。深度学习技术的优势与应用（二）Python是最受欢迎的人工智能语言机器学习的分类方法02随着人工智能技术的飞速发展，Python编程语言成了实现人工智能的最佳选择。表中罗列了学习人工智能技术需要掌握的Python相关知识。Python基础知识语法、变量、数据类型、控制结构、函数、类、模块等Python数据科学库NumPy、Pandas、Matplotlib、SciPy等机器学习和深度学习库Scikit-Learn、TensorFlow、Keras等计算机视觉库OpenCV、Pillow、scikit-image等自然语言处理库NLTK、StanfordNLP、Gensim等语音识别库SpeechRecognition、PyAudio等

人工智能相关的Python知识（三）人工智能相关的Python知识机器学习的分类方法02在Python中，一系列类、函数会封装在模块中，构成一个个优秀的库（Library），方便使用者在各种场合使用。简而言之就是指封装特定的功能，完成特定任务的文件。（三）人工智能相关的Python知识标准库（StandardLibrary）第三方库（ThirdLibrary）Python标准数据类型及数据类型转换02Python数据类型转换函数描述int(x[,base])将x转换为一个整数float(x)将x转换到一个浮点数complex(real[,imag])创建一个复数str(x)将对象x转换为字符串repr(x)将对象x转换为表达式字符串eval(str)用来计算在字符串中的有效Python表达式，并返回一个对象tuple(s)将序列s转换为一个元组list(s)将序列s转换为一个列表set(s)转换为可变集合dict(d)创建一个字典。d必须是一个(key,value)元组序列。frozenset(s)转换为不可变集合chr(x)将一个整数转换为一个字符ord(x)将一个字符转换为它的整数值hex(x)将一个整数转换为一个十六进制字符串oct(x)将一个整数转换为一个八进制字符串（一）标准数据类型标准数据类型是指编程语言中定义的一组有限的数据类型，它们用于定义一个程序中的变量、常量、表达式等。它们的作用是提供给程序员一种方便的方式来表示和操作数据，从而提高程序的可读性和可维护性。Python标准数据类型及数据类型转换02（二）Python标准数据类型整型（int）

浮点型（float）字符串（str）布尔型（bool）

列表（list）

元组（tuple）字典（dict）等存储在内存中的数据可以有多种类型。例如，一个人的年龄存储为一个数值，他或她的地址存储为字母数字字符。

在Python中每一个变量都有指定的变量类型，即Python标准数据类型，用于定义数据可能进行的操作以及每种数据的存储方法。Python标准数据类型Python标准数据类型及数据类型转换02（二）Python标准数据类型用于存储数值

类似于List（列表）

集合类的数据结构

最灵活的内置数据结构由数字、字母、下划线组成数字字符串列表元组字典例：var1=1，var2=10例：s

=

'ilovepython'例：list

=

['apple',

'jack',

798,

2.22,

36]例：Tuple=("a","b","c","d")Tuple=([1,2,3],"a",3,)例：dict={'name':'yqq','school':'bj','age':25}Python标准数据类型及数据类型转换02（二）Python标准数据类型对数据内置的类型进行转换，数据类型的转换，一般情况下只需要将数据类型作为函数名即可。Python数据类型转换可以分为两种隐式类型转换和显示类型转换：数据类型转换隐式数据类型转换显式数据类型转换Python标准数据类型及数据类型转换02（二）Python标准数据类型通过使用int()、float)、strl)等预定义函数，限制已定义类型变量的类型，来执行显式类型转换。显式数据类型转换例如对两种不同类型的数据进行运算，较低数据类型(整数)就会自动转换为较高数据类型(浮点数)以避免数据丢失。隐式数据类型转换Python隐式类型转换示例Python变量与赋值03在编程语言中，将数据放入变量的过程叫做赋值（Assignment）。Python使用等号=作为赋值运算符，例如这里的a=3。赋值可以看成一个小箱子，专门用来“盛装”程序中的数据。每个变量都拥有独一无二的名字，通过变量的名字就能找到变量中的数据，这里a是变量的名字，3是存放在这个变量中的数据。变量Python变量赋值——将“3”赋值到“a”中Python变量运算及与运算优先级04运算符说明Python运算符优先级算术运算符+、-、*、/、%、//从左至右比较运算符==、!=、<、>、<=、>=从左至右赋值运算符=、+=、-=、*=、/=从右至左逻辑运算符and、or、not从左至右成员运算符in、notin从左至右是指使用变量来完成数学计算的过程。Python变量运算包括加减乘除、取余、比较运算等。Python运算符也称Python操作符，主要包含有算术运算符、比较运算符、赋值运算符、逻辑运算符、成员运算符。变量运算又称变量操作Python主要运算符优先级说明Python变量运算及与运算优先级04优先级排序括号比较运算符逻辑运算符成员运算符算术运算符赋值运算符Python选择和循环语句05Python中的选择和循环语句是用来控制程序的执行流程，它们可以让程序在特定条件下执行不同的操作，提供了一种通过条件来控制代码执行顺序的方法，从而实现更复杂的功能。Python选择和循环语句05（一）选择语句if语句elif语句else语句if语句检查一个条件，如果条件为真，则执行相应的代码块，如果条件为假，则跳过代码块。lif语句用于检查其他条件，如果条件为真，则执行相应的代码块，如果条件为假，则跳过代码块。else语句用于在所有条件都不满足的情况下执行代码块。Python选择和循环语句05（二）循环语句while语句for语句while循环检查一个条件，如果条件为真，则重复执行代码块，直到条件为假。for循环用于遍历一个集合中的每个元素，每次循环都会执行一次代码块，直到遍历完所有元素。Python函数06函数是一个可以接收输入，并返回一个输出的可重复使用的代码块。函数可以组织代码，减少重复，并使程序更容易维护和调试。函数参数函数体返回值Python函数关键概念内建函数，比如print()提供创建函数的功能，即用户自定义函数Python函数有两类函数机器学习的分类方法02函数体是函数定义中的一部分，用于定义函数执行的功能，函数体可以包含多条语句，也可以是空语句。倒数第二层是函数定义时声明的变量，用于接收外部传入的实参值，以便在函数体内使用。最上层函数返回值是函数执行的结果，可以是任何类型的值，也可以是空值，用于指示函数的执行结果，以便调用者可以根据返回值作出相应的处理。最底层Python用户自定义函数的结构Python文件操作07文件的输入（Input）和输出（Output）功能，即编程语言中的文件I/O功能。比如把用键盘来敲代码看作输入，那对应的输出便是显示器显示图案，磁盘中的I/O指的是硬盘和内存之间的输入输出。计算机程序Python程序程序计算机中文件

文件可以长久保存数据将程序中的数据输出到文件中Output从文件中读取数据输入到程序中：InputPython文件的输入与输出（文件I/O流程）深度学习技术原理与常用算法07

Python提供了I/O函数，实现文件的基本操作，比如打开文件、读取和追加数据、插入和删除数据、关闭文件、删除文件等。Python常用文件操作及其解释说明Python文件操作解释说明打开/关闭文件使用open()函数打开文件，使用close()函数关闭文件读写文件使用read()函数读取文件，使用write()函数写入文件查找文件使用os.walk()函数查找文件文件复制使用shutil.copy()函数复制文件文件移动使用shutil.move()函数移动文件删除文件使用os.remove()函数删除文件Python安装环境搭建（一）Python环境变量和虚拟环境08Windows和DOS操作系统中的PATH环境变量，当要求系统运行一个程序而没有告诉它程序所在的完整路径时，系统除了在当前目录下面寻找此程序外，还应到PATH中指定的路径去找。用户通过设置环境变量，当在系统中从命令行运行任何非默认程序时，机器会在当前文件夹或WindowsPATH中查找可执行文件，使得用户无需在每一次运行程序的时候输入程序的完整路径。运行Pvthon的时候同样如此，需要在Windows操作系统上将Pvthon添加到PATH，才可以运行Pvthon解释器、启动虚拟编程环境。Python环境变量环境变量是描述环境的变量，是指在操作系统中用来指定操作系统运行环境的变量。它包含了一个或者多个应用程序所将使用到的信息。Python安装环境搭建（一）Python环境变量和虚拟环境08Python虚拟环境虚拟环境是一个包含了特定Python解析器以及所依赖的特定版本的第三方库，不同的应用程序可以使用不同的虚拟环境，从而解决了依赖冲突问题，而且虚拟环境中只需要安装应用相关的包或者模块，可以给部署提供便利。虚拟环境解释说明virtualenvvirtualenv是一个创建独立Python环境的工具，它可以在不同的项目之间分隔和隔离Python环境。condaconda是一个开源的包管理系统，可以安装，运行和管理多个Python版本的软件包及其依赖关系。pyenvpyenv是一个Python版本管理工具，可用于在不同的Python版本之间切换，并且可以轻松地将应用程序部署到不同的环境中。Python函数06集成开发环境（IntegratedDevelopmentEnvironment，IDE）是一种软件工具，用于支持软件开发人员编写、组织、测试和调试代码。IDE通常提供一个集成的用户界面，以帮助开发人员更容易地编写、调试和测试代码。AnacondaPyCharmSpyderPython的集成开发环境（IDE）为开发者提供了一系列灵活的工具（二）Python集成开发环境Python安装环境搭建08Anaconda兼容性强，在Windows、MacOSX和Linux上都可以运行，支持Python2.7和Python3.5及更高版本。Anaconda提供了一个可以使用简单pip命令和conda命令安装第三方包的环境，可以用来编写和调试Python程序。Anaconda还提供了一个JupyterNotebook，可以用来创建和共享文档，其中包含代码、数学方程、可视化和更多内容。AnacondaAnaconda是一个由ContinuumAnalytics开发的Python发行版，它包含了conda、Python等180多个第三方库。Anaconda的目标是简化包管理和部署。（二）Python集成开发环境Python安装环境搭建08JupyterNotebook提供了一个环境，可以在其中记录代码，运行代码，查看结果，可视化数据并在查看输出结果。JupyterNotebook成为一款执行端到端数据科学工作流程的便捷工具，可以用于数据清理，统计建模，构建和训练机器学习模型，可视化数据以及许多其他用途。

JupyterNotebook是当前应用最广泛的人工智能项目程序运行工具。JupyterNotebookJupyterNotebook是一个交互式编程环境，可以用来创建和共享文档，其中包含代码，数学方程，可视化和文本。同时可创建并共享代码和文档。（二）Python集成开发环境JupyterNotebook工具特点《Python人工智能技术与应用》任务二完成Python网络爬虫实训NEXT：《Python人工智能技术与应用》能力模块二

掌握Python人工智能的基础应用任务二完成Python网络爬虫实训TaskImport任务导入

BI产品需要大量的高质量的数据，该商业咨询公司已拥有的数据量无法形成较大的数据规模，现需要解决数据的来源问题。你作为该公司商业智能团队中的Python爬虫工程师，你的主要职责是开发和维护一个自动化的爬虫系统，从互联网上获取大量的数据。素养目标引导问题的过程中，培养学生形成勤于思考的能力获得分析解决问题以及多元化思考解决问题的方法，形成创新意识。TaskObject任务目标知识目标认识网络爬虫的基本流程。了解Python爬虫工具库及其使用方法。了解Python实现网络爬虫的流程及其Python实现。掌握使用Selenium库实现对汽车之家网站的连接和访问。技能目标掌握使用Lxml库实现对汽车之家网站的解析。掌握使用xlswriter实现对爬取后的汽车之家口碑数据进行保存。能够思考确定Python爬取汽车之家口碑数据的整体思路，培养开拓进取的职业态度。新

授CONTENTS目录网络爬虫基本流程01常见Python爬虫工具库02爬取汽车之家口碑数据项目实训0301难以满足不同用户的检索目的和需求有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾图片、数据库、音频、视频多媒体等不同数据的发现和获取基于关键字的检索难以支持基于语义信息的查询。网络爬虫基本流程搜索引擎可以帮助人们检索信息，如百度、搜狗、谷歌等，但也存在一定的局限性。01网络爬虫基本流程网络爬虫（又称网页蜘蛛，网络机器人，在FOAF社区中间，更经常地被称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网络爬虫是一种程序，可以自动化地从互联网上收集信息。确定要爬取的网站和页面发送HTTP请求解析HTML内容提取数据存储数据循环迭代网络爬虫概念网络爬虫基本流程01网络爬虫基本流程当目标网站响应请求时，它会返回一个HTML文档。你需要解析HTML文档，以提取你感兴趣的信息。Python中常用的解析库有BeautifulSoup和Ixml等。解析HTML内容一旦你解析了HTML内容，你需要提取你需要的数据。你可以使用Pvthon中的正则表达式或解析库提供的工具来查找和提取信息。提取数据首先，你需要确定要爬取的网站和页面。你可以选择从一个或多个网站开始，然后选择要爬取的页面。确定要爬取的网站和页面在开始爬取之前,需要向目标网站发送HTTP请求。这可以通过使用Python中的请求库(例如Requests库)来完成。你需要向目标网站发送请求，并等待它们响应。发送HTTP请求01网络爬虫基本流程首先，你需要确定要爬取的网站和页面。你可以选择从一个或多个网站开始，然后选择要爬取的页面。确定要爬取的网站和页面在开始爬取之前,需要向目标网站发送HTTP请求。这可以通过使用Python中的请求库(例如Requests库)来完成。你需要向目标网站发送请求，并等待它们响应。发送HTTP请求网络爬虫的基本流程示意图常见Python爬虫工具库02（一）Selenium库序号描述命令1创建一个Chrome浏览器对象driver=webdriver.Chrome()2打开指定的网页driver.get(url)3查找一个网页元素，通过XPath定位element=driver.find_element_by_xpath(xpath)4查找一个网页元素，通过CSS选择器定位element=driver.find_element_by_css_selector(css_selector)5在网页元素中输入文本element.send_keys(keys)6单击网页元素element.click()7在浏览器中执行JavaScript代码driver.execute_script(script)8获取当前网页源代码driver.page_source9返回上一个网页driver.back()Python的Selenium库是一个用于自动化测试和网页爬取的工具，它可以模拟用户在浏览器中的操作，如打开网页、填写表单、点击按钮等，可以对JavaScript生成的内容进行操作，并获取网页中的数据。右表为Selenium库操作流程。常见Python爬虫工具库02（二）Lxml库Python的Lxml库是一个用于处理XML和HTML文档的Python库，它是基于C实现的，具有高性能和高效率的特点。Lxml库提供了ElementTreeAPI的增强版，支持XPath和CSS选择器等高级功能，能够对XML和HTML文档进行解析、修改和生成等操作。右表为Lxml库操作流程。序号描述命令1导入lxml库中的etree模块fromlxmlimportetree2将HTML字符串转换为lxml.etree._Element对象etree.HTML(html_string)3将HTML文件解析为lxml.etree._ElementTree对象etree.parse(file_path)4在元素中使用XPath表达式搜索子元素并返回结果列表etree.xpath(xpath_expression)5获取元素的指定属性值etree.get('attribute_name')6获取元素的文本内容etree.text7获取元素的标签名称etree.tag8获取元素的父元素etree.getparent()9查找所有具有指定标签名称的子元素etree.findall('tag_name')10查找第一个具有指定标签名称的子元素etree.find('tag_name')11返回元素的迭代器，可以使用for循环遍历子元素etree.iter()12返回元素的子元素列表etree.getchildren()13将元素及其子元素序列化为字符串etree.tostring(element)14将元素及其子元素序列化为Unicode字符串etree.tostring(element,encoding='unicode')常见Python爬虫工具库02（三）xlsxwriter库xlsxwriter是Python的第三方库，用于在Excel文件中创建和编辑电子表格。它提供了许多功能，如自动调整列宽、格式化单元格、插入图表和公式等。右表为xlsxwriter库操作流程。序号描述指令1安装xlswriterpipinstallXlsxWriter2创建Excel文件#创建一个新的Excel文件workbook=xlsxwriter.Workbook('example.xlsx')3创建工作表#创建一个名为“Sheet1”的工作表worksheet=workbook.add_worksheet('Sheet1')4编写数据#写入数据到单元格(A1)worksheet.write('A1','Hello')5指定单元格格式#创建文本格式对象text_format=workbook.add_format({'num_format':'@'})#在单元格(A2)写入文本，并应用文本格式worksheet.write('A2','World',text_format)#创建数字格式对象num_format=workbook.add_format({'num_format':'0.00'})#在单元格(B1)写入数字，并应用数字格式worksheet.write('B1',123.456,num_format)6保存Excel文件#关闭Excel文件workbook.close()03汽车之家是一个汽车行业门户网站，它提供了广泛的汽车信息，包括汽车口碑数据。汽车之家的口碑数据是基于用户提交的评论、评分和其他数据编制的。可采用如下方式实现案例：爬取汽车之家口碑数据项目实训（一）实现思路使用Selenium打开汽车之家网站

使用Lxml库解析网页

将数据保存到excel文件03爬取汽车之家口碑数据项目实训（二）实现流程使用Selenium打开汽车之家网站，获取页面的HTML源码创建一个ChromeOptions对象，并添加了一些参数来配置浏览器选项；通过指定ChromeDriver的路径和选项来创建一个WebDriver对象，用它来控制浏览器进行打开指定网页和获取网页HTML代码的操作；通过XPath解析器lxml.html.fromstring()将HTML代码转换成可操作的树形结构，返回给调用者。03爬取汽车之家口碑数据项目实训（二）实现流程使用Lxml库解析网页使用Lxml库中的tree.xpath方法解析汽车之家网页数据的车系名称、购买车型、用户名称、综合口碑得分等。将数据保存到excel文件使用xlswriter的Workbook、add_worksheet、activate的方法将数据保存到excel。《Python人工智能技术与应用》任务三

Python数据探索性分析NEXT：《Python人工智能技术与应用》能力模块二

掌握Python人工智能的基础应用任务三

Python数据探索性分析TaskImport任务导入解决了产品开发和数据来源的问题，BI产品的最后一步是进行数据探索性分析，通过对数据进行探索，更好地理解客户、发现业务机会、帮助决策制定等。

作为该商业咨询公司商业智能团队中的Python数据分析师，你的主要职责是使用Python编程语言和数据分析工具来处理和分析大量数据，具体包括数据清洗和预处理、数据分析和建模、可视化和报告等，现在需要你通过使用Python脚本在该BI产品中对数据进行探索性分析,确定影响汽车销售量价格、保险费用等关键因素，了解汽车市场的潜在需求和趋势，为汽车市场研究和市场策略制定提供支持。素养目标引导问题的过程中，培养学生形成勤于思考的能力获得分析解决问题以及多元化思考解决问题的方法，形成创新意识。TaskObject任务目标知识目标了解数据探索性分析的定义。了解数据探索性分析的流程。了解Python实现数据探索性分析的常用库。能够判断数据集特征的类别。技能目标掌握使用matplotlib实现对不同类别数据的可视化。掌握使用numpy库、Pandas库实现对数据的缺失值、异常值、变量相关关系的洞察.能够思考并确定对汽车产品数据探索性分析的思路。在实践中培养决策分析的职业能力。新

授Python实现数据探索性分析的常用库05CONTENTS目录汽车产品数据探索性分析项目实现06数据探索性分析技术认知01数据分类02数据可视化03洞察数据0401数据探索性分析技术认知数据探索性分析主要用于查看哪些数据可以揭示超出常规建模或假设检验任务的洞察，帮助更好地理解数据集变量以及它们之间的关系；数据探索性分析是成功实现人工智能与机器学习的第一步；数据是用来描述特定事物或概念的信息，可以是文本、数字、图像或其他形式的信息；探索性数据分析被数据科学家用于分析和调查数据集并总结其主要特征，通常采用数据可视化方法；01数据探索性分析技术认知探索报表数据的趋势数据分类02数据探索性分析步骤探索性数据分析的过程大致分为3步:数据分类、数据可视化、洞察数据。数据分类02在数据科学领域，一般将数据分为结构化数据和非结构化数据。而对应地，非表格形式组织的都是非结构化数据。例如：文本、图片、视频等。世界上20%数据是结构化数据，80%的数据是非结构化数据。非结构化数据结构化数据指的是能够用表格来组织的数据。例如：Excel里的数据、数据库MySQL里的数据等。结构化数据

结构化数据VS非结构化数据数据分类02结构化数据结构化数据定类等级定比等级定序等级定距等级定性数据定量数据数据分类02结构化数据在定类等级的基础上加了自然排序，这样我们就可以对不同数据进行比较。例如：餐厅的评星，公司的考核等级。定序等级是数据的第一个等级，其结构最弱。只需要按照名称来分类。例如：血型（A,B,AB,O）、姓名、颜色。定类等级数据的4个等级示意数据分类02结构化数据是在定距等级的基础上，加入了绝对零点，不但可以做加减的运算，还可以做乘除的运算。例如：金钱、重量。定比等级一定是数值类型的，并且这些数值不仅可以用来排序，还可以用来加减。例如：华氏度、摄氏度（温度有负数，不可以进行乘除运算）。定距等级数据的4个等级示意数据可视化03

数据可视化是一种将数据抽象成图表或图形的过程，它可以帮助人们更容易理解数据，从而更快捷地分析出数据中的趋势和模式。用于表示一组数据的分布情况，可以很直观地看出每个分组所占的比例。饼图数据可视化03

数据可视化是一种将数据抽象成图表或图形的过程，它可以帮助人们更容易理解数据，从而更快捷地分析出数据中的趋势和模式。用于表示一组数据的分布情况，可以很直观地看出每个分组的大小。条形图数据可视化03

数据可视化是一种将数据抽象成图表或图形的过程，它可以帮助人们更容易理解数据，从而更快捷地分析出数据中的趋势和模式。用于表示两个变量之间的关系，比如时间与价格之间的关系或者不同产品之间的销量关系。拆线图数据可视化03

数据可视化是一种将数据抽象成图表或图形的过程，它可以帮助人们更容易理解数据，从而更快捷地分析出数据中的趋势和模式。箱线图是一种用于表示数据分布情况的图表，它由一个箱子和两条线组成箱线图03不同数据等级对应的可视化方法数据可视化数据等级属性描述性统计图表定类离散、无序频率占比、众数条形图、饼图定序有序类别、比较频率、众数、中位数、百分位数条形图、饼图定距数字差别有意义频率、众数、中位数、均值、标准差条形图、饼图、箱线图定比连续均值、标准差条形图、曲线图、饼图、箱线图04缺失值：如果数据中存在缺失值，可能会导致模型的结果不准确，或者无法获得正确的结论。例如，在分析一个用户的消费行为时，如果某个用户的收入数据缺失，则无法准确判断该用户的消费能力。异常值：如果数据中存在异常值，可能会导致模型的结果不准确，或者无法获得正确的结论。例如，在分析一个用户的消费行为时，如果某个用户的收入数据存在异常值，则无法准确判断该用户的消费能力。重复值：如果数据中存在重复值，可能会导致模型的结果不准确，或者无法获得正确的结论。例如，在分析一个用户的消费行为时，如果某个用户的收入数据存在重复值，则无法准确判断该用户的消费能力。洞察数据（一）检查数据中是否存在缺失值、异常值或重复值04例如，一家公司想要探究为什么他们的产品销量不佳，那么他们应该先区分出对于销量最重要的数据，比如产品价格、宣传渠道、产品质量等，而不重要的数据就可以忽略，比如产品的颜色、外观等。洞察数据（二）区分重要数据

区分出重要与不重要的数据对于探究问题至关重要，因为这样可以更好地把握关键信息，更加准确地分析出问题的根源，从而给出更有效的解决方案。04（三）探究数据之间的关联洞察数据探究数据之间的关联可以帮助我们更好地了解数据之间的联系，从而更好地理解数据的分布特点，并有针对性地对数据进行分析和处理。例如，假设我们正在研究一个城市的人口变化，我们可以通过探究不同年龄段人口数量的变化，以及不同性别人口数量的变化，来探究城市人口的变化趋势，并从中分析出相关的结论。Python实现数据探索性分析的常用库05（一）Matplotlib库实现数据的可视化Matplotlib库Matplotlib是一个强大的数据可视化的Python库，在数据探索性分析中可以帮助用户快速可视化数据，从而更好地理解数据的特征和分布。Matplotlib提供了一系列用于绘制图形的函数和工具。它可以用于创建各种各样的2D图表，包括线型图，条形图，散点图，折线图，饼图，直方图，箱形图，热图等。它还可以用于创建3D图形。Python实现数据探索性分析的常用库05（一）Matplotlib库实现数据的可视化功能命令导入matplotlib库importmatplotlib.pyplotasplt画图plt.plot()设置图形大小plt.figure(figsize=(x,y))设置标题plt.title()设置坐标轴标签plt.xlabel()、plt.ylabel()设置坐标轴刻度plt.xticks()、plt.yticks()设置图例plt.legend()设置网格线plt.grid()显示图形plt.show()Matplotlib基础功能及其命令Python实现数据探索性分析的常用库05（一）Matplotlib库实现数据的可视化Matplotlib绘制不同类型的图形图形类型绘制函数直方图matplotlib.pyplot.hist()折线图matplotlib.pyplot.plot()散点图matplotlib.pyplot.scatter()饼图matplotlib.pyplot.pie()条形图matplotlib.pyplot.bar()箱线图matplotlib.pyplot.boxplot()Python实现数据探索性分析的常用库05（二）Numpy库和Pandas库实现数据的洞察Numpy可以用来执行快速的数据分析和探索性分析。例如快速计算统计量，计算矩阵运算，以及处理复杂的数据结构。它还可以用来进行数据可视化，以及创建更复杂的数据可视化，以及利用其他类库进行更复杂的数据分析。NumPy基础Numpy支持二维数组（2DArray）三维数组（3DArray）一维数组（1DArray）Python实现数据探索性分析的常用库05（二）Numpy库和Pandas库实现数据的洞察NumPy基础Numpy数组结构图Numpy数组定义图Python实现数据探索性分析的常用库05（二）Numpy库和Pandas库实现数据的洞察ndarrary是NumPy中专门用于操作数组的模块，通过ndarrary可实现数组之间的基本算术运算与索引、切片等高级运算。ndarrary基础操作数组的创建：numpy.empty，numpy.zeros，numpy.ones数组的算术运算：numpy.arrary.sum()、numpy.arrary.max()、numpy.arrary.min()等。数组的索引和切片：arrary[2:7:2]、arrary[1:]、arrary[2:5]数组的属性查询：numpy.arrary.dtype、numpy.arrary.ndim、numpy.arrary.size等。Python实现数据探索性分析的常用库05（二）Numpy库和Pandas库实现数据的洞察Pandas是一个强大的数据分析库，它可以帮助用户从原始数据中提取有用的信息，并将其转换为更容易理解的形式。Pandas可以用来清洗和准备数据，以及对数据进行汇总、聚合、排序和绘图等操作。Pandas还允许用户从数据中提取模式和趋势，从而帮助他们做出更好的决策。Pandas基础

Pandas中DataFrame数据框和Series数据序列处理结构图Python实现数据探索性分析的常用库05（二）Numpy库和Pandas库实现数据的洞察Pandas的基础数据结构是Series和DataFrame。Series是一种一维的数据结构，由一组数据和一组与之相关的数据标签（索引）组成。DataFrame是一种二维的数据结构，由一组有序的列和一组带标签的行组成。Pandas基础

Series代码形式示例例子代码形式时间为索引的温度序列pd.Series([20,22,24,26,28],index=['2020/1/1','2020/1/2','2020/1/3','2020/1/4','2020/1/5'])城市人口序列pd.Series([20000,30000,40000,50000,60000],index=['北京','上海','广州','深圳','杭州'])电影评分序列pd.Series([9.2,8.5,8.9,7.8,6.5],inde