Python财经应用-编程基础、数据分析与可视化课件 第4章-第4章使用模块和库编程-4.4常见第三方库的使用

Python财经应用：编程基础、数据分析与可视化第四章使用模块和库编程中国农业大学李辉01

模块的使用与创建02

包的创建与使用03

常见标准库的使用04

常见第三方库的使用05

财经数据获取与分析库01

模块的使用与创建02

包的创建与使用03

常见标准库的使用04

常见第三方库的使用05

财经数据获取与分析库4.4常见第三方库的使用第四章使用模块和库编程Python语言有数十万第三方库，覆盖几乎所有的信息技术领域。这些第三方库是由专家、工程师和爱好者开发和维护。这些第三方库构成了Python计算生态。通过PyPI官网（/）可以查找和浏览第三方库的基本信息。了解要使用的第三方库的基本信息后，这些第三方库需要先安装才能使用。有多种方式对这些第三方库进行安装和管理。本章重点介绍使用pip安装和管理Python第三方库。常见第三方库的使用常见第三方库的使用——第三方库的安装下载和安装第三方模块使用Python提供的包管理工具pip命令实现：参数说明如下：命令：用指定要执行的命令。常用命令有install（用于安装第三方模块）、uninstall（用于卸载已经安装的第三方模块）、list（用于显示已经安装的第三方模块）等。模块名：可选参数，用于指定要安装或者卸载的模块名，当命令为install或者uninstall时不能省略。pip<命令>[模块名]常见第三方库的使用——第三方库的安装例如：安装第三方的NumPy模块（用于科学计算）。首先，定位到pip.exe所在目录，它通常在Python的安装根目录下的Scripts文件夹路径中，然后，在命令窗口中输入以下代码：执行上述代码时，将在线安装NumPy模块，安装完成之后，将显示以下界面。pipinstallnumpy常见第三方库的使用——第三方库的安装利用pip进行包的安装、升级、卸载：1）指定安装的软件包版本，通过使用==、>=、<=、>、<来指定一个版本号。pip

install

pandas==2.02）升级包，升级包到当前最新的版本，可以使用-U或者–upgrade。pip

install

-U

pandas3）搜索包。pip

search

"pandas"常见第三方库的使用——第三方库的安装利用pip进行包的安装、升级、卸载：4）列出已安装的包。

pip

list5）卸载包。pip

uninstallpandas常见第三方库的使用——第三方库的安装利用pip进行包的安装、升级、卸载：6）导出包到文本文件，可以用pipfreeze>

requirements.txt，将需要的模块导出到文件里，然后在另一个地方pipinstall-rrequirements.txt再导入。当某个包安装完毕后，可在PyCharm中，可以通过“File”“Settings”查看已经安装包常见第三方库的使用——科学计算与数据可视化分析库科学计算与数据分析库1.NumPyNumPy（NumericalPython）是Python的一种开源的数值计算扩展，可用来存储和处理大型矩阵，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。NumPy包括一个强大的N维数组对象Array；比较成熟的（广播）函数库；用于整合C/C++和Fortran代码的工具包；实用的线性代数、傅里叶变换和随机数生成函数。NumPy库是Python的数值计算扩展，其内部使用C语言编写，对外采用Python语言进行封装，因此基于NumPy的Python程序可以达到接近C语言的处理速度。NumPy是其他Python数据分析库的基础依赖库，已经成为科学计算事实上的“标准库”。许多科学计算库（包括Matplotlib、Pandas、Scipy和Sympy等）均基于NumPy库。通过在Windows命令行界面执行“pipinstallnumpy”命令可以安装最新版本的NumPy及其依赖包。常见第三方库的使用——科学计算与数据可视化分析库科学计算与数据分析库2.ScipyScipy是一个开源的Python算法库和数学工具包，基于NumPy的科学计算库，用于数学、科学、工程学等领域，很多有一些高阶抽象和物理模型需要使用Scipy。Scipy包含的模块有最优化、线性代数、积分、插值、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算。常见第三方库的使用——科学计算与数据可视化分析库科学计算与数据分析库3.PandasPandas是Python语言的一个扩展程序库，用于数据分析。Pandas是一个开放源码、BSD许可的库，提供高性能、易于使用的数据结构和数据分析工具。Pandas名字衍生自术语“paneldata”（面板数据）和“Pythondataanalysis”（Python数据分析）。Pandas一个强大的分析结构化数据的工具集，基础是NumPy（提供高性能的矩阵运算）。Pandas可以从各种文件格式比如CSV、JSON、SQL、MicrosoftExcel导入数据。Pandas可以对各种数据进行运算操作，比如归并、再成形、选择，还有数据清洗和数据加工特征。通过在Windows命令行界面执行“pipinstallpandas”命令可以安装最新版本的Pandas及其依赖包。常见第三方库的使用——科学计算与数据可视化分析库数据可视化库1.MatplotlibMatplotlib是提供数据绘图功能的Python第三方库，广泛用于科学计算的二维数据可视化，可以绘制100多种的数据可视化效果。通过在Windows命令行界面执行“pipinstallmatplotlib”命令可以安装最新版本的Matplotlib及其依赖包。2.SeabornSeaborn是基于Matplotlib进行再封装开发的第三方库，并且支持NumPy和Pandas。Seaborn能够对统计类数据进行有效的可视化展示，它提供了一批高层次的统计类数据的可视化展示效果。通过在Windows命令行界面执行“pipinstallseaborn”命令可以安装最新版本的Seaborn及其依赖包。常见第三方库的使用——科学计算与数据可视化分析库数据可视化库3.PyechartsPyecharts是一个用于生成Echarts图表的类库。Echarts是百度开源的一个数据可视化库，用Echarts生成的图可视化效果非常棒。使用Pyecharts库可以在Python中生成Echarts数据图。4.VTKVTK（/）是一套三维的数据可视化工具，它由C++编写，包涵了近千个类帮助我们处理和显示数据。它在Python下有标准的绑定，不过其API和C++相同，不能体现出Python作为动态语言的优势。因此开发了一套TVTK库对标准的VTK库进行包装，提供了Python风格的API、支持Trait属性和NumPy的多维数组。常见第三方库的使用——科学计算与数据可视化分析库数据可视化库5.MayaviMayavi基于VTK开发的Python第三方库，可以方便快速绘制三维可视化图形。Mayavi也称为Mayavi2。通过在Windows命令行界面执行“pipinstallmayavi”命令可以安装最新版本的Mayavi及其依赖包。常见第三方库的使用——科学计算与数据可视化分析库用户图形界面（GUI）相关库1.PyQtPyQt是一个创建GUI应用程序的工具包。它是Python编程语言和Qt库的成功融合。Qt库是最强大的库之一。pyqt实现了一个Python模块集。它有超过300类，将近6000个函数和方法。它是一个多平台的工具包，可以运行在所有主要操作系统上，包括UNIX、Windows和macOS。常见第三方库的使用——科学计算与数据可视化分析库用户图形界面（GUI）相关库2.wxPythonwxPython是一个用于wxWidgets（用C++编写）的Python包装器，这是一个流行的跨平台GUI工具包。由RobinDunn和HarriPasanen共同开发，wxPython被实现为一个Python扩展模块。它可以从官方网站下载。wxPythonAPI中的主要模块包括一个核心模块。它由wxObject类组成，它是API中所有类的基础。wxPythonAPI具有GDI（图形设备接口）模块。它是一组用于绘制小部件的类。像字体，颜色，画笔等类是其中的一部分。所有容器窗口类都在Windows模块中定义。通过在Windows命令行界面执行“pipinstallwxPython”命令可以安装最新版本的wxPython及其依赖包。常见第三方库的使用——科学计算与数据可视化分析库用户图形界面（GUI）相关库3.PyGTKPyGTK是一组用Python和C编写的包装器，用于GTK+GUI库。它是GNOME项目的一部分。它提供了用Python构建桌面应用程序的全面工具。其他流行的GUI库的Python绑定也可用。PyQt是QT库的Python端口。常见第三方库的使用——科学计算与数据可视化分析库Web开发相关库1.DjangoDjango是Python生态中最流行的开源Web应用框架。Django采用MTV模式（Model模型、Template模板、View视图）模型，可以高效地实现快速Web网站开发。通过在Windows命令行界面执行“pipinstalldjango”命令可以安装最新版本的Django及其依赖包。2.PyramidPyramid是一个通用、开源的PythonWeb应用程序开发框架。Pyramid的特色是灵活性，开发者可以灵活选择所使用的数据库、模板风格、URL结构等内容。通过在Windows命令行界面执行“pipinstallpyramid”命令可以安装最新版本的Pyramid及其依赖包。常见第三方库的使用——科学计算与数据可视化分析库Web开发相关库3.FlaskFlask是一个使用Python编写的轻量级Web应用框架。其WSGI工具箱采用Werkzeug，模板引擎则使用Jinja2。Flask使用BSD授权。通过在Windows命令行界面执行“pipinstallflask”命令可以安装最新版本的Flask及其依赖包。4.FastAPIFastAPI是一个现代的，快速（高性能）PythonWeb框架。基于标准的Python类型提示，使用Python3.6+构建API的Web框架。常见第三方库的使用——科学计算与数据可视化分析库机器学习相关库1.Scikit-learnScikit-learn（以前称为Scikits.learn，也称为Sklearn）是针对Python编程语言的免费软件机器学习库。它具有各种分类，回归和聚类算法，包括支持向量机、随机森林、梯度提升、k均值和DBSCAN，并且旨在与Python数值科学库NumPy和Scipy联合使用。通过在Windows命令行界面执行“pipinstallscikit-learn”命令可以安装最新版本的Scikit-learn及其依赖包。常见第三方库的使用——科学计算与数据可视化分析库机器学习相关库2.TensorFlowTensorFlow是一个基于数据流编程（dataflowprogramming）的符号数学系统，被广泛应用于各类机器学习（machinelearning）算法的编程实现，其前身是谷歌的神经网络算法库distbelief。Tensor（张量）指N维数组，Flow（流）指基于数据流图的计算，TensorFlow描述张量从流图的一端流动到另一端的计算过程。TensorFlow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究。通过在Windows命令行界面执行“pipinstalltensorflow”命令可以安装最新版本的TensorFlow及其依赖包。常见第三方库的使用——科学计算与数据可视化分析库机器学习相关库3.TheanoTheano是为执行深度学习中大规模神经网络算法的运算而设计的机器学习库，用于处理多维数组。Theano是一个偏向底层开发的库，偏向于学术研究。通过在Windows命令行界面执行“pipinstalltheano”命令可以安装最新版本的Theano及其依赖包。常见第三方库的使用——科学计算与数据可视化分析库机器学习相关库4.PaddlePaddlePaddlePaddle（飞桨）以百度多年的深度学习技术研究和业务应用为基础，集深度学习核心训练和推理框架、基础模型库、端到端开发套件、丰富的工具组件于一体，是中国首个自主研发、功能完备、开源开放的产业级深度学习平台。5.PyTorchPyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。2017年1月，由Facebook人工智能研究院（FAIR）基于Torch推出了PyTorch。它是一个基于Python的可续计算包，提供两个高级功能：具有强大的GPU加速的张量计算（如NumPy）；包含自动求导系统的深度神经网络。常见第三方库的使用——科学计算与数据可视化分析库其他1.PillowPillow是Python中的图像处理库（PythonImageLibrary，PIL），提供了广泛的文件格式支持，强大的图像处理能力，主要包括图像储存、图像显示、格式转换以及基本的图像处理操作等。通过在Windows命令行界面执行“pipinstallpillow”命令可以安装最新版本的Pillow及其依赖包。2.OpenCVOpenCV（OpenComputerVisionLibrary，开源计算机视觉库）是应用最广泛的计算机视觉库之一。opencv-python是OpenCV的PythonAPI，由于后台是采用C／C++编写的代码，因而运行速度快，是Python生态环境中执行计算密集型任务的计算机视觉处理的最佳选择。通过在Windows命令行界面执行“pipinstallopencv-python”命令可以安装最新版本的opencv-python及其依赖包。常见第三方库的使用——科学计算与数据可视化分析库其他3.WeRoBotWeRoBot是一个微信公众号开发框架，也称为微信机器人框架。WeRoBot可以解析微信服器发来的消息，并将消息转换成Message或者Event类型。其中，Message表示用户发来的消息，如文本消息、图片消息；Event则表示用户触发的事件，如关注事件、扫描二维码事件。在消解析、转换完成后，WeRoBot会将消息转交给Handler进行处理，并将Handler的返回值返回给微信服务器，进而实现完整的微信机器人功能。通过在Windows命令行界面执行“pipinstallwerobot”命令可以安装最新版本的WeRoBot及其依赖包。常见第三方库的使用——科学计算与数据可视化分析库其他4.MyQRMyQR是一个能够产生基本二维码、艺术二维码和动态效果二维码的Python第三方库。通过在Windows命令行界面执行“pipinstallmyqr”命令可以安装最新版本的MyQR及其依赖包。5.PyInstallerPyInstaller是最常用的Python程序打包和发布第三方库，用于将Python源程序生成直接运行的程序。生成的可执行程序可以分发到对应的Windows或macOSX平台上运行。通过在Windows命令行界面执行“pipinstallpyinstaller”命令可以安装最新版本的PyInstaller及其依赖包。常见第三方库的使用——中文处理相关库1.中文分词库jieba的使用jieba是目前最好的Python中文分词工具，是中文文本处理和分析不可或缺的利器。在文本处理中，常常需要通过分词，将连续的字序列按照一定的规范重新组合成词序列。在英文的句子中，单词之间是以空格作为自然分界符的，因而分词相对容易。而中文句子中单词之间没有形式上的分界符，因而中文分词比较复杂和困难，使用Python第三方库jieba可以方便地实现中文分词。jieba库支持如下三种分词模式：精确模式：试图将句子最精确地切开，不存在冗余单词，适合文本分析。全模式：把句子中所有的可以成词的词语都扫描出来，速度非常快，会存在冗余单词，但是不能解决歧义。搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。常见第三方库的使用——中文处理相关库2.词云库WordCloud的使用在文本分析中，当统计关键字（词）的频率后，可以通过词云图（也称为文字云）对文本中出现频率较高的“关键词”予以视觉化的展现，从而突出文本中的主旨。使用Python第三方库WordCloud可以方便地得到词云图。在Windows命令提示符窗口中，输入命令行命令“pipinstallwordcloud”，以安装WordCloud库。注意：使用该方法需要本地计算机安装了MicrosoftVisualC++14.0编译器，否则安装会失败，下载该编译器的网址为：/visual-cpp-build-tools/常见第三方库的使用——中文处理相关库2.词云库WordCloud的使用WordCloud库的核心是WordColoud类，该库的所有功能都封装在WordCloud类中。使用WordCloud库生成词云图，一般遵循以下步骤：1）实例化一个WordCloud对象，例如，wc=WordCloud()。2）调用wc.generate(text)，对文本text进行分词，并生成词云图。3）调用wc.to_file("wc.png")，把生成的词云图输出到图像文件wc.png。在生成词云时，WordCloud默认会以空格或标点为分隔符对目标文本text进行分词处理。默认情况下，WordCloud对象使用默认参数创建词云图。创建WordCloud实例对象时，用户可以通过参数控制词云图的绘制。常见第三方库的使用——中文处理相关库3.其他的文本处理与分析相关库（1）PDFMinerPDFMiner是一个Python的PDF解析器，可以从PDF文档中提取信息。与其他PDF工具不同，它侧重于获取和分析PDF文件中的文本数据。PDFMiner允许获取某一页中文本的准确位置和一些诸如字体、行数的信息。它包括一个PDF转换器，可把PDF文件转换成HTML等格式。还有一个扩展的PDF解析器，可以用于除文本分析以外的其他用途。（2）OpenPyXLOpenPyXL是一个开源项目，它可读写Excel文档。OpenPyXL不仅能够同时读取和修改Excel文档，而且可以对Excel文件内单元格进行详细设置，包括单元格样式等内容，甚至还支持图表插入、打印设置等内容，也可读写xltm、xltx、xlsm、xlsx等类型的文件。它可以处理数据量较大的Excel文件。常见第三方库的使用——中文处理相关库3.其他的文本处理与分析相关库（3）python-docxpython-docx是用于创建和更新MicrosoftWord（.docx）文件的Python库，支持读取、查询以及修改doc、docx等格式文件。（4）NLTKNLTK（NaturalLan