Python数据分析 课件 项目1 Python数据分析基础

项目一

Python数据分析基础任务1数据分析基础任务2Python基础任务1数据分析基础任务引入为了引导学生学习与思考结合、观察与思考结合、实践与思考结合，学校每学期开设课程设计。这学期小白跟着导师做调查报告，发现数据分析师需求量极大。于是进行深入调查，针对数据分析的方法、过程、工具进行统计。那么，什么是数据分析，如何进行数据分析？知识准备数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。一、数据分析方法数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来，从而找出所研究对象的内在规律。在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动。数据分析是有组织有目的地收集数据、分析数据，使之成为信息的过程。下图显示数据分析的基本流程，数据分析中的数据分析方法是数据分析的核心。在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析；其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧重于已有假设的证实或证伪。1．探索性数据分析探索性数据分析是指为了形成值得假设的检验而对数据进行分析的一种方法，是对传统统计学假设检验手段的补充。2．定性数据分析定性数据分析又称为“定性资料分析”、“定性研究”或者“定性研究资料分析”，是指对诸如词语、照片、观察结果之类的非数值型数据（或者说资料）的分析。3．离线数据分析离线数据分析用于较复杂和耗时的数据分析和处理，一般通常构建在云计算平台之上，如开源的HDFS文件系统和MapReduce运算框架。4．在线数据分析在线数据分析也称为联机分析处理，用来处理用户的在线请求，它对响应时间的要求比较高（通常不超过若干秒）。二、数据分析的分类数据分析本质是通过对大量数据进行统计、分析、解释和挖掘，然后推动现实问题的决策和价值的实现。1．按分析的方法和目的分类描述性分析：用来表达这是一个什么情况很有效，但不能解释某种结果发生的原因或者未来会发生的事情。预测性分析：规范性分析：2．按分析方法以及收集和分析的数据类型分类定性分析（非结构化数据）：定量分析（结构化数据）：3．按照研究者的目的分类统计预测数据挖掘文本挖掘优化实验设计三、数据分析过程数据分析过程的主要活动由识别信息需求、收集数据、分析数据、评价并改进数据分析的有效性组成。1．识别信息需求识别信息需求是确保数据分析过程有效性的首要条件，可以为收集数据、分析数据提供清晰的目标。2．收集数据有目的的收集数据，是确保数据分析过程有效的基础。组织需要对收集数据的内容、渠道、方法进行策划。策划时应考虑：（1）将识别的需求转化为具体的要求，如评价供方时，需要收集的数据可能包括其过程能力、测量系统不确定度等相关数据；（2）明确由谁在何时何处，通过何种渠道和方法收集数据；（3）记录表应便于使用；（4）采取有效措施，防止数据丢失和虚假数据对系统的干扰。3．分析数据老七种工具，即排列图、因果图、分层法、调查表、散布图、直方图、控制图；新七种工具，即关联图、系统图、矩阵图、KJ法、计划评审技术、PDPC法、矩阵数据图。4．评估改进数据分析是质量管理体系的基础。组织的管理者应在适当时，通过对以下问题的分析，评估其有效性：（1）提供决策的信息是否充分、可信，是否存在因信息不足、失准、滞后而导致决策失误的问题；（2）信息对持续改进质量管理体系、过程、产品所发挥的作用是否与期望值一致，是否在产品实现过程中有效运用数据分析；（3）收集数据的目的是否明确，收集的数据是否真实和充分，信息渠道是否畅通；（4）数据分析方法是否合理，是否将风险控制在可接受的范围；（5）数据分析所需资源是否得到保障。典型的数据分析可能包含以下三个步骤：（1）探索性数据分析：（2）模型选定分析：（3）推断分析四、数据分析工具数据分析已成为21世纪最受欢迎的技术之一，由于行业对数据分析家的需求很高，因此需要具有所需技能的人员才能精通该领域。除了数学知识外，还需要编程专业知识。尽管大多数语言都可以满足软件开发的需求，但数据分析编程的不同之处在于它可以帮助用户对数据进行预处理，分析和生成预测。这些以数据为中心的编程语言能够执行适合于大数据分析特定要求的算法。1．ExcelMicrosoftExcel是微软办公套装软件的一个重要的组成部分，是一种用于现代理财、数据分析的流行软件。2．SmartbiSmartbi是一款商业智能工具，集数据链接、数据处理、可视化分析展现于一体，除了数据分析功能还拥有完善的企业级数据管控、数据分析挖掘等功能。3．SQLSQL被称为“数据分析的关键”，用于从称为关系数据库的有组织数据源中检索数据的数据库语言。4．Matlab数据分析和处理是各种理工学科应用中非常关键、重要的问题。5．R语言对于面向统计的任务，R是理想的语言。6．PythonPython丰富的第三方库，包括numpy、pandas等为开发提供便利，处理标准更加规范。五、数据结果呈现下面介绍常用的数据结果呈现方法。1．列表法将数据按一定规律用列表方式表达出来，是记录和处理最常用的方法。2．作图法作图法可以最醒目地表达各个物理量间的变化关系。从图线上可以简便求出实验需要的某些结果，还可以把某些复杂的函数关系，通过一定的变换用图形表示出来。任务2Python基础任务引入小白是一名数据分析师，可以使用的不同的软件进行数据分析。公司新接一个项目，统一要求使用Python，让小白带领全组完成。本着团队协作的人文精神和严谨的科学精神，小白开始做基本的准备工作，统一要求进行软件下载安装、第三方库的安装与加载。那么，怎样才能下载软件？如何安装软件？软件界面是什么样的？知识准备Python是一门简单易学且功能强大的编程语言。它拥有高效的高级数据结构，并且能够用简单而又高效的方式进行面向对象编程。一、Python简介Python由荷兰数学和计算机科学研究学会的GuidovanRossum于1990年代初设计，作为一门叫做ABC语言的替代品。1989年，荷兰人吉多·范罗苏姆（GuidovanRossum）为了克服ABC语言非开放的缺点，并受Modula-3的影响，结合了Unixshell和C的习惯，开发了一个新的脚本解释程序-Python。自从20世纪90年代初Python语言诞生至今，它已被逐渐广泛应用于系统管理任务的处理和Web编程。Python现今已经成为最受欢迎的程序设计语言之一。1995年，GuidovanRossum在弗吉尼亚州的国家创新研究公司（CNRI）继续他在Python上的工作，发布了该软件的多个版本。2000年五月，GuidovanRossum和Python核心开发团队转到BeO并组建了BeOpenPythonLabs团队。同年十月，BeOpenPythonLabs团队转到DigitalCreations(现为ZopeCorporation)。2001年，Python软件基金会(PSF)成立，这是一个专为拥有Python相关知识产权而创建的非营利组织。2000年10月16日，python发布了Python2，该系列稳定版本是Python2.7。自从2004年以后，python的使用率呈线性增长。2008年12月3日，python发布了Python3，该版本不兼容Python2。2011年1月，Python3被TIOBE编程语言排行榜评为2010年度语言。2021年10月4日，Python正式发布了3.10版本。二、安装PythonPython是一门解释性脚本语言，因此要想让编写的代码得以运行，需要先安装Python解释器。1．Python下载打开Python官方下载页面/downloads/，如图1-2所示，向下滑动页面，如图所示。官网下载界面选择不同的python版本2．软件安装（1）双击安装文件python-3.10.0-amd64.exe，弹出Python3.10.0(64-bit)Setup对话框中的安装界面InstallPython3.10.0(64-bit)，下面介绍该界面中的选项。lInstallNow：默认安装且默认安装路径不能更改（一般默认安装在C盘）。lCustomizeinstallation:自定义安装。lInstalllauncherforallusers(recommended)：默认勾选该复选框，为所有用户安装启动器。lAddPython3.10toPATH:勾选该复选框，将Python自动加到环境变量中，默认未勾选该复选框。（2）在该界面中勾选“AddPython3.10toPATH”复选框，如图所示。

安装界面安装错误信息（3）单击Next（下一步）按钮，弹出Python3.10.0(64-bit)Setup对话框中的选项设置界面OptionalFeatures，选择默认参数设置，如图所示。Documentation：勾选该复选框，安装Python帮助文档.pip：勾选该复选框，安装下载Python的工具pip，pip是现代通用的Python包管理工具，英文全称是Pythoninstallpackages。td/tkandIDLE：安装标准库测试套件，tkinter和IDLE。pylauncher：安装Python的发射器。forallusers（requireselevation）：适用所有用户。（4）单击“Next（下一步）”按钮，进入下一个高级设置画面AdvancedOptions，在“Customizeinstalllocation”文本框更改安装地址（不建议安装C盘），其余选择默认设置，设置完毕后如图所示。（5）确定好安装路径后，单击Next（下一步）按钮，此时对话框内会显示安装进度，如图所示。（6）安装结束后，会出现一个Setupwassuccessful（安装成功）对话框，如图所示。3．安装检查Python安装结束后，需要检查安装是否成功。（1）安装结束后，在电脑“开始”界面输入“cmd”打开命令提示符，输入Python，单击回车键，出现如图所示的运行结果，表示Python安装成功。三、Python内置函数Python内置函数分为下面几大类：2．集合类操作3．逻辑判断4．反射5．IO操作四、集成库AnacondaAnaconda是一个专门用于统计和机器学习的IDE，它集成了Python和许多基础的库，包含NumPy和pandas等库，直接安装Anaconda，省去许多复杂的配置过程。1．安装Anaconda登陆Anaconda的官网：/products/individual#macos单击“Download（下载）”按钮，下载Anaconda3-2021.11-Windows-x86_64.exe文件，如图1-14所示。

官网下载安装界面

安装协议对话框

选择安装类型对话框安装路径对话框安装选项设置界面

安装过程界面

安装完成

安装信息显示界面安装完成界面2．验证安装结果安装完成后，在开始→Anaconda3（64-bit）下显示安装后的6个图标，如图所示。安装的程序

启动AnacondaNavigator运行程序1．pip工具安装pip是一个现代的，通用的Python包管理工具。提供了对Python包的查找、下载、安装、卸载的功能，install命令用于安装包安装，安装Python时已经安装pip工具。（1）安装NumPy（2）