1.1 初识数据分析

Python数据分析基础与应用模块1认知数据分析与构建程序运行环境1.1初识数据分析什么是数据分析呢？数据分析是指用合适的统计方法及工具，对收集来的大量原始数据进行处理分析，对处理过的数据进行分类解析，为了提取有价值信息和形成有效结论而对数据加以详细研究和概括总结的过程。以求最大化发挥数据的作用，推动业务的发展。1.1.1数据分析定义1.1.2比较数据分析与数据挖掘1．数据分析（1）数据分析的基本定义数据分析是指根据分析目的，用适当的统计分析方法及工具，对收集来的数据进行处理与分析，提取有价值的信息，形成结论，发挥数据的作用。数据分析可以帮助人们作出判断，以便采取适当行动。数据分析是数学与计算机科学相结合的产物。1.1.2比较数据分析与数据挖掘（2）数据分析的主要作用数据分析主要实现三大作用：现状分析、原因分析、预测分析（定量）。数据分析的目标明确，先做假设，然后通过数据分析来验证假设是否正确，从而得到相应的结论。1.1.2比较数据分析与数据挖掘（3）数据分析的主要方法主要采用对比分析、分组分析、交叉分析、回归分析等常用分析方法。（4）数据分析的输出结果数据分析通常会得到一个指标统计量结果，例如总和、平均值等，这些指标数据都需要与业务结合进行解读，才能发挥出数据的价值与作用。1.1.2比较数据分析与数据挖掘2．数据挖掘数据挖掘一般是指从大量数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计计算、分析处理、情报检索、机器学习、专家系统和模式识别等诸多方法来实现上述目标。1.1.2比较数据分析与数据挖掘3．比较狭义的数据分析和广义的数据分析完整的数据分析包括基本的数据分析和深入的数据挖掘两个部分，数据分析可以分为广义的数据分析和狭义的数据分析。狭义的数据分析其主要目标就是生成可视化图表，并通过这些图表来洞察业务中的问题。广义的数据分析包括狭义的数据分析和数据挖掘，即不仅要通过数据实现对业务的监控和分析，还要利用机器学习算法，找出隐藏在数据背后的知识，并利用这些知识为将来的决策提供支撑。我们通常所说的数据分析就是指狭义的数据分析。1.1.2比较数据分析与数据挖掘（1）基本的数据分析工作基本的数据分析工作一般包含以下几个方面的内容，当然因为行业和工作内容的不同会略有差异。•确定目标（输入）•获取数据•清洗数据•数据透视•数据报告（输出）•分析洞察（后续）1.1.2比较数据分析与数据挖掘（2）深入的数据挖掘工作深入的数据挖掘工作应该包含以下几个方面的内容，当然因为行业和工作内容的不同会略有差异。•确定目标（输入）•数据准备•数据加工•数据建模•模型评估•模型部署（输出）1.1.2比较数据分析与数据挖掘4．数据分析与数据挖掘的主要区别数据分析是对数据的一种操作手段或者算法，其目标是针对先验的约束，对数据进行整理、筛选、加工，由此得到信息。数据挖掘是对数据分析手段后的信息，进一步进行价值化的分析。数据分析的结果是信息，这些信息作为数据，由数据去挖掘。而数据挖掘，又使用了数据分析的手段，周而复始。数据分析和数据挖掘的最大区别在于，数据分析是以输入的数据为基础，通过先验的约束，对数据进行处理，其重点在于数据的有效性、真实性和先验约束的正确性。而数据挖掘则不同，数据挖掘是对信息的价值化的获取。价值化自然不考虑数据本身，而是考虑数据是否有价值。1.1.3数据分析在企业经营决策的主要作用在企业的经营决策中，数据分析具有以下三大作用。1．现状分析——透过表面现象挖掘背后本质2．原因分析——异常情况下的影响因素探析3．预测分析——探求未来发展趋势与走向1.1.4常用数据分析框架常用的数据分析框架有：PEST、5W2H、SWOT、4P理论、逻辑树、客户生命周期等。1.1.5常用数据分析方法常用的数据分析方法有：趋势分析、多维分解、用户分群、漏斗分析、留存分析、A/B测试、对比分析、交叉分析。1.1.6常用数据分析工具与类库类库是用来实现各种功能的类的集合，Python本身的数据分析功能不是很强，需要借助一些功能强大的第三方扩展库来增强其数据分析能力，常用的扩展库有NumPy、Pandas、Matplotlib、SciPy、Seaborn和Scikit-learn等，这些库在数据分析中起着很重要的作用，有关这些库的使用将在后面模块中做详细介绍。1．NumPyNumPy（NumericalPython）是Python科学计算的基础包，是机器学习框架的基础类库。1.1.6常用数据分析工具与类库2．PandasPandas是Python数据分析的核心库，它是基于NumPy构建的含有复杂数据结构和工具的数据分析包。Pandas纳入大量库和标准数据模型，提供了大量的可快速便捷处理数据的函数和高效操作大型数据集所需的工具。Pandas围绕Series和DataFrame这两个核心数据结构展开的，而Series和DataFrame分别对应于一维序列和二维表结构。Pandas提供了复杂精细的索引功能，以便快捷地完成切片、切块、聚合、选取数据子集、重塑和处理缺失值等操作。1.1.6常用数据分析工具与类库3．MatplotlibMatplotlib是最流行的用于绘制数据图表的Python库，能够根据我们提供的数据创建高质量的图形。Matplotlib中应用较为广泛的模块是pyplot，该模块提供了一套与MATLAB类似的绘图API，可以方便用户快速绘制2D图表，例如折线图、柱状图、条形图、直方图、散点图、饼图等。Matplotlib使用NumPy进行数组运算，并调用一系列其他的Python库来实现交互功能。Matplotlib库中还提供了名为pylab的模块，其中包括了许多NumPy和pyplot中常用的函数，方便用户快速进行计算和绘图。1.1.6常用数据分析工具与类库4．SciPySciPy是一个专门用于科学计算的开源Python库，它建立在NumPy的基础上，提供了一个用在Python中进行科学计算的工具集。SciPy完善了NumPy的功能，封装了大量科学计算的算法，包括线性代数、稀疏矩阵、信号和图像处理、最优化问题、常微分方程数值求解、快速傅里叶变换等。1.1.6常用数据分析工具与类库5．SeabornSeaborn是一个基于Matplotlib的可视化工具，它提供了一种高度交互式界面，便于用户能够做出各种有吸引力的统计图形。Seaborn在Matplotlib的基础上进行了更高级的封装，提供了很多高级封装的函数，帮助数据分析人员快速绘制美观的图形，从而使得图形绘制更加方便快捷，在大多数情况下，Seaborn可以让用户以更简洁有效的方式绘制出很具有吸引力的图形，Seaborn能高度兼容NumPy与Pandas数据结构，Seaborn是Matplotlib的补充，有助于更高效地观察分析数据。1.1.6常用数据分析工具与类库6．pyecharts库pyecharts是一个强大的可视化库，相比于matplotlib来说，具有强大的可交互功能，除了可以生成静态图像，还可以生成html格式图像。使用pyecharts可以生成独立的网页，也可以在flask、Django中集成使用。1.1.6常用数据分析工具与类库7．Scikit-learnScikit-learn最初是SciPy的一部分，它是Python数据科学运算的核心，提供了大量机器学习可能用到的工具，包括：数据预处理、监督学习（分类、回归）、无监督学习（聚类）、模式选择、交叉检验等。Scikit-learn是一个简单有效的数据挖掘和数据分析工具，是一个专门针对机器学习应用而开发的Python开源库，Scikit-learn是建立在NumPy、SciPy和Matplotlib的基础上的，对一些常用的算法进行了封装，利用这几大模块的优势，可以大大提高机器学习的效率。Scikit