《数据分析》课件-任务3.5 统计计算与描述

任务3.5统计计算与描述Python数据分析学习目标及重难点学习目标：Pandas做数据统计的方法学习重点：统计方法目录学习内容1.常用的统计计算2.统计描述01常用的统计计算1.常用的统计计算Pandas提供了很多跟数学和统计相关的方法，其中大部分都属于汇总统计，用来从Series中获取某个值(如max或min)，或者从DataFrame的列中提取一列数据(如sum)。接下来将针对统计计算与描述进行详细讲解。1.常用的统计计算统计计算是现代统计学的一个重要组成部分，它涉及将统计理论与实际需求相结合，通过编程实现统计方法的可靠性和高效的计算。具体来说，统计计算包括以下几个方面：经典统计计算：这部分涉及到统计方法的具体实现，如计算分布函数值、分位数函数值、线性回归参数估计和检验、最大似然估计等。这些计算通常需要使用到数学和编程技能，以确保结果的准确性和可靠性。计算技术的贡献：随着计算机科技的发展，统计学家开始利用先进的计算技术来发展新的统计方法。这包括使用随机模拟方法（如蒙特卡洛检验、Bootstrap置信区间）以及机器学习和数据挖掘等方法来进行大规模的数据分析和模型选择。这种计算技术的应用有时也被称为“计算统计”。1.常用的统计计算计算密集型统计方法：这类方法在实践中非常常见，它们往往依赖于大量的计算资源来完成复杂的统计任务。随机模拟是一种重要的计算密集型统计方法，它可以模拟生成大量的统计数据，用于评估不同的建模方法或进行贝叶斯推断等。海量数据分析：随着数据收集能力的增强，如何从海量的数据中提取有价值的信息成为了统计计算的一个关键领域。这包括探索性分析、机器学习、数据挖掘等方法，它们可以帮助我们在大数据中发现模式和规律。目前，有许多专门的统计软件如R、SAS等，提供了一系列工具来帮助人们解决统计计算问题。尽管如此，了解和掌握统计计算仍然是非常必要的，因为它不仅帮助我们理解统计理论的实践应用，还能培养我们的编程能力和数据处理技巧1.常用的统计计算统计资料丰富且错综复杂，要想做到合理选用统计分析方法并非易事。对于同一个资料，若选择不同的统计分析方法处理，有时其结论是截然不同的。正确选择统计方法的依据是：①根据研究的目的，明确研究试验设计类型、研究因素与水平数；②确定数据特征(是否正态分布等)和样本量大小；③正确判断统计资料所对应的类型(计量、计数和等级资料)，同时应根据统计方法的适宜条件进行正确的统计量值计算；最后，还要根据专业知识与资料的实际情况，结合统计学原则，灵活地选择统计分析方法。1.常用的统计计算1计量资料的统计方法分析计量资料的统计分析方法可分为参数检验法和非参数检验法。参数检验法主要为t检验和方差分析(ANOVA，即F检验)等，两组间均数比较时常用t检验和u检验，两组以上均数比较时常用方差分析；非参数检验法主要包括秩和检验等。t检验可分为单组设计资料的t检验、配对设计资料的t检验和成组设计资料的t检验；当两个小样本比较时要求两总体分布为正态分布且方差齐性，若不能满足以上要求，宜用非参数方法(秩和检验)。方差分析可用于两个以上样本均数的比较，应用该方法时，要求各个样本是相互独立的随机样本，各样本来自正态总体且各处1.常用的统计计算处理组总体方差齐性。根据设计类型不同，方差分析中又包含了多种不同的方法。对于定量资料，应根据所采用的设计类型、资料所具备的条件和分析目的，选用合适的统计分析方法，不应盲目套用t检验和单因素方差分析。2计数资料的统计方法计数资料的统计方法主要针对四格表和R×C表利用检验进行分析。四格表资料：组间比较用检验或u检验，若不能满足检验：当计数资料呈配对设计时，获得的四格表为配对四格表，其用到的检验公式和校正公式可参考书籍。R×C表可以分为双向无序，单向有序、双向有序属性相同和双向有序属性不同四类，不同类的行列表根据其研究目的，其选择的方法也不一样1.常用的统计计算3等级资料的统计方法等级资料(有序变量)是对性质和类别的等级进行分组，再清点每组观察单位个数所得到的资料。在临床医学资料中，常遇到一些定性指标，如临床疗效的评价、疾病的临床分期、病症严重程度的临床分级等，对这些指标常采用分成若干个等级然后分类计数的办法来解决它的量化问题，这样的资料统计上称为等级资料。1.常用的统计计算Pandas为我们提供了非常多的描述性统计分析的指标方法，比如总和、均值、最小值、最大值等。接下来,通过一张表来罗列常用的描述性统计方法,以及它们的具体说明,如图所示。02统计描述2.统计描述指标计算描述性统计指标的计算可以用四个不同的过程来实现，它们分别是means过程、summary过程、univariate过程以及tabulate过程。它们在功能范围和具体的操作方法上存在一定的差别，下面我们大概了解一下它们的异同点。相同点：他们均可计算出均数、标准差、方差、标准误、总和、加权值的总和、最大值、最小值、全距、校正的和未校正的离差平方和、变异系数、样本分布位置的t检验统计量、遗漏数据和有效数据个数等，均可应用by语句将样本分割为若干个更小的样本，以便分别进行分析。2.统计描述不同点：（1）means过程、summary过程、univariate过程可以计算样本的偏度（skewness）和峰度（kurtosis），而tabulate过程不计算这些统计量；（2）univariate过程可以计算出样本的众数（mode），其它三个过程不计算众数；（3）summary过程执行后不会自动给出分析的结果，须引用output语句和print过程来显示分析结果，而其它三个过程则会自动显示分析的结果；（4）univariate过程具有统计制图的功能，其它三个过程则没有；（5）tabulate过程不产生输出资料文件（存储各种输出数据的文件），其它三个均产生输出资料文件。2.统计描述统计制图统计制图的过程均可以实现对样本分布特征的图形表示，一般情况下可以使用的有chart过程、plot过程、gchart过程和gplot过程。大家有没有发现前两个和后两个只有一个字母‘g’（代表graph）的差别，其实它们之间（只差一个字母g的过程之间）的统计描述功能是相同