描述性统计分析.ppt

数据分析 数据分析概念数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析 以求最大化地开发数据资料的功能 发挥数据的作用 是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程 数据也称观测值 是实验 测量 观察 调查等的结果 常以数量的形式给出 数据分析与数据挖掘密切相关 但数据挖掘往往倾向于关注较大型的数据集 较少侧重于推理 且常常采用的是最初为另外一种不同目的而采集的数据 中昊天成 数据分析 数据分析的目的与意义数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中 萃取和提炼出来 以找出所研究对象的内在规律 在实用中 数据分析可帮助人们作出判断 以便采取适当行动 数据分析是组织有目的地收集数据 分析数据 使之成为信息的过程 这一过程是质量管理体系的支持过程 在产品的整个寿命周期 包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程 以提升有效性 例如J 开普勒通过分析行星角位置的观测数据 找出了行星运动规律 又如 一个企业的领导人要通过市场调查 分析所得数据以判定市场动向 从而制定合适的生产及销售计划 因此数据分析有极广泛的应用范围 中昊天成 数据分析 数据分析的功能数据分析主要包含下面几个功能 1 简单数学运算 SimpleMath 2 统计 Statistics 3 快速傅里叶变换 FFT 4 平滑和滤波 SmoothingandFiltering 5 基线和峰值分析 BaselineandPeakAnalysis 中昊天成 数据分析 数据分析的类型在统计学领域 有些人将数据分析划分为描述性统计分析 探索性数据分析以及验证性数据分析 其中 探索性数据分析侧重于在数据之中发现新的特征 而验证性数据分析则侧重于已有假设的证实或证伪 探索性数据分析 是指为了形成值得假设的检验而对数据进行分析的一种方法 是对传统统计学假设检验手段的补充 该方法由美国著名统计学家约翰 图基 JohnTukey 命名 定性数据分析 又称为 定性资料分析 定性研究 或者 质性研究资料分析 是指对诸如词语 照片 观察结果之类的非数值型数据 或者说资料 的分析 中昊天成 数据分析 数据分析步骤数据分析有极广泛的应用范围 典型的数据分析可能包含以下三个步 1 探索性数据分析 当数据刚取得时 可能杂乱无章 看不出规律 通过作图 造表 用各种形式的方程拟合 计算某些特征量等手段探索规律性的可能形式 即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性 2 模型选定分析 在探索性分析的基础上提出一类或几类可能的模型 然后通过进一步的分析从中挑选一定的模型 3 推断分析 通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断 中昊天成 描述性统计分析描述性分析目的和主要功能 中昊天成 统计学知识谱 中昊天成 1 集中趋势分析 Centraloftendency 大部分观察值向某一数值集中的趋势称为集中趋势 常用平均数指标来表示 各观察值之间大小参差不齐集中量数 算术平均数 中位数 Median 众数 mode 2 离散程度分析 Tendencyofdispersion 频数由中央位置向两侧逐渐减少 称离散程度 是个体差异所致 可用一系列的变异指标来反映 差异量数 全距 Range 四位方差 QuartileDeviation 平均差 MeanDeviation 方差 Variance 标准差 StandardDeviation 偏态度和峰态度 峰度 Kurtosis 偏度 Skewness 描述性统计分析 在数据分析的时候 一般首先要对数据进行描述性统计分析 DescriptiveAnalysis 以发现其内在的规律 再选择进一步分析的方法 描述性统计分析要对调查总体所有变量的有关数据做统计性描述 主要包括数据的频数分析 数据的集中趋势分析 数据离散程度分析 数据的分布 以及一些基本的统计图形 1 数据的频数分析 在数据的预处理部分 利用频数分析和交叉频数分析来检验异常值 此外 频数分析也可以发现一些统计规律 比如说 收入低的被调查者用户满意度比收入高的被调查者高 或者女性的用户满意度比男性低等 不过这些规律只是表面的特征 在后面的分析中还要经过检验 2 数据的集中趋势分析 数据的集中趋势分析是用来反映数据的一般水平 常用的指标有平均值 中位数和众数等 各指标的具体意义如下 平均值 是衡量数据的中心位置的重要指标 反映了一些数据必然性的特点 包括算术平均值 加权算术平均值 调和平均值和几何平均值 中位数 是另外一种反映数据的中心位置的指标 其确定方法是将所有数据以由小到大的顺序排列 位于中央的数据值就是中位数 描述性统计分析 众数 是指在数据中发生频率最高的数据值 如果各个数据之间的差异程度较小 用平均值就有较好的代表性 而如果数据之间的差异程度较大 特别是有个别的极端值的情况 用中位数或众数有较好的代表性 3 数据的离散程度分析 数据的离散程度分析主要是用来反映数据之间的差异程度 常用的指标有方差和标准差 方差是标准差的平方 根据不同的数据类型有不同的计算方法 4 数据的分布 在统计分析中 通常要假设样本的分布属于正态分布 因此需要用偏度和峰度两个指标来检查样本是否符合正态分布 偏度衡量的是样本分布的偏斜方向和程度 而峰度衡量的是样本分布曲线的尖峰程度 一般情况下 如果样本的偏度