统计分析基础知识.doc

1、一.统计学中数据类型在统计学中，统计数据主要可分为四种类型，分别是定类数据，定序数据，定距数 据，定比变量。1. 定类数据（Nominal）:名义级数据，数据的最低级，表示个体在属性上的特征或类 别上的不同变量，仅仅是一种标志，没有序次关系。例如，”性别“，”男“编码为1,”女“编码为2。置,=4,算,2. 定序数据（Ordinal）:数据的中间级，用数字表示个体在某个有序状态中所处的位 不能做四则运算。例如，“受教育程度”，文盲半文盲=1，小学=2，初中=3，高中大学=5,硕士研究生=6，博士及其以上=7。3.定距数据（Interval）:具有间距特征的变量，有单位，没有绝对零点，可以做加减

2、运 不能做乘除运算。例如，温度。4.定比变量（Ratio）:数据的最高级，既有测量单位，也有绝对零点，例如职工人数, 身咼。不同测度级别的数据，应用范围不同。等级高的数据，可以兼有等级低的数据的功能，而等级低的数据，不能兼有等级高的 数据的功能。Ren sis A.Likert 于 1932 年提出李克特量表李克特量表又称分项评分量表，时由美国社会心理学家的。李克特量表的度量级别，通常是5级，在应用中7级，9级均可，但通常不少于 5级，不咼于9级。归一化在统计学中，归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1-+1之间是统计的坐标分布。即该函数在

3、(-S，+ X的积分为1线性函数转换如下y=(x-Mi nValue)/(MaxValue-Mi nValue)说明：x、y分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。(x-mi n)/(max-mi n)这样所有的数据都归一化为 0至U 1之间的数了归一化是一种简化计算的方式，即将有量纲的表达式， 经过变换，化为无量纲的表达式，成为纯量。归一化是为了加快训练网络的收敛性，可以不进行归一化处理归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1-+1之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论 是为了

4、建模还是为了计算，首先基本度量单位要同一，神经网络是以样本在事件中的统计分别几率来进行训练(概率计算)和预测的，归一化是同一在0-1之间的统计概率分布;SVM是以降维后线性划分距离来分类和仿真的，因此时空降维归一化是统一在-1-+1之间的统计坐标分布。归一化是因为sigmoid函数的取值是 0到1之间的，网络最后一个节点的输出也是如 此，所以经常要对样本的输出归一化处理。所以这样做分类的问题时用0.9 0.1 0.1就要比用要好。但是归一化处理并不总是合适的，根据输出值的分布情况，标准化等其它统计变换方法有时可能更好。主要是为了数据处理方便提出来的，把数据映射到01范围之内处理，更加便捷快速，

5、应该归到数字信号处理范畴之内。归一化方法 (Normalization Method )把数据映射到01。把数变为(0, 1)之间的小数 主要是为了数据处理方便提出来的，1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。即将有量纲的表2。把有量纲表达式变为无量纲表达式归一化是一种简化计算的方式，达式，经过变换，化为无量纲的表达式，成为纯量。比如，复数阻抗可以归一化书写：Z = R + j 3 L = R(1 + j 3 L/R)，复数部分变成了纯数量了，没有量纲。标准化方法(Normalizati on Method )数据的标准化是将数据按比例缩放，使之落入一个小的特定区间。 由于

6、信用指标体 系的各个指标度量单位是不同的， 为了能够将指标参与评价计算， 需要对指标进行规范 化处理，通过函数变换将其数值映射到某个数值区间。关于神经网络(matlab )归一化的整理关于神经网络归一化方法的整理-1 , 1归一化处理.归一化方法主由于采集的各数据单位不一致，因而须对数据进行要有如下几种，供大家参考：(by james)1、线性函数转换，表达式如下：y=(x-Mi nValue)/(MaxValue-Mi nValue)说明：x、y分别为转换前、后的值，MaxValue、Min Value分别为样本的最大值和最小值。2、对数函数转换，表达式如下：y=log10(x)说明：以10

7、为底的对数函数转换。3、反余切函数转换，表达式如下：y=ata n( x)*2/PI归一化是为了加快训练网络的收敛性，可以不进行归一化处理归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在 -1+1 之间是统计的坐标分布。归一化有同一、统一和合一 的意思。无论是为了建模还是为了计算，首先基本度量单位要同一，神经网络是以样本在事件中的统计分别几率来进行训练(概率计算)和预测的，归一化是统一在0-1之间的统计概率分 布；当所有样本的输入信号都为正值时，与第一隐含层神经元相连的权值只能同时增加 或减小，从而导致学习速度很慢。为了避免出现这种情况，加快网络学习速度

8、，可以对 输入信号进行归一化，使得所有样本的输入信号其均值接近于0或与其均方差相比很小。归一化是因为sigmoid函数的取值是0到1之间的，网络最后一个节点的输出也是 如此，所以经常要对样本的输出归一化处理。所以这样做分类的问题时用0.9 0.1 0.1就要比用1 0 0要好。但是归一化处理并不总是合适的，根据输出值的分布情况，标准化等其它统计变换方法有时可能更好。MATLAB归一化方法你在所有的数据中找出最大的那个数max可以用matlab的max函数在所有的数据中找出最小的那个数 min可以用 matlab的min函数如果是Origin，那么选中要归一化的数据列，点击右键，在弹出的对话框中

9、选择 NormalizeOriginPro 52 bit - C:UwrsAdrninjtcratorDc FilePim COljeg Wqf kahet AnalyiPlotCut弟 n*-faulT' Ari制IlkBookllepyCop>y (full F>r«iSi&riCopy "ndudm号 katkel rovrsb Pi'itP<：Tf1+CClFl + AJl + CCtti+v:IITLED * -.InwflglEWUnrtsCui.ririiem&124S吕78lU1113141SiaI any

10、MrUtugRernuve ibiiikDeleteH2J Sheet 1/a34567甘9 ll'O 11 112131415 taLJ：JO 3904<1O 4490O 770411O 43-0 1你* 0 106 ll0 219r|Q禺药审O 3104qIO00591 OGOGOJ d 4g価屮0 7Q珂O Q?3r|Stt AiS*1 Column VusluciFitl 匸口lumm withSort Cq沁 mnSort W© rluhooTIMUF 幅 ah3».“C-OUnT.stattics on Columns.Column Width.H

11、kJi? CulLimns.弘t Scampiing Jrlerd 1. Md&t Cells by Ccknditionr,在excel表格中如何对数据进行归一化处理比如对A1到A10中的是个数进行归一化处理，就是分别计算每个数占这是个数这和的百分比，可以用公式计算，不是很难，例如：在单元格B1 中输入 “ =A1/sum($A$1:$A$10)",点击B1右下角的黑十字下拉到B10放开鼠标,b列的结果就是你要的归一化结果。数据多的话只需改动公式中 sum函数的引用位置，如A列有100个数，B1中改为” =A1/sum($A$1 : $A$100 )“四.利用SPSS检验是

12、否符合正态分布正态分布也叫常态分布，在我们后面说的很多东西都需要数据呈正态分布。下面的图就是正态分布曲线，中间隆起，对称向两边下降。下面我们来看一组数据，并检验期初平均分”数据是否呈正态分布（此数据已在SPSS里输入好）-srss DbI H XLllTLfaftMflnwT亘13卫1?J6 卫 邑22 Ta3fl邇a|iH至詡泡何孚李啟网風隠腮隧闍隍禺瞒£ffilii£136J<7*800£100715W«esKSXi緘uei w«&noo69 00SI 5»IN1W»Zaiwr朋00關0验0z flnr?D

13、01 CD叭田mE3 00S3umeg CPSD.DTICD7B(D&I.5&9 0eum?a.D900075 00eoDaim他0069. D»«祁aXDam£00TO 570015D96006W£10興DOdoo酒侧eiQD£毎5 刍召 40 吕一pvlpootflolpll-&OOD-_CJDSD5nvn菇®es 00 弓om站JGO40/3063GO 弟0 SifB£ 专 £ fl *岂閒u黑怕掳9引的如宀X- fl 5 fl fl rOQ-OOOSS5550A-50&3 5

14、 呻 J 门叩 jFll-l34£APJV在SPSS里执行左边的对话框，变量选择左边的期初平均分”，再点下面的 图表”按钮，弹出图中右边的对话框，选择分析> 描述统计一 >频数统计表”（菜单见下图，英文版的可以找到相应位置），然后弹出直方图”，并选中包括正态曲线”:iM QJ)_® 口(30 吧 00捕述蔬计频数另布表（P.描述细计分靳迦,索刃'析交究恚（L）比率迅）bU.ULJ|75 W5 5IZ 3b 710.0036.563 W70,563.0051.5尺度分斬）亠 >5 Pl*. *、31.0079.5I®鱼d-W一an nn69

15、.00,30®年级編号念班号K炷名紗性乱念实心球（期初） 金立足跚远C期初】-越实心球（朗末） 燼立定趾远期耒】¥ zi «口T*H4Ji八确定I解助烦数：囲表解菟型厂饼EtO忖直方图也：F包fi正态曲嫌臣杲示频数分布表07=1 r"ic 设置完后点确定”就后会出来一系列结果，包括 2个表格和一个图，我们先来看看最下面的图，见下图，HistogramAucunbu匕GOO80.0100.0Mean = S1.373Dev =12.E50.02CI.I040.0上图中横坐标为期初平均分，纵坐标为分数出现的频数。从图中可以看出根据直方图绘出的曲线是很像 正态

16、分布曲线。如何证明这些数据符合正态分布呢，光看曲线还不够，还需要检验：检验方法一：看偏度系数和峰度系数我们把SPSS结果最上面的一个表格拿出来看看（见下图）:期初平均分sriimiksNValidS3MissingaMean61 375Sid. Deviation12.8639Sk&wn&£5-333Std. Error of SkewnessKurlasis.9esStd, Error of Kurtosis.酯31 Minimunn15.0Majamum91.a偏度系数Skewness=-0.333;峰度系数Kurtosis=0.886;两个系数都小于 1，可认为

17、近似于正态分布。检验方法二：单个样本K-S检验在SPSS里执行分析一非参数检验一单个样本K-S检验，弹出对话框，检验变量选择期初平均分”检频率表（教育程度）.ht验分布选择正态分布”然后点确定”单样本 EolBogorovSBirnov 检尝砂性别豆3实1歸（朝初J 為ti定跡远【期韧】实心球t朗末: 妙立走跳远（期末】為X怫平覇硝XI确定1 粘贴巴' 重置回i帮助检脸分務正态分布凰厂 如分布an繕确因厂泊松分布Ur-指数分布旧选项（31检验结果为:KolinoMoiov-Siikii iiw Test期初平均分NNormal Parameter&ait WenStd Dsvl

18、tioh Most EjdremeAbsoluteDifferencesPositiveIMeartive Komagorov-SmirtiovZ AE/mp. Sig. (-tailed)3G61J7B 12.9'630.050.044-.050.493,9GGa Test distribution is Normal.b. Calculated from data.从结果可以看出，K-S检验中,Z值为0.493，P值（sig 2-tailed）=0.968>0.05，因此数据呈近似正态分布检验方法三：Q-Q图检验在SPSS里执行 图表一>Q-Q图”，弹出对话框，见下图:

19、 Q-Q 圈-莎年馥編号臨班号 沪性别 希实右【期初5 ，後立定跳远期韧） 辱实右疏（期耒J 步诡酝（期末 齡期末平均幷 进步幅礎分说期初平均分一檢验并布O分布参數P从数®估计曰确冗I重宣Ej| 取消I 帮助I-转换厂自紳数转换CHI r标匮忧数值回厂差异辺；厂二山丄茎:r二.比例洁计公式W filoFin's 广 Bankit 广 JuKeVs 厂 yn der Waefdens厂=指迄篦.电袂厂 均值1广高也r低QJ任意分斷结点哙变量选择期初平均分”检验分布选择 正态”其他选择默认，然后点确定”最后可以得到 Q-Q图检验结果，结果很多，我们只需要看最后一个图，见下图。No

20、rmal Q-Q Plot of期初半均分lao3D60-40 -20-L4060eo100Observed ValueQQ Plot 中，各点近似围绕着直线，说明数据呈近似正态分布。四.显著性差异I简介显著性差异(significanee level)，是一个统计学名词。它是统计学(Statistics )上对数据差异性的评价。也可能来自于 实验处理 对实验对象造成了根本性状改变，因而前测后 测的数据会有显著性差异。编辑本段案例例如，记忆术研究发现，被试学习某 记忆法前的成绩和学习记忆法后的记忆成绩会有显著性差异是一种有量度的或然性评价。比如，我们说A、B两数据在0.05水平上具备显著性差异，这是说两组数据具备显著性差异的可能性为95%。两个数据所代表的样本还有5%的可能性是没有差异的。这 5%的差异是由于 随机误差 造成的。编辑本段技术标准通常情况下，实验结果达到0.05水平或0.01水平，才可以说数据之间具备了差异显著或是极显著。在作结论时，应确实描述方向性(例如显著大