数据分析处理技术

1、数据分析处理技术主讲教师简介：郑军，女，辽宁税专第一教学部教师，副教授。导论一、什么是统计学1、统计是处理数据的一门科学。2、统计学是关于数据的科学，它所提供的是一套有关数据收集、处理、分析、解释并从数据中得出结论的方法。3、数据分析所用的方法可分为描述统计方法和推断统计方法。二、理解统计对每个人都是必要的。第一部分数据的整理与图示一、数据的类型按照采用的计量尺度不同，可以将数据分为分类数据、顺序数据和数值型数据。1、分类数据：是只能归于某一类别的非数字型数据，它是对事物进行分类的结果，数据表现为类别，用文字来表述。如：企业按行业分类等。为便于统计处理，对于分类数据可以用数字代码表示各类别，如

2、用1表示制造业，2表示建筑业等。2、顺序数据：是只能归于某一有序类别的非数字型数据。顺序数据虽然也有类别，但这些类别是有序的。如将产品分为一等品、二等品、三等品、次品等。同样，对顺序数据也可以用数字代码来表示。3、数值型数据：是按照数字尺度测量的观测值，其结果表现为具体的数值。现实中所处理的大多数都是数值型数据。品质数据（分类数据和顺序数据、定性数据）数量数据（数值型数据、定量数据）4、区分数据的类型十分重要。因为对不同类型的数据，需要采用不同的方法来处理和分析。二、数据的搜集1、数据的来源（数据的间接来源、直接来源）。2、调查数据（概率抽样、非概率抽样）。概率抽样（即随机抽样）：常用的方式有

3、简单随机抽样、分层抽样、系统抽样、整群抽样、多阶段抽样。非概率抽样：常用的方式有方便抽样、判断抽样（重点抽样典型抽样）、自愿样本、滚雪球抽样、搜集数据的基本方法（自填式、面访式、电话式、）。4、数据的误差（抽样误差、非抽样误差）。抽样误差（由于抽样的随机性引起的样本结果与总体真值间的误差）非抽样误差（回答误差、调查员误差等）三、数据的图表展示（一）、数据的预处理（审核、筛选、排序等）。（二）、分类汇总与数据透视表（数据的全新整理分析方法）（三）、品质数据的整理与展示。1、分类数据的整理与图示（频数与频数分布）2、顺序数据的整理与图示（累计频数和累计频率、环形图）（四）、数值型数据的整理与图示（

4、数据分组、直方图）。（五）合理使用图表（一）、数据的预处理：是在对数据分类或分组前所做的必要处理。内容包括数据的审核、筛选、排序等。1、数据审核：对原始数据审核其完整性和准确性；对二手数据审核其适用性和时效性。2、数据筛选：根据需要找出符合特定条件的某类数据。3、数据排序：按一定顺序将数据排列，以便通过浏览数据发现明显的特征或趋势等。（二）、数据透视表（数据的全新整理分析方法）为了从复杂的数据中提取有用的信息，可以利用提供的【数据透视表】工具。利用数据透视表，可以对数据表的重要信息按使用者的习惯或分析要求进行汇总和作图，形成一个符合要求的交叉表（列联表）。在利用数据透视表时，数据源表中的首行必

5、须有列标题。（三）、品质数据的整理与展示数据经过预处理后，可根据需要进一步做分类或分组。对品质数据主要做分类整理，对数值型数据主要是做分组整理。1、分类数据的整理与图示（频数与频数分布）分类数据本身即是对事物的一种分类。在整理时首先列出所分的类别，然后计算出每一类别的频数、比例等，即可形成一张频数分布表，最后根据需要选择适当图形进行展示，以便对数据及其特征有一个初步了解。分类数据的图示（条形图、帕累托图、饼图等）、顺序数据的整理与图示（累计频数和累计频率、环形图）四）、数值型数据的整理与图示（数据分组、直方图）第二部分数据的概括性度量（集中趋势、离散程度、偏态与峰态的度量）一、总量指标分析二、

6、相对指标分析三、集中趋势度量四、离散程度度量五、偏态与峰态度量.一、税收总量指标分析（一）、税收总量指标的分析要求对总量指标的分析和描述应简洁、明了、突出其主要数量特征给人以深刻印象。例：“十五”期间，我市税收从200年0的56，148万4元增加到200年5的1，20，340万2元，年均增长16.，4为7我%市经济和社会的发展提供了有力的财力保障。二）、税收总量指标的图表描述总量指标在中的图表具体可描述为折线图、条形图（横置或纵置）等。（条形图纵置时也称为柱形图）二、税收相对指标分析在税收数据分析中，方法最简便、应用最广泛的就是相对指标的计算与分析，因其概念比较清晰，这里只对其计算方法作一介绍

7、。相对指标是两个有联系的指标对比的比值，反映事物的数量特征和数量关系。随着税收分析目的的不同，两个相互联系的指标数值对比，可以采取不同的比较标准（即对比的基础），而对比所起的作用也有所不同，从而形成不同的相对指标。归纳起来有两类：一是同一总体内部之比，二是两个总体之间对比。（一）、属于同一总体内部之比的相对指标属于同一总体内部之比的相对指标有：计划完成程度相对指标、结构相对指标、比例相对指标、动态相对指标四种。1、计划完成程度相对指标（分析计划完成情况及计划进度执行情况等）。、I、I实际完成数计划完成程度相对指标=计划数X2、结构相对指标。例：分税种结构分析。总体部分数值结构相对指标=-、比例

8、相对指标。例：两税收入中消、增两税之比。比例相对指标=税收总量中某部分数U100%比例相对指标=4、动态相对指标。例：不同时间的税收指标之比。动态相对指标报告期水平100%基期水平（二）、属于两个总体之间对比的相对指标属于两个总体之间对比的相对指标有：比较相对指标和强度相对指标。5、比较相对指标。例：两地区税收之比。（较少用绝对量比、比较相对指标二某条件下某类税收指标另一条件下同类税收指标100%、强度相对指标。例：每百元税收含量。指标_某一现象税收指标二另一有联系而性质不同现象的税收指标例：市“十五”时期税收发展情况报告一、“十五”时期市税收发展总体情况1、增长速度加快，总量节节攀升。“十五

9、”期间我市税收从200年0的56，148万4元增加到20年的1，20，340万2元（图表、，增长了114.，3翻3了%一番还多，每年增收额都在10亿元以上，年均增长16.4，比7“%九五”期间9.2的1年%均增长率高出7.2个6百分点，比我市14的%年均增长率高出2.4个7百分点。、一产比重下降，二产比重提高，三产基本持平。年度第一产业第二产业第三产业小计采掘业制造业电煤气水建筑业小计交运仓储邮电批发零售金融保险房地产其它行业平均增长率从J三次产业的静态结构看，第三产业为税收的主要来源。“十五”期间三次产业在税收中的比重分别为1.8、62%9.和68.8，4税%收的三分之二以上来自第三产业。（

10、图表）从三次产业的动态结构看，第一产业税收比重下降，第二产业比重提高，第三产业比重基本持平。200年2我市税收三次产业税收收入比例为2.72:27.4,到6:26090年.5演8变2为税收贡献率和税收拉动作用百分点的计算。三、集中趋势度量应用平均指标分析总体数量方面一般特征的方法。平均指标是社会经济分析中常用的综合指标。（静态、动态均值）常用的平均指标：、静态均值（1）算术平均数xfx=m2）mH=ix3）众数4）中位数2、动态均值几何平均数（平均比率、平均速度）反映一个时期内事物发展的快慢程度，一般用百分数表示简单几何平均数：G-nXXX=n,X12n加权几何平均数：G-fx/1x/2xf-

11、fnxf12n四、离散程度度量1、反映各变量值之间差异或离散程度的指标称为变异指标。以绝对数形式表现的变异指标有全距、平均差和标准差，以相对数形式表现的变异指标有全距系数、平均差系数和标准差系数，其中最常用、最重要的是标准差和标准差系数。2、全距计算简单、容易理解，但受极端值影响较大。3、平均差和标准差的意义基本相同，都是各变量值与算术平均数的平均离差，但在数学处理上有所不同。平均差是采用取绝对值的方法消除离差正负，而标准差是采用平方的方法消除离差的正负。由于标准差具有优良的数学性质，因此它是测定离散程度最重要的指标。(X-x)2f(X-x)2ffn、变异系数消除了变量值水平高低和计量单位不同

12、的影响，是反映离散程度的相对指标。因为实际工作中，经常要对不同水平或不同计量单位的现象进行研究，所以变异系数是衡量离散程度最普遍使用的指标QV，100%QX“标准差”和“离散系数”这两项指标可应用于行业税负分析中，当一个行业税负标准差和离散系数越大，说明这个行业企业间的税负差异越大。这种差异可能受两个方面因素的影响，一是企业增值幅度不同产生的税负差异；二是企业申报质量和税收征管力度强弱不同产生的差异。行业税负1、行业税负涵义行业税负一般是指某一行业税收总量与税源总量之间的比例关系，是一项反映行业税收经济关系的数据指标，是一个行业税负的平均值。它可以是一个行业所有税种税收总量负担概念，也可以是该

13、行业一个税种税收总量负担的概念。口径定义可依据研究目的不同自行定义。行业税负的计算公式：_某一行业税收总量行业税负同期本行业计税收入或所得、行业税负分析的意义按照税收征管法实施细则第四十七条有关规定，行业税负测算标准可以用于企业纳税评估和企业税负水平核定工作。税收负担是经济结构、税收政策和税收征管等多种因素综合作用的结果。由于这多种因素的影响，所以，地区间、行业间或企业间的税负是不可比的。但具体到同一行业的企业时，由于同一产品或服务的生产技术、加工工艺和原材料、能源消耗相近，适用的税收政策也相同，研究分析同一行业内的企业税负，就可以消除经济结构和税收政策的影响，找出影响行业税负形成的特征规律和

14、建立行业税负的客观标准，为税收征管征收力度考核提供数据支持；为纳税评估提供客观评价指标体系和标准，参考这一标准确定各行业的重点评估对象，可以较为方便地判定企业申报不实的问题。税负预警值的设定1、税负预警值的设定（1）税负预警的涵义预警机制是在对事物规律特征研究的基础上，通过鉴别异常事件，预报警示信息。税负预警是针对异常税负事件予以警示报告。税负预警分析，是通过对同一行业样本个体税负离散状况的分析，总结个体税负相关关系的规律特征。各主管税务机关可根据上级税务机关公布的行业税负率预警区间或选取各行业中的典型企业所测算的样本企业税负率，在考虑企业经营规模、管理水平等因素的基础上，制定本辖区行业税负率

15、的合理浮动区间，对超过浮动区间范围的企业作为纳税评估、稽查选案的重点加以关注。（2）税负预警值的设定方法一：、计算各样本的税负情况、计算该行业的平均税负x、计算该行业税负标准差、计算该行业税负离散系数、确定预警范围（当离散系数时：x士；当离散系数时：x士x）方法二：A确定要设定税负预警的行业通过调查、搜集、整理该行业的税收经济关系的相关样本（n）数据，并计算出该地区行业税负和税负样本标准差（s）B确定税负预警的中心线以上级税务机关设立的行业税负作为本地区税负预警的中心线（x）,参考本地区该行业的经营规模、管理水平等因素，给定一个合理的把握程度（概率），一般为。c确定预警范围X土Zs/n,2Z对

16、于的置信度，；的取值为s上式可以写为x士9n2、案例分析某地区某行业平均税负率为7.1，0从%中抽取35户企业，税负率情况见下表。要求确定预警范围并排查出低于预警下限的企业。ABCD1企业名称应交锐负冊企业名称应交税负2企业16.47企业195.723企业25.40企业2D8.134企业？6.27企业216.415企业48.82企业228.796企业产8.52企业226.367企业&7.19企业243.688企业了6.18企业邛7.129企业86.07企业265.0610企业96.37企业石8.2411企业1D5.79企业丽6.5012企业118.56企业2912.2813企业125.96企业

17、孔16.0414企业口6.58企业引6.4715企业148.95企业艾5.3816企业6.69企业於6.9317企业出4.63企业246.4218企业178.09企业巧8.9519企业188.29该行业平均税负7.10五、偏态与峰态度量偏态与峰态是对数据分布形状的测度（即分布的形状是否对称、偏斜的程度以及分布的扁平程度等）。（）、偏态系数（）0数据分布对称；（）、偏态系数（）明显不同于0数据分布非对称；（偏态系数大于或小于1高度偏态；）（偏态系数大于0为正偏或右偏，偏态系数小于0为负偏或左偏）（偏态系数在或之间，中等偏态；）（偏态系数越接近0偏斜越低程度）峰态通常是与标准正态分布相比较而言的。

18、（）、峰态系数（），数据服从标准正态分布；（）、峰态系数（）明显不同于0数据分布比标准正态分布更平或更尖，称为平峰分布或尖峰分布；(0尖峰分布，数据分布更集中)(0扁平分布，数据分布越分散)第三部分时间序列分析时间序列又称时间数列、动态数列，是将反映某一现象总体在时间上变化发展的一系列同类统计指标数值，按时间先后顺序排列所形成的数列。一、在税收数据分析中，常用的动态分析指标有增长量、平均增长量、序时平均数、发展速度、增长速度、平均发展速度、平均增长速度、增长1%绝对值。1、增长量(逐期增长量和累计增长量)第一，逐期增长量：报告期水平与前期水平之差。a-a,a-a,a-a1021nn-1第二，累

19、计增长量：报告期水平与某一固定基期水平之差。aa,aa,aa1020n0二者关系：一定时期内，逐期增长量之和等于累计增长量，用公式表示为：(aa),(aa),(aa),.,(aa)aa102132nn1n02、平均增长量：是时间数列中各逐期增长量的序时平均数，表明现象在一定时期内平均每期增(减)的绝对数量。平均增长量逐期增长量之和累计增长量逐期增长量个数时间数列项数-13、序时平均数。即针对某一动态数列求平均值。又由于该动态数列可能是绝对数，也可能是相对数而使计算方法不同。当动态数列为绝对数时，其平均数计算方法比较简单，即用296296万元年度税收收入税收收入占比重税收收入环比发展速度税收收入

20、增长速度年年年年年年年年合计某地区税收与经济分析单位：万元某地区2003-2010年平均税收收入222.53+234.21+249.16+265.51+277.01+323.75+384.82+411.0382368.028当动态数列为相对数时，其平均数计算不能简单加总相对数后除以项数，而必须以绝对数动态数列序时平均数为基础，分别计算构成该相对数的分子、分母两个绝对数动态数列的平均数，再加以对比。仍用上例，某地区近8年的平均税收含量为：8年平均税收收入_8年税收收入合计8_8年税收收入合计8年平均国内生产总值8年GDP合计88年GDP合计2368.0232746.52二2368.0232746

21、.52二0.0723二7.23%、发展速度与增长速度第一，发展速度：动态数列中两个不同时期发展水平的比值。用公式表示：发展速度发展速度100%由于对比时所采用的基期不同，发展速度可分为定基发展速度和环比发展速度。（1）环比发展速度：报告期水平与前一期水平的比值。它选择对比的基准点是滚动变化的。用公式表示：二2100%（i二1,2,，n）ai,1（2）定基发展速度：报告期水平与某一固定基期水平的比值。它选择对比的基准点是固定不变的。用公式表示：定基发展速度,n）a0二者关系：（1）一定时期内，各环比发展速度的连乘积等于相应时期总的定基发展速度，即aaaaa1X2X3X.XnnaaaaaTOC o

22、 1-5 h z012n-102）两个相邻的定基发展速度的比值等于相应的环比发展速度，用公式表示为：aaannaaa00n-1第二，增长速度：报告期增长量与基期水平之比。用公式表示为增长速度竺基期水平增长速度竺基期水平X100%发展速度1同理：定基增长速度=定基发展速度环比增长速度=环比发展速度年平均发展速度和年平均增长速度。1）几何平均法：以上例求税收收入年平均发展速度如下：方法一：应用第3列绝对指标计算年平均发展速度2010年税收收入411.038171.0916109.16%82003年税收收入7222.53方法二：应用第5列环比发展速度指标计算年平均发展速度71.0525x1.0638

23、x1.0656x1.0433x1.1687x1.1886x1.0681=1.0916方法三：应用总速度指标计算，即已知200年3到201年0税收收入发展的总速度为184.7，0则77%年平均发展速度8-1总速度71.8470771.0916（2）方程式法计算年均增长速度不能由增长量和增长速度直接计算，而必须将历年增长速度还原为历年发展速度，并应用上述方法求出年平均发展速度，再计算平均增长速度，即：年平均增长速度=年平均发展速度1（或10）0%上例中，年平均增长速度=1.0916-1=0.0916、增长1%绝对值：报告期的前一期水平除以10，0表明某一现象每增长1%所代表的实际绝对数量。思考：某

24、省200年9完成税收收入182亿.元5，比上年增长20，该省税收收入在199年9-200年0平均每年递增15，%200年1-20年0平3均每年递增16，%200年4-20年0平8均每年递增18，问该省199年9-20年0十8年的总发展速度。（十年间平均每年的发展速度和递增速度）总发展速度=1.2115.1361.15=84.72=472%十年间平均每年的发展速度=10472%=116.79%十年间平均每年的增长速度=10472%1=16.79%如果未来五年内仍以此速度发展，到201年1该省税收收入将达到182.5*（13=1269.07亿.9元7%。5）二、时间序列的分析和预测1、影响动态数列

25、变动的因素一般可归纳为四种，它们是长期趋势、季节变动、循环变动和不规则变动。2、测定长期趋势的方法很多，其中两种基本的方法是移动平均法和最小平方法（最小二乘法）。（1）移动平均法测定长期趋势的基本原理是将原时间数列的时距扩大，并按一定的间隔长度逐项移动计算一系列序时平均数，由这些序时平均数形成一个新的时间数列，在这个新的时间数列中，偶然因素的影响被削弱，从而呈现出现象发展的长期趋势。（2）最小平方法（最小二乘法）测定长期趋势的基本原理是对时间数列配合一条趋势线，使其满足条件（y-y）2二最小值，同时（y-y）=0,然后根据趋势线计icic算出相应各时期的趋势值，由趋势值形成的新时间数列呈现出现

26、象发展的长期趋势。为了计算方便，计算时可令t=0。用最小平方法既可以配合直线方程也可以配合曲线方程。3、测定季节变动的方法也很多，常用的方法有两种：原资料平均法和趋势剔除法。4、测定循环波动可以用残余法（剩余法）。5、不规则变动具有不可预测性，它是由大量偶然的、随机的因素造成现象的波动，从一个较长时间看，各种偶然、随机因素的影响会互相抵消，因此，实际分析现象变动趋势时，可以不予考虑。第四部分指数分析思路与方法指数是指反映经济现象数量变动的相对数。指数分析法即运用这种相对数来反映不能直接加总的多因素组成的经济现象的综合变动。因此在社会实践中，也有人称其为因素分析法。P1q1-P0q0,(P1q1

27、_P0q1)(P0q1-P0q0通过指数分析方法可以将受两个及两个以上因素影响的经济总量的变动情况进行因素分解分析，判断每一个因素对总量变动的影响程度和影响方向，在税收实践中具有广泛的应用价值。进行指数分析须遵循的一个基本原则是：首先将每一因素定性为数量指标（说明经济现象总体数量或规模的指标）或是质量指标（说明总体质量变动程度的指标）；然后，进行“同度量因素”的确定，即当分析数量指标时，把其他的质量指标固定在基期，当分析质量指标时，把其他的数量指标固定在报告期。这样可以得到综合指数、数量指标指数和质量指标指数，他们共同构成了指数体系。这种把不能直接加总的经济指标，通过“同度量因素”进行量化加总

28、，再对比分析的指数分析方法，是统计分析方法的重要内容之一。为叙述简便，设某一经济总量受两因素影响，其中数量指标为。质量指标为，指标报告期（或称本期）为，基期（或同期）为。则指数体系为：p1q1p1q1p0q1，Xp0q0p0q1p0q0式中：Plql为综合指数;Plql为质量指标指数;pql为数量指标指数.p0q0p0q1p0q0绝对数形式为：共变影响额质量指标影响额数量指标影响额例：设某企业仅生产汽油和柴油，某月的销售收入及汽油柴油销量和价格如下表，试分析销售收入增减变化。某企业某月产品销售收入变动分析表品称产名产品销售收入万元销价元吨销量万吨销量影响收入增减额万元价格影响收入增减额万元两因

29、素共变影响增减额万元本期同期增长增长额本期同期本期同期合计按照指数分析原理：该企业产品销售收入在价格和销量两因素共同影响下出现增减变化。其增长幅度为10.8，8增%长额为680万5元。相对数上的分析为：为方便起见先计算出工p0q1159914.14,169114.07=46402.23绝对数上的分析为：工p1q1-工P0q0(工p1q1-IP0q1)+(工P0q1-IP0q0)(69338-46402.23)+(46402.23-62534)=22935.77-16131.77=6804万元以上分析的经济意义：通过分析可以看出，该企业某月产品销售收入受售价和售量两因素共同影响。其中，由于两个品

30、目的销售价格增加而使销售收入增长49.4，3增%加229万3元6；由于销售数量的减少而使销售收入下降25.（81%-0.7），4减2收0161万3元2。总量指标的多因素变动分析。平均指标的因素变动分析。第五部分相关分析与回归分析一、相关分析1、函数关系与相关关系2、相关关系的种类（1）按相关关系涉及的因素多少划分，分为单相关、复相关和偏相关单相关又称一元相关，是指两个变量之间的相关关系，即仅限于一个变量与另一个变量之间的依存关系。复相关又称多元相关，是指三个或三个以上变量之间的相关关系。在某一变量与多个变量相关时，当假定其他变量不变，其中两个变量的相关关系称为偏相关。（2）按相关形式划分，可以

31、分为线性相关和非线性相关当一个变量发生变动，另一个变量随之发生大致均等的变动（增加或减少），从图形上看，其观测点的分布近似地表现为直线形式，就是线性相关。而当一个变量发生变动，另一个变量也随之发生变动（增加或减少），但是这种变动是不均等的，从图形上看，其观察点的分布表现为各种不同的曲线形式，这种相关关系称为非线性相关。（3）按相关的方向划分，可分为正相关和负相关两个相关现象间，当一个变量的数值增加（或减少）时，另一个变量的数值也随之增加（或减少），这种相关称为正相关。当一个变量的数值增加（或减少）时，而另一个变量的数值相反地呈减少（或增加）趋势变化，称为负相关。（4）按相关关系的程度划分，可分

32、为完全相关、不完全相关和不相关在数据分析中，可采用相关系数（）这一指标来反映相关关系的密切程度。以直线相关来说，如果因变量完全随着自变量而变动，在散点图上可以看出所有的观测点都位于同一条直线上，这时的相关关系就转化为函数关系，称为完全相关，|当因变量完全不随自变量的变动而作相应的变动，亦即变量之间完全不存在任何依存关系，就称为不相关或零相关，|以上是两种极端情况。介于完全相关和零相关之间的关系，称为不完全相关。在一般情况下，相关系数的绝对值是在与这一闭区间的实数值，即13、相关系数的测定与相关关系的判断相关分析，是研究两个或两个以上随机变量之间相互依存关系的紧密程度。直线相关时用相关系数表示，曲线相关时用相关指数表示，多元相关时用复相关系数表示。通过绘制相关图，可以对现象之间存在的相关关系的方向、形式和密切程度作直观的判断（1）相关图（2）相关系数相关关系分析是确定经济现象间所具有的虽不一一对应，但相互依赖、相互依存的密切程度。相关关系分析是建立回归方程进而进行回归预测的