数据分析处理技术.doc

数据分析处理技术主讲教师简介：郑军，女，辽宁税专第一教学部教师，副教授。 导 论一、 什么是统计学1、统计是处理数据的一门科学。2、统计学是关于数据的科学，它所提供的是一套有关数据收集、处理、分析、解释并从数据中得出结论的方法。3、数据分析所用的方法可分为描述统计方法和推断统计方法。二、理解统计对每个人都是必要的。第一部分 数据的整理与图示一、数据的类型按照采用的计量尺度不同，可以将数据分为分类数据、顺序数据和数值型数据。1、分类数据：是只能归于某一类别的非数字型数据，它是对事物进行分类的结果，数据表现为类别，用文字来表述。如：企业按行业分类等。为便于统计处理，对于分类数据可以用数字代码表示各类别，如用1表示制造业，2表示建筑业等。2、顺序数据：是只能归于某一有序类别的非数字型数据。顺序数据虽然也有类别，但这些类别是有序的。如将产品分为一等品、二等品、三等品、次品等。同样，对顺序数据也可以用数字代码来表示。3、数值型数据：是按照数字尺度测量的观测值，其结果表现为具体的数值。现实中所处理的大多数都是数值型数据。品质数据（分类数据和顺序数据、定性数据）数量数据（数值型数据、定量数据）4、区分数据的类型十分重要。因为对不同类型的数据，需要采用不同的方法来处理和分析。二、数据的搜集1、数据的来源（数据的间接来源、直接来源）。2、调查数据（概率抽样、非概率抽样）。概率抽样（即随机抽样）：常用的方式有简单随机抽样、分层抽样、系统抽样、整群抽样、多阶段抽样。非概率抽样：常用的方式有方便抽样、判断抽样（重点抽样、典型抽样）、自愿样本、滚雪球抽样3、搜集数据的基本方法（自填式、面访式、电话式、）。4、数据的误差（抽样误差、非抽样误差）。抽样误差（由于抽样的随机性引起的样本结果与总体真值间的误差）非抽样误差（回答误差、调查员误差等） 三、数据的图表展示（一）、数据的预处理（审核、筛选、排序等）。（二）、分类汇总与数据透视表（数据的全新整理分析方法）（三）、品质数据的整理与展示。1、分类数据的整理与图示（频数与频数分布）2、顺序数据的整理与图示（累计频数和累计频率、环形图）（四）、数值型数据的整理与图示（数据分组、直方图）。（五）合理使用图表（一）、数据的预处理：是在对数据分类或分组前所做的必要处理。内容包括数据的审核、筛选、排序等。1、数据审核：对原始数据审核其完整性和准确性； 对二手数据审核其适用性和时效性。2、数据筛选：根据需要找出符合特定条件的某类数据。3、数据排序：按一定顺序将数据排列，以便通过浏览数据发现明显的特征或趋势等。（二）、数据透视表（数据的全新整理分析方法） 为了从复杂的数据中提取有用的信息，可以利用Excel提供的【数据透视表】工具。利用数据透视表，可以对数据表的重要信息按使用者的习惯或分析要求进行汇总和作图，形成一个符合要求的交叉表（列联表）。在利用数据透视表时，数据源表中的首行必须有列标题。（三）、品质数据的整理与展示数据经过预处理后，可根据需要进一步做分类或分组。对品质数据主要做分类整理，对数值型数据主要是做分组整理。 1、分类数据的整理与图示（频数与频数分布）分类数据本身即是对事物的一种分类。在整理时首先列出所分的类别，然后计算出每一类别的频数、比例等，即可形成一张频数分布表，最后根据需要选择适当图形进行展示，以便对数据及其特征有一个初步了解。分类数据的图示（条形图、帕累托图、饼图等）2、顺序数据的整理与图示（累计频数和累计频率、环形图）（四）、数值型数据的整理与图示（数据分组、直方图）第二部分 数据的概括性度量（集中趋势、离散程度、偏态与峰态的度量）一、总量指标分析二、相对指标分析三、集中趋势度量四、离散程度度量五、偏态与峰态度量一、税收总量指标分析（一）、税收总量指标的分析要求对总量指标的分析和描述应简洁、明了、突出其主要数量特征，给人以深刻印象。例：“十五”期间，我市税收从2000年的561，484万元增加到2005年的1，203，402万元，年均增长16.47%，为我市经济和社会的发展提供了有力的财力保障。 （二）、税收总量指标的图表描述总量指标在Excel 中的图表具体可描述为折线图、条形图（横置或纵置）等。（条形图纵置时也称为柱形图）二、税收相对指标分析在税收数据分析中，方法最简便、应用最广泛的就是相对指标的计算与分析，因其概念比较清晰，这里只对其计算方法作一介绍。相对指标是两个有联系的指标对比的比值，反映事物的数量特征和数量关系。随着税收分析目的的不同，两个相互联系的指标数值对比，可以采取不同的比较标准（即对比的基础），而对比所起的作用也有所不同，从而形成不同的相对指标。归纳起来有两类：一是同一总体内部之比，二是两个总体之间对比。（一）、属于同一总体内部之比的相对指标属于同一总体内部之比的相对指标有：计划完成程度相对指标、结构相对指标、比例相对指标、动态相对指标四种。1、计划完成程度相对指标（分析计划完成情况及计划进度执行情况等）。计划完成程度相对指标100%2、结构相对指标。例：分税种结构分析。结构相对指标100%3、比例相对指标。例：两税收入中消、增两税之比。4、动态相对指标。例：不同时间的税收指标之比。动态相对指标=（二）、属于两个总体之间对比的相对指标属于两个总体之间对比的相对指标有：比较相对指标和强度相对指标。5、比较相对指标。例：两地区税收之比。（较少用绝对量比）6、强度相对指标。例：每百元GDP税收含量。例：X市“十五”时期税收发展情况报告一、“十五”时期X市税收发展总体情况1、增长速度加快，总量节节攀升。“十五”期间我市税收从2000年的561，484万元增加到2005年的1，203，402万元（图表），增长了114.33%，翻了一番还多，每年增收额都在10亿元以上，年均增长16.47%，比“九五”期间9.21%的年均增长率高出7.26个百分点，比我市14%的GDP年均增长率高出2.47个百分点。2、一产比重下降，二产比重提高，三产基本持平。年度第一产 业第二产业第三产业小计采掘业制造业电煤气水建筑业小计交运仓储邮电批发零售金融保险房地产其它行业2002211182128652379104500895197035541139587816733462814133540218670200324309258868296411109612233132575608104518875294167256182380253640200413673313276624014433512111150590700871690815339780703243863253827200580193634351131516052814274177318831949761115826788505318618290448平均增长率%-27.619.5268.1715.3816.8322.2615.428.99-4.712.1133.629.92从三次产业的静态结构看，第三产业为税收的主要来源。“十五”期间三次产业在税收中的比重分别为1.86%、29.3%和68.84%，税收的三分之二以上来自第三产业。（图表）从三次产业的动态结构看，第一产业税收比重下降，第二产业比重提高，第三产业比重基本持平。2002年我市税收三次产业税收收入比例为2.72:27.46:69.82,到2005年演变为0.67:30.20:69.13。税收贡献率和税收拉动作用百分点的计算。三、集中趋势度量应用平均指标分析总体数量方面一般特征的方法。平均指标是社会经济分析中常用的综合指标。（静态、动态均值）常用的平均指标：1、静态均值（1）算术平均数 （2）、调和平均数 （3）众数（4）中位数2、动态均值几何平均数（平均比率、平均速度）反映一个时期内事物发展的快慢程度，一般用百分数表示。简单几何平均数：加权几何平均数：四、离散程度度量1、反映各变量值之间差异或离散程度的指标称为变异指标。以绝对数形式表现的变异指标有全距、平均差和标准差，以相对数形式表现的变异指标有全距系数、平均差系数和标准差系数，其中最常用、最重要的是标准差和标准差系数。2、全距计算简单、容易理解，但受极端值影响较大。3、平均差和标准差的意义基本相同，都是各变量值与算术平均数的平均离差，但在数学处理上有所不同。平均差是采用取绝对值的方法消除离差正负，而标准差是采用平方的方法消除离差的正负。由于标准差具有优良的数学性质，因此它是测定离散程度最重要的指标。 4、变异系数消除了变量值水平高低和计量单位不同的影响，是反映离散程度的相对指标。因为实际工作中，经常要对不同水平或不同计量单位的现象进行研究，所以变异系数是衡量离散程度最普遍使用的指标。“标准差”和“离散系数”这两项指标可应用于行业税负分析中，当一个行业税负标准差和离散系数越大，说明这个行业企业间的税负差异越大。这种差异可能受两个方面因素的影响，一是企业增值幅度不同产生的税负差异；二是企业申报质量和税收征管力度强弱不同产生的差异。行业税负1、行业税负涵义行业税负一般是指某一行业税收总量与税源总量之间的比例关系，是一项反映行业税收经济关系的数据指标，是一个行业税负的平均值。它可以是一个行业所有税种税收总量负担概念，也可以是该行业一个税种税收总量负担的概念。口径定义可依据研究目的不同自行定义。行业税负的计算公式： 行业税负=2、行业税负分析的意义按照税收征管法实施细则第四十七条有关规定，行业税负测算标准可以用于企业纳税评估和企业税负水平核定工作。税收负担是经济结构、税收政策和税收征管等多种因素综合作用的结果。由于这多种因素的影响，所以，地区间、行业间或企业间的税负是不可比的。但具体到同一行业的企业时，由于同一产品或服务的生产技术、加工工艺和原材料、能源消耗相近，适用的税收政策也相同，研究分析同一行业内的企业税负，就可以消除经济结构和税收政策的影响，找出影响行业税负形成的特征规律和建立行业税负的客观标准，为税收征管征收力度考核提供数据支持；为纳税评估提供客观评价指标体系和标准，参考这一标准确定各行业的重点评估对象，可以较为方便地判定企业申报不实的问题。税负预警值的设定1、税负预警值的设定（1）税负预警的涵义预警机制是在对事物规律特征研究的基础上，通过鉴别异常事件，预报警示信息。税负预警是针对异常税负事件予以警示报告。税负预警分析，是通过对同一行业样本个体税负离散状况的分析，总结个体税负相关关系的规律特征。各主管税务机关可根据上级税务机关公布的行业税负率预警区间或选取各行业中的典型企业所测算的样本企业税负率，在考虑企业经营规模、管理水平等因素的基础上，制定本辖区行业税负率的合理浮动区间，对超过浮动区间范围的企业作为纳税评估、稽查选案的重点加以关注。（2）税负预警值的设定方法一：A、计算各样本的税负情况 B、计算该行业的平均税负 C、计算该行业税负标准差s D、计算该行业税负离散系数 E、确定预警范围（当离散系数0.6时：s； 当离散系数0.6时：0.6）方法二：A、确定要设定税负预警的行业 通过调查、搜集、整理该行业的税收经济关系的相关样本（）数据，并计算出该地区行业税负和税负样本标准差（）B、确定税负预警的中心线以上级税务机关设立的行业税负作为本地区税负预警的中心线（），参考本地区该行业的经营规模、管理水平等因素，给定一个合理的把握程度（概率），一般为95。C、确定预警范围对于95的置信度，的取值为1.96 上式可以写为1.962、案例分析某地区某行业平均税负率为7.10%，从中抽取35户企业，税负率情况见下表。要求确定预警范围并排查出低于预警下限的企业。五、偏态与峰态度量偏态与峰态是对数据分布形状的测度（即分布的形状是否对称、偏斜的程度以及分布的扁平程度等）。（1）、偏态系数（SK）=0，数据分布对称；（2）、偏态系数（SK）明显不同于0，数据分布非对称；（偏态系数大于1或小于-1，高度偏态；）（偏态系数大于0为正偏或右偏，偏态系数小于0为负偏或左偏）（偏态系数在0.51或-1-0.5之间，中等偏态；）（偏态系数越接近0，偏斜越低程度）峰态通常是与标准正态分布相比较而言的。（3）、峰态系数（K）=0，数据服从标准正态分布；（4）、峰态系数（K）明显不同于0，数据分布比标准正态分布更平或更尖，称为平峰分布或尖峰分布；（K0，尖峰分布，数据分布更集中）（K0，扁平分布，数据分布越分散）第三部分 时间序列分析时间序列又称时间数列、动态数列，是将反映某一现象总体在时间上变化发展的一系列同类统计指标数值，按时间先后顺序排列所形成的数列。一、在税收数据分析中，常用的动态分析指标有增长量、平均增长量、序时平均数、发展速度、增长速度、平均发展速度、平均增长速度、增长1%绝对值。1、增长量（逐期增长量和累计增长量）第一，逐期增长量：报告期水平与前期水平之差。第二，累计增长量：报告期水平与某一固定基期水平之差。二者关系：一定时期内，逐期增长量之和等于累计增长量，用公式表示为：2、平均增长量：是时间数列中各逐期增长量的序时平均数，表明现象在一定时期内平均每期增（减）的绝对数量。平均增长量=3、序时平均数。即针对某一动态数列求平均值。又由于该动态数列可能是绝对数，也可能是相对数而使计算方法不同。当动态数列为绝对数时，其平均数计算方法比较简单，即用各标志值除以时间项数即可。 某地区税收与经济分析单位：万元年度 GDP税收收入税收收入占GDP比重%税收收入环比发展速度%税收收入增长速度%2003年2793.37 222.53 7.97-2004年3157.69 234.21 7.42105.255.25 2005年3582.46 249.16 6.95106.386.38 2006年3881.73 265.51 6.84106.566.56 2007年4171.69 277.01 6.64104.334.33 2008年4668.30 323.75 6.94116.8716.87 2009年5033.08 384.82 7.65118.8618.86 2010年5458.20 411.03 7.53106.816.81 合计32746.52 2368.02 7.23109.169.16 当动态数列为相对数时，其平均数计算不能简单加总相对数后除以项数，而必须以绝对数动态数列序时平均数为基础，分别计算构成该相对数的分子、分母两个绝对数动态数列的平均数，再加以对比。仍用上例，某地区近8年的平均税收含量为：4、发展速度与增长速度第一，发展速度：动态数列中两个不同时期发展水平的比值。用公式表示：由于对比时所采用的基期不同，发展速度可分为定基发展速度和环比发展速度。（1）环比发展速度：报告期水平与前一期水平的比值。它选择对比的基准点是滚动变化的。用公式表示： （）（2）定基发展速度：报告期水平与某一固定基期水平的比值。它选择对比的基准点是固定不变的。用公式表示：定基发展速度= （）二者关系：（1） 一定时期内，各环比发展速度的连乘积等于相应时期总的定基发展速度，即（2） 两个相邻的定基发展速度的比值等于相应的环比发展速度，用公式表示为：第二，增长速度：报告期增长量与基期水平之比。用公式表示为：同理：定基增长速度=定基发展速度-1环比增长速度=环比发展速度-15 年平均发展速度和年平均增长速度。（1）几何平均法：以上例求税收收入年平均发展速度如下：方法一：应用第3列绝对指标计算方法二：应用第5列环比发展速度指标计算方法三：应用总速度指标计算，即已知2003年到2010年税收收入发展的总速度为184.7077%，则 （2）方程式法计算年均增长速度不能由增长量和增长速度直接计算，而必须将历年增长速度还原为历年发展速度，并应用上述方法求出年平均发展速度，再计算平均增长速度，即：年平均增长速度=年平均发展速度1（或100%）上例中，年平均增长速度=1.0916-1=0.0916=9.16%6、增长1%绝对值：报告期的前一期水平除以100，表明某一现象每增长1%所代表的实际绝对数量。思考：某省2009年完成税收收入182.5亿元，比上年增长20%，该省税收收入在1999年-2000年平均每年递增15%，2001年-2003年平均每年递增16%，2004年-2008年平均每年递增18%，问该省1999年-2008年十年的总发展速度。（十年间平均每年的发展速度和递增速度）总发展速度=1.1521.1631.185=4.72=472% 十年间平均每年的发展速度=116.79% 十年间平均每年的增长速度= =16.79%如果未来五年内仍以此速度发展，到2011年该省税收收入将达到182.5*(116.79%)3=290.75亿元。二、时间序列的分析和预测1、影响动态数列变动的因素一般可归纳为四种，它们是长期趋势、季节变动、循环变动和不规则变动。2、测定长期趋势的方法很多，其中两种基本的方法是移动平均法和最小平方法（最小二乘法）。（1）移动平均法测定长期趋势的基本原理是将原时间数列的时距扩大，并按一定的间隔长度逐项移动计算一系列序时平均数，由这些序时平均数形成一个新的时间数列，在这个新的时间数列中，偶然因素的影响被削弱，从而呈现出现象发展的长期趋势。（2）最小平方法（最小二乘法）测定长期趋势的基本原理是对时间数列配合一条趋势线，使其满足条件，然后根据趋势线计算出相应各时期的趋势值，由趋势值形成的新时间数列呈现出现象发展的长期趋势。为了计算方便，计算时可令。用最小平方法既可以配合直线方程也可以配合曲线方程。3、测定季节变动的方法也很多，常用的方法有两种：原资料平均法和趋势剔除法。4、测定循环波动可以用残余法（剩余法）。5、不规则变动具有不可预测性，它是由大量偶然的、随机的因素造成现象的波动，从一个较长时间看，各种偶然、随机因素的影响会互相抵消，因此，实际分析现象变动趋势时，可以不予考虑。第四部分 指数分析思路与方法指数是指反映经济现象数量变动的相对数。指数分析法即运用这种相对数来反映不能直接加总的多因素组成的经济现象的综合变动。因此在社会实践中，也有人称其为因素分析法。通过指数分析方法可以将受两个及两个以上因素影响的经济总量的变动情况进行因素分解分析，判断每一个因素对总量变动的影响程度和影响方向，在税收实践中具有广泛的应用价值。进行指数分析须遵循的一个基本原则是：首先将每一因素定性为数量指标（说明经济现象总体数量或规模的指标）或是质量指标（说明总体质量变动程度的指标）；然后，进行“同度量因素”的确定，即当分析数量指标时，把其他的质量指标固定在基期，当分析质量指标时，把其他的数量指标固定在报告期。这样可以得到综合指数、数量指标指数和质量指标指数，他们共同构成了指数体系。这种把不能直接加总的经济指标，通过“同度量因素”进行量化加总，再对比分析的指数分析方法，是统计分析方法的重要内容之一。为叙述简便，设某一经济总量受两因素影响，其中数量指标为q，质量指标为p，指标报告期（或称本期）为1，基期（或同期）为0，则指数体系为：式中： 绝对数形式为： 共变影响额 质量指标影响额 数量指标影响额例：设某企业仅生产汽油和柴油，某月的销售收入及汽油、柴油销量和价格如下表，试分析销售收入增减变化。某企业某月产品销售收入变动分析表产品名称产品销售收入(万元)pq销价(元/吨)p销量(万吨)q销量影响收入增减额(万元)价格影响收入增减额(万元)两因素共变影响增减额(万元)本期同期增长%增长额本期同期本期同期A343602732725.7470332430159914.1417.09-4717117507033B3497835207-0.65-2292486169114.0720.82-1141411186-229合计693386253410.886804-16132229366804按照指数分析原理：该企业产品销售收入在价格和销量两因素共同影响下出现增减变化。其增长幅度为10.88%，增长额为6805万元。相对数上的分析为：为方便起见先计算出绝对数上的分析为：以上分析的经济意义：通过分析可以看出，该企业某月产品销售收入受售价和售量两因素共同影响。其中，由于两个品目的销售价格增加而使销售收入增长49.43%，增加22936万元；由于销售数量的减少而使销售收入下降25.8%（1-0.7420），减收16132万元。总量指标的多因素变动分析。平均指标的因素变动分析。第五部分 相关分析与回归分析一、相关分析1、函数关系与相关关系2、相关关系的种类（1）按相关关系涉及的因素多少划分，分为单相关、复相关和偏相关单相关又称一元相关，是指两个变量之间的相关关系，即仅限于一个变量与另一个变量之间的依存关系。复相关又称多元相关，是指三个或三个以上变量之间的相关关系。在某一变量与多个变量相关时，当假定其他变量不变，其中两个变量的相关关系称为偏相关。（2）按相关形式划分，可以分为线性相关和非线性相关当一个变量发生变动，另一个变量随之发生大致均等的变动（增加或减少），从图形上看，其观测点的分布近似地表现为直线形式，就是线性相关。而当一个变量发生变动，另一个变量也随之发生变动（增加或减少），但是这种变动是不均等的，从图形上看，其观察点的分布表现为各种不同的曲线形式，这种相关关系称为非线性相关。（3）按相关的方向划分，可分为正相关和负相关两个相关现象间，当一个变量的数值增加（或减少）时，另一个变量的数值也随之增加（或减少），这种相关称为正相关。当一个变量的数值增加（或减少）时，而另一个变量的数值相反地呈减少（或增加）趋势变化，称为负相关。（4）按相关关系的程度划分，可分为完全相关、不完全相关和不相关在数据分析中，可采用相关系数（r）这一指标来反映相关关系的密切程度。以直线相关来说，如果因变量完全随着自变量而变动，在散点图上可以看出所有的观测点都位于同一条直线上，这时的相关关系就转化为函数关系，称为完全相关，|r|=1。当因变量完全不随自变量的变动而作相应的变动，亦即变量之间完全不存在任何依存关系，就称为不相关或零相关，|r|=0。以上是两种极端情况。介于完全相关和零相关之间的关系，称为不完全相关。在一般情况下，相关系数R的绝对值是在0与1这一闭区间的实数值，即0r1。3、相关系数的测定与相关关系的判断相关分析，是研究两个或两个以上随机变量之间相互依存关系的紧密程度。直线相关时用相关系数表示，曲线相关时用相关指数表示，多元相关时用复相关系数表示。通过绘制相关图，可以对现象之间存在的相关关系的方向、形式和密切程度作直观的判断。（1）相关图（2）相关系数相关关系分析是确定经济现象间所具有的虽不一一对应，但相互依赖、相互依存的密切程度。相关关系分析是建立回归方程进而进行回归预测的前提。相关关系分析可以在两个变量之间，称单相关，也可以在三个及以上变量之间，称复相关。相关关系分析的关键就是计算相关系数，然后做出判断。目前可以用Excel图表公式求出相关系数。相关系数的方向可以大于0，表示正相关，也可以小于0，表示负相关。但取值范围是-1r+1。相关系数的密切程度：|r|在0.3以下是不相关；|r|在0.30.5之间是低度相关；|r|在0.50.8之间是显著相关；|r|在0.8以上是高度相关。|r|