1206面对大数据挑战和机遇-敢问我国政府统计的数据采集方式的出路

1、面对大数据的机遇与挑战：敢问我国政府统计数据采集方式的出路暨南大学 刘建平一、大数据的机遇与挑战二、我国政府统计数据采集方式的出路一、大数据的机遇与挑战一什么是大数据？我的理解：大数据是信息时代的产物，是人们对客观世界和人类活动记录和扫描的结果。声、像、图、数、语言、文字无所不包；记录和扫描的手段和工具与时俱进；“大是相对的，开展的；是应信息时代开展提出的一个概念。二大数据带来的机遇大数据记录了时代和社会的开展进程，将形成自然和人类社会的历史长河。它具有“显微镜和“望远镜的作用。通过大数据观察记录到的丰富的自然、经济、社会的现象，人们可以监测到时代和社会的脉搏，及时了解客观世界、科学动态、社会

2、动态、疾病疫情等等各个方面的现时情况，发挥“显微镜的作用；大数据也可以发挥“望远镜的作用，既可以预测这些方面的未来开展趋势，也可以为未来的回溯和考古提供依据，还可以通过不同目的数据的整合，到达预想之外的目的。有人把大数据比喻为“石油和“金矿，有人说“谁掌握了大数据，谁就掌握了未来。这些都说明，大数据孕育着无限的机遇。三大数据带来的挑战获取大数据的目的：数据信息知识Big Data to Knowledge)数据量大不一等于信息量大，获得了信息不等于得到了知识。把无限的机遇变为现实，需要解决许多现实的问题，需要面对方方面面的挑战。要探索数据产生的机制、要研究从数据提取信息和把信息转变为知识的理论

3、和方法。这都需要时间。美国科学院全国研究理事会的“大数据分析委员会(Committee on Massive Data Analysis)2021年发表“Frontier in Massive Dada Analysis，提出10个有关大数据的挑战性问题：处理高度分布的数据资源； 追踪数据的来源；核实数据; 处理样本偏倚和异质化；处理不同格式和结构的数据；开发并行和分布式算法；数据完整性、平安性、一体化和数据共享；开发大数据的可视化方法；开展可扩展算法；处理实时分析和决策制定；从大数据中可获得海量的信息，海量的信息需要新的信息处理技术和工具，“应这种需求开展起来的新的信息处理技术和工具无疑反过

4、来又促进了信息流量的增加和流速的加快，由此而产生的信息流更是以让人难以置信的速度增长。刘建平等?辅助信息在抽样调查中的应用模型与方法?2021有人做了统计 ，近些年全球每两年产生的数据量就相当于2000年以前数据生产量的总和。现在数据规模上了PB级别，根据麦肯锡的研究报告，2021年新增数据量在全球的大体分布是：北美3500PB，欧洲2000PB，日本400PB，中国250PB，印度50PB。从数据角度而言，每两年翻一倍。这比我国GDP翻番速度快得多。 数据字节单位换算公式1KBKibibyte，千字节=1024B1MBMebibyte，兆字节，简称“兆=1024KB1GBGigabyte，吉

5、字节，又称“千兆=1024MB1TBTerabyte，万亿字节或太字节=1024GB1PBPetabyte，千万亿字节或拍字节=1024TB1EBExabyte，百亿亿字节或艾字节=1024PB1ZBZettabyte，十万亿亿字节或泽字节= 1024 EB1YBYottabyte，一亿亿亿字节或尧字节= 1024 ZB1BBBrontobyte，一千亿亿亿字节= 1024 YB大数据对官方统计带来的挑战：大数据对官方统计的数据采集方式带来挑战大数据对官方统计的管理体系及运作方式带来挑战大数据对官方统计的制度方法带来挑战大数据对官方统计质量控制和数据分析的手段带来挑战大数据对官方统计人员的综合

6、素质提出新要求二、我国政府统计数据采集方式的出路面对大数据带来的机遇和挑战，敢问我国政府统计数据采集方式的出路何在？大数据说模糊也具体，说近也远。但是不能因为模糊不作为，也不能因为远不行动，凡事要抢占先机，但千里之行始于足下。我国政府统计数据采集方式应该从近做起，从具体的做起，从能做的做起，未雨绸缪，开拓创新。2021年修订的?中华人民共和国统计法?第十六条规定： 搜集、整理统计资料，应当以周期性普查为根底，以经常性抽样调查为主体，综合运用全面调查、重点调查等方法，并充分利用行政记录等资料。我理解这项规定有三个含义: 1、周期性普查为根底，经常性抽样调查为主体。 2、综合运用全面调查、重点调查

7、等方法。 3、充分利用行政记录等资料。2021年4月国家统计局局务会专题研究大数据问题 形成报告上报国务院； 与企业洽谈； 充实统计法实施细那么二、我国政府统计数据采集方式的出路一改革完善现有的政府统计调查体系二充分利用行政记录，逐步代替辅助统计调查三从价格指数的编制入手，探索利用电商或扫描数据编制CPI、PPI的路径，逐步拓展利用非结构数据的范围。一改革完善现有的统计调查制度1、我国政府统计调查体系的现状 近年来，逐步向统计法确定的政府统计调查体系目标开展。 1在调查方法方面，抽样方法逐步得到推广使用，但统计报表制度仍占据主导地位。抽样调查和行政记录等方法的应用范围在逐步扩大。 2在调查手段

8、方面，不断应用高科技手段提高数据搜集的效率。从2021年开始在全国实施的“四大工程是统计调查流程的系统再造。但也存在很多问题。第三次全国经济普查最大的创新是广泛采用信息技术。联网直报单位将通过统计联网直报平台布置给企业填报，非联网直报单位和个体经营户将由普查员手持电子终端设备进行数据采集、填报普查表。但也要接受实践的检验。 3在调查工程和指标体系设置方面，现行调查体系根本覆盖了国民经济各个行业，反映了社会经济生产生活的方方面面，在一定程度上满足了国家宏观经济管理的需要。 目前我国政府实施的的统计调查体系包括： 周期性的普查制度和必要的专项普查； 经常性的抽样调查； 必要的全面报表、重点调查和行

9、政记录。“三上企业。 抽样调查包括的主要工程有：属于人与住户类的有人口普查中的长表调查，城、乡住户调查，月度和季度劳动力调查，逢5的1%人口抽样调查，每年一次的人口变动情况抽样调查等；属于经济类方面的有：农产量、“三下企业和个体经营户的抽样调查、各种价风格查等。2021年开始全面推进城乡住户调查一体化改革：统一调查指标，建立城乡可比、以可支配收入指标为核心的居民收支指标体系；统一抽样方法，采取二相抽样和多阶段抽样相结合的方法。 4在数据发布与分析方面，根本做到了根本统计数据发布内容和时间的事前公开，对主要宏观统计数据及时进行了大量的后续分析，为各级政府提供决策参考，取得很大成效。2、现行政府统

10、计调查体系存在的问题 还未摆脱适应方案经济体制的全面统计报表制度的惯性和路径依赖，难以适应市场经济体制和与国际接轨的需要。具体表现在以下几方面： 1在思想认识、思维方式，制度、体制，工作作风方面存在不利于现代统计调查制度方法创新、推广和应用的制约因素 2数据搜集方式仍然落后于网络信息化开展。 目前，统计部门虽然已经实行的大中型企业联网直报制度取得了一定效果，但在其它调查领域还未建立起专门、独立、完整的统计调查直报平台，难以适应大数据时代的社会开展需要。 3统计报表制度仍然占据主导地位，排斥了抽样调查、行政记录的作用 统计报表制度是方案经济时代的产物。由于统计管理体制改革的滞后，工业、建筑业、效

11、劳业等一系列重要调查领域的所谓三上“企业执行的依然是全面统计报表制度。 随着需求的增长，利用统计报表制度布置的报表越来越多，面对这么多的报表，基层调查人员处于被动应付、疲于奔命的状态，使得实施效果大打折扣；另一方面，企业统计根底不扎实，很多企业经常是预计或估计报表数据；由于时间和人力的限制，调查人员也无法认真审核源头数据质量。 在当前调查体系下，虽然统计报表制度已经担当不起主导作用，但依然没有退下来，造成经常性抽样调查、行政记录等难以正常发挥作用。4调查体系缺乏系统的顶层设计 具体表现为： 第一，综合统计制度与部门统计制度之间，专业统计制度与核算统计制度之间存在矛盾，缺乏协调统一。 第二，统计

12、调查体系未能形成一个有机、完整、协调的整体。周期性普查与专项普查、普查与抽样调查、年报与抽样调查，全面报表与抽样调查，抽样调查各工程之间缺乏统筹和协调。 第三，重复调查多，基层负担重，数出多门，权威性、公信力下降。 5调查工程设置不合理、调查工程交叉重复、调查内容追求大而全，指标体系繁杂、老化，有限的统计资源浪费严重。 第一，指标存在五多五少。 反映经济增长数量的指标多，反映经济增长质量、方式和可持续开展的指标少； 反映价值量的指标多，反映物量的指标少； 反映供给的指标多，反映需求的少； 反映经济开展的多，反映社会开展、科技开展、政治文明和环境生态的少； 方案经济遗留指标多，满足市场经济需要的

13、指标少。 第二，调查指标过多、过细，难以保证调查数据的及时、准确。据统计，2006年统计公报指标有637个，而效劳于公报的统计指标有2225个，占指标总数的24；用于统计摘要、提要的指标有2552个，占28；剩下的大量指标极少用到。 第三，调查指标老化现象严重。例如，国内贸易统计中，仍然保存各种商品的购进总额、批发总额、零售总额，这些指标对于政府宏观调控来说已经没有多大用处，但仍然在调查并统计这些数据，造成调查资源的极大浪费，也加重了调查对象的负担，影响了调查的质量。 6调查数据资料的发布与后续开发机制有待标准和加强 第一，调查数据发布内容不够全面，缺乏调查数据产生具体环节和过程的说明，不便于

14、用户了解数据质量和信度。 第二，大量调查数据没有得到充分开发利用。原因在于政府统计部门是分专业、分工程采集数据，调查成果被不同部门割据，难以共享，这样就难以得到有效开发利用。3、适时改革完善我国政府统计调查体系 1真正贯彻落实周期性普查为根底，经常性抽样调查为主体的规定。 第一，以抽样框的建立更新维护为纽带，建立周期性普查与经常性抽样调查之间的良性互动关系 第二，逐步缩小直至取消全面统计报表制度，使抽样调查取代全面统计报表制度真正成为政府统计调查的主体方法，同时充分利用行政记录。 第三，调查对象稳定的经常的一次性抽样调查设计逐步向科学的连续性抽样调查设计转变。 2对统计调查体系进行系统的顶层设

15、计 第一，理顺综合统计制度与部门统计制度、专业统计制度与核算统计制度之间的关系，完善统计调查制度的组织实施机制。 第二，理顺各种调查之间的分工协作关系。包括周期性普查与专项普查之间，各项周期性普查之间的关系；普查与抽样调查之间，各抽样调查工程之间，以及连续性抽样与一次性抽样工程之间的关系。处理好普查、全面报表、抽样调查、行政记录之间的关系。 第三，精简、整合、增加调查内容、调查工程和指标体系 调查内容的精简、整合和增加。适应政府职能转变的要求，实现从适应方案经济要求的以各种具体产品产值为主要内容调查内容向适应市场经济要求的以各种宏观统计数据为主要内容的统计调查内容的转变，满足政府对国民经济进行

16、宏观管理和调控的需要。 调查工程的精简、整合和增加。为了适应调查内容的转变，将现行的各类调查工程进行精简、整合，划分为如下三类。 人口住户类调查。以劳动力调查为纽带，统一设计人口住户类调查。 经济类调查。以各类根本单位和个体经营户为调查对象，统一设计不同产业的调查工程，以便于全面系统地了解国民经济的运行和开展。 其它专项类调查。根据需要，对社会经济开展过程中出现的新情况新问题设置专项调查。 调查指标的精简、整合和增加。根据社会经济开展要求，科学设置指标体系框架，合理把握指标数量的“度，统一和明确指标含义，逐步建立科学、统一、简约的统计调查指标体系。取消过时的、利用率低的指标，改进不易取得的指标

17、，增加政府及社会各界普遍关注的、与社会经济开展相适应的指标。 按照调查工程类不同，将调查表设计为企业一套表、家庭住户类一套表和必要的专项调查表。3改革完善调查数据的发布与后续开发机制 第一，建立标准的统计调查数据发布机制。 首先，发布数据的内容应具有更加广泛的涵义。具体包括调查数据的调查方法、取得方式、整理方法、调整方法、保密程度与方式、数据公布的时间与方式、数据资料的使用权限与公众知情权以及数据资料开发的广度与深度等各个方面。 其次，改革和完善统计资料和统计新闻发布制度。统一对外提供和发布重要的国民经济与社会开展的统计数据，确保统计数据发布的标准性和统一性。 最后，严格统计调查资料的保密制度

18、。 第二，建立统计调查数据的开发利用机制。充分开发利用统计调查获取的各种时间序列数据和面板数据，不仅满足宏观经济分析的需要，还要满足微观经济分析的需要。二利用行政记录逐步代替辅助统计调查1、问题的提出2、解困的途径:行政记录代替辅助统计调查3、行政记录代替辅助统计调查的理论与实践4、我国行政记录统计化的路径选择与建议 1、问题的提出 1数据需求大 2调查负担重 3调查本钱高 4财政预算约束 5无答复率高：不存在内在利益鼓励机制 6行政干预严重：存在内在利益鼓励机制 7统计数据的真实性、准确性、及时性和完整性受到挑战和质疑2、解困途径：利用行政记录代替辅助统计调查 1行政记录是官方统计数据的重要

19、来源。 行政记录：国家行政部门为实现效劳、管理、监督的目的，对系统内的登记对象收集相关信息和对信息进行加工的活动。 行政记录也是官方统计数据的重要来源。 多国的实践经验是利用行政记录取代统计调查数据或作为辅助信息推算统计调查数据。2行政数据取代推算统计调查数据的依据 第一，对象总体和登记、调查内容的一致性； 第二，数据具有更好的稳定性和连续性； 第三，数据质量高，无答复率低。 “理性人 假定； 责任分散效应； 搭便车现象； 第四，可以减轻调查负担，降低社会本钱，防止行政干预，满足多级管理需要。 3行政数据统计化的技术根底 提高行政数据的官方统计利用率，一个关键条件是部门间的数据实现流动和共享，

20、计算机技术和互联网技术的快速开展为实现这种数据共享提供了坚实的技术根底。4影响行政记录流动和共享的问题和障碍 第一，分类、指标设置及口径不一致。 第二，行政记录本身质量有待提高。 第三，时间要求不一致。 第四，存在部门壁垒。 第五，法律依据不充分。3、行政记录代替辅助统计调查的理论与实践1理论研究 理论研究滞后于实践应用。 理论研究始于一书一文。1995年丹麦统计局?丹麦人员统计基于行政记录的统计系统?一书的出版和Hoffman. E?必须在官方统计中利用行政记录但是，又该如何利用？?一文发表。 研究最为系统的两部专著：一部是2007年瑞典统计局Anders Wallgren 和Britt W

21、allgren合著的?基于行政记录的统计行政记录在统计上的应用?，它从行政记录与统计调查的关系入手，就如何建立基于行政记录的统计系统以及期间出现问题的解决做了较为详细的介绍；另一部是2007年由欧盟统计局编写的?北欧诸国基于行政记录的统计体系：人口和社会统计最好的实践经验?，它剖析行政记录统计化的前提条件，系统介绍北欧诸国行政记录统计化的实践历程及经验教训。 2实践应用 行政记录统计化理论研究的滞后并没有阻碍行政记录在官方统计中的广泛运用和越来越重要的地位。 早在20世纪中期，北欧诸国都在行政记录统计化方面做出许多实践上的尝试，不断从广度和深度上探索行政记录统计化的方法和路径；西欧、北美、亚洲

22、的国家也相继展开。 北美地区的实践 美国普查局于1994年专门成立一个制订行政记录使用方案的研究小组，主要任务是研究如何在人口普查和其他调查中使用行政记录。1999年，研究小组提出建议，在2021年人口普查中使用行政记录替代局部普查工程。美国普查局采纳了该建议。近年来，该小组又提出建议，要在2021年及以后的人口普查中，全面使用行政记录。 加拿大国家统计局本世纪初将行政记录纳入企业统计调查中，并且不断拓展其在官方统计的应用。 北欧地区的实践 芬兰使用行政记录最早始于1970年，整合行政记录是芬兰统计局重要的日常工作之一。目前，芬兰超过95%的官方统计产品直接从行政记录中获得。20世纪八十年代，

23、芬兰已经完全利用行政记录替代了人口普查。1999年开始，芬兰将增值税记录和社会保障记录应用于短期调查，在20多年的实践中，证明了用行政记录代替各类调查的可行性和可取性。 挪威统计局于2021年底成功建立基于行政管理数据的统计系统根底库。其中包括人口登记库、企业登记库、以及住址、建筑物和住宅登记库等三个子库。在根底库中的每个个体单位都拥有唯一的识别代码，这些代码在各个子库中都通用，所有子库可以凭借识别代码相互联接起来。 西欧地区的实践 法国是最早对行政记录进行统计开发的国家。20世纪40年代就开始了利用行政记录的研究和实践工作。为适应新形势,1975年,法国政府公布法令，对1948年建立的名录库

24、体系进行彻底改造,并把非生产性的公共机构补充进来,正式命名为“全国企业与基层机构的计算机管理名录库(SIRENE)。到1983年，该数据库包括了所有法人单位和自然人单位，在法国地位极高 ，几乎成为所有抽样调查的共同抽样框。 荷兰统计局在2004年修订的统计法中，明确要求统计局使用行政记录作为统计调查的第一数据来源。只有行政记录不满足统计调查的需要，国家统计局才可以进行统计调查。 亚洲地区的实践 日本新统计法案实施前，统计法仅对普查和抽样调查有所规定，对行政记录运用于官方统计那么没有涉及到，各部门出于保密性的需要，纷纷对官方统计部门设置门槛，使得官方统计难以得到有关行政记录。2007年制定、20

25、21年全面执行的新的统计法案中做出明确规定，如果官方统计部门认为行政记录有利于提高统计调查数据的精度，就有权让相应行政记录部门提供行政记录，并且有权要求该行政记录部门协助完成行政记录与统计调查指标数据的对接、匹对等工作。 2021年实施的印度统计强化方案India Statistical Strengthening Project, ISSP中对行政记录的应用做了强制性规定。 我国的实践 我国?统计法?虽然规定，收集整理统计数据要充分利用行政记录，但没有系统明确的细那么。没有规定资料共享的责任与义务；对数据的质量和开放度没有任何责任认定和处理规定；对数据的保密没有具体规定等等。行政记录虽然有一

26、定程度范围的利用，但远远不够。 利用公安户籍记录作为人口普查前摸查和清查的依据；利用工商部门记录进行更新和核实根本单位名录库；利用税收记录评估经济普查数据质量；在季度GDP核算中利用部门行政记录推算交通运输业、金融业、公共管理和社会组织等行业的增加值；利用劳动部门的行政记录推算“城镇登记失业率等等。部门行政记录没有得到充分利用，统计部门存在大量的重复劳动。 4、行政记录统计化的路径选择与建议1加强对行政记录的质量监督. 行政记录的获取和共享是其统计化的主要障碍。行政记录与部门利益紧密相连，行政记录共享等于给了社会监督行政记录数据质量的权力，这将不利于行政部门的利益寻租并可能监控到其干预数据的力

27、度和范围。加强对行政记录的质量监督，可以减少数据操控现象和压缩行政部门寻租空间，提高行政记录数据质量，使行政记录更加透明公正的同时，也为行政记录应用于官方统计去除了利益障碍。2统一行业分类、统一指标核算标准，畅通行政记录跨部门利用的渠道。 统一行业分类，标准统计标准，是统计科学性和统计工作集中统一管理的需要，也是统计资料准确性和统一性、可比性、连续性的可靠保证。目前，统一和标准的工作在有序推进。 3完善统计法律法规，为行政记录的可得性、准确性及保密性提供保障 首先，完善行政登记法律法规，为行政记录的准确性提供保障； 其次，完善综合统计法律法规，为行政记录可得性提供保障； 第三，完善行政记录运用的保密规定，为行政记录的统计应用扫清思想障碍。 4建立统一数据大平台，夯实行政记录统计化根底 建立包含各行政部门数据的共享平台是实现行政记录统计化的根底。我国数据共享大平台应由人员库、职业库、企业库、地址库四个相互关联的根底库构成。每个根底库又关联着多个数据库。如人员库中，除了有全员人口信息数据库外，还关联人口普查数据库、公安户籍数据库、社会保障数据库等等。通过