外国统计数据质量的涵义_管理以及对我国的启示.docx

外国统计数据质量的涵义 、管理以及对我国的启示余芳东abstractthis paper would elaborate the definition of data quality and assessment standards ,and introduce themethods and experiences of the data quality management in foreign countries. based on these ,it puts for2ward the suggestions improving management of data quality for our country.关键词 : 外国统计 ; 数据质量 ; 管理统计数据质量是国家统计机构的“生命”。数据质量的好坏 ,不仅影响以此为依据的决策正确性与科学性 ,而 且还直接威胁着国家统计机构的形象和声誉 。随着经济 全球化进程的加快 , 社会各界对统计信息的需求越来越 广泛 ,特别是信息网络技术的推广应用 ,一方面对统计数 据质量提出更高的要求 ,赋予其更新的内涵 ,另一方面也 为改进和提高统计信息的质量提供了更好的便利条件和 手段 。为此 ,国际统计界长期不懈地开展这方面的讨论 与研究 ,并取得重大的进展 。近 20 年来 ,关于统计数据质 量问题研究出现了两个新的变化趋势 : 一是数据质量的 概念从狭义向广义方向发展 ,提出了多维的 、全方位的数 据质量概念 ;二是建立一套全面的 、系统的统计数据质量 评价和管理体系 , 成为当前各国政府和有关国际组织改 进和提高统计数据质量的重要内容 。本文将全面系统地 阐述统计数据质量的概念和衡量标准 , 介绍国外数据质 量评价和管理的方法和经验 ,在此基础上 ,提出加强我国 统计数据质量管理的参考建议 。识也从狭义向广义转变 ,要求从统计数据提供者 、生产者和用户等多个角度来衡量数据质量 。准确性已不再是衡 量统计数据质量的唯一标准 。因为从用户使用的角度来 看 ,即使准确性相当高的统计数据 ,如果时效性差 ,或者 不为用户所关心 ,仍达不到质量的标准 。为此 ,各国统计 机构和有关国际组织从满足用户需要的角度出发 , 确定 了统计数据质量的概念 。简单地说 ,数据质量是指统计 信息对用户需求的满足程度 。具体包括如下几个方面 :1. 适用性 :是指收集的统计信息是否有用 ,是否符合用 户的需求 。它要求政府统计机构与社会各界保持密切的 联系 ,通过各种途径及时了解和掌握社会对统计信息的需 求情况 ,以适应社会经济管理的需要 ,减少或弥补统计信 息供应与社会需求之间的缺口 。在开展某一统计调查之 前 ,首先必须了解用户的需求 ,收集有用的统计信息 。2. 准确性 : 是指统计估算值与目标特征值 即“真 值” 之间的差异程度 。统计误差越小 , 准确性 就 越 高 。实 际 上所谓的“真值”是不可知的 ,一般通过分析抽样误差 、范 围误差 、计数误差 、不回答率 、加工整理差错 、模型假设误 差等影响数据准确性的各个因素 , 测算统计估算值的变 动系数 、标准差 、均方差 、曲线配合吻合度 、假 设 检 验 、偏 差等 ,将统计误差控制在一个可接受的置信区间内 。3. 及时性 :是指调查基准期与统 计 数 据 发 布 时 间 之 间的间隔时间 。统计数据质量的及时性方面要求政府统 计机构 :一是应做到统计工作的手段和方法不断创新 ,及 时将计算机辅助调查系统 、计算机加工处理系统 、电子数 据交换系统等新的信息技术应用到统计调查 、加工整理 和数据传输工作中去 , 缩短调查基准期与数据结果发布 时间之间的间隔时间 ,提高统计数据的时效性 。二是应 预先公布各项统计数据发布日期 ,并按时间表发布数据 , 建立和规范统计信息发布制定 , 便于用户及时掌握统计 信息 。一 、统计数据质量的涵义由于统 计 是 对 某 一 事 物 现 象 总 体 的 估 算 而 不 是 精 算 ,这种估算的准确性如何 ,成为有关人士长期关注的焦 点 。在人们的一般观念中 ,准确性是统计数据质量的同 义词 ,统计误差越小越准确 ,数据质量就越高 。在 20 世纪80 年代以前 ,国际统计界基本上是以提高数据准确性为 出发点 ,从数理统计和抽样技术角度 ,大量研究如何缩小 统计误差 、控制数据质量 。因此 , 在这一时 期 , 数 理 统 计 和抽样技术理论方法得到较大的发展 , 并在统计实际工 作中被广泛应用 。随着人们质量观念的变化 ,质量不仅 仅单纯是指产品或服务的使用性能 , 还包括产品或服务 满足用户需求的程度 ,它是一个包含丰富内涵 、具有多维 因素的综合性概念 。相应地 ,对统计数据质量概念的认27余芳东 :外国统计数据质量的涵义 、管理以及对我国的启示4. 可比性 :是指同一项目的统计 数 据 在 时 间 上 和 空间上可比程度 。这要求统计的概念和方法在时间上保持 相对稳定 ,在不同地区使用统一的统计制度方法和标准 分类 ,保证统计数据的口径范围 、计算方法在时间上一致 衔接 ,在地区之间可比 。5. 可衔接性 :是指不同统计项目之间即同一统计机 构内部不同统计调查项目之间 、不同机构之间以及与国 际组织之间统计数据的衔接程度 。它要求 : 一是全国范 围内所有专业统计项目在统一的统计框架体系 、分类标 准下 ,按统一方法编制统计数据 ,保证各种不同来源的统 计数据之间衔接一致 , 在指标概念和口径范围上保持一 致 ,便于用户综合使用 。二是在统计调查和数据加工整 理中应用统一方法和程序 , 例如在各种抽样调查中应用 统一抽样框 、统一数据加工编辑计算方法 ,保证各个项目 之间误差最小 。三是与国际统计标准保持衔接和可比 , 采用国际统计标准如联合国 93sna 的框架体系 、国际货 币基金组织国际收支用统计手册等 ,便于国际比较 。6. 可取得性 : 是指用户从统计部 门 取 得 统 计 信 息 的 容易程度 ,包括列明用户从统计机构可以取得的统计信 息内容以及应用先进便捷的统计信息服务方式 。它要求 国家统计机构 : 一是拥有便于用户检索和查询的统计数 据分类目录系统 。二是建立方便快捷的统计服务系统 , 包括统计 数 据 传 输 系 统 、适 合 用 户 的 格 式 和 发 布 渠 道 。 三是对外公布的统计数据图文形式要清晰 、明了 。7. 可解释性 :是指在公布统计数据时 ,应同时公开关 于统计数据的补充信息或称为“源数据”, 即关于统计数 据的解释说明 。内容包括所使用的统计指标基本概念 、 计算方法 、调查方法 、分类以及数据准确程度即各种误差 的测量 ,便于用户正确使用统计信息 ,以防止对统计数据 的错误解释和使用 。8. 客观性 ( 或称诚信) : 是指统计机构应 该 遵 守 统 计 数据收集 、加工整理和公布过程中遵守客观性原则 ,具体 包括统计 政 策 和 统 计 实 际 工 作 的 公 正 透 明 、专 业 要 求 。 要求 :一是在客观 、公正的基础上收集统计数据 。二是从 统计的角度选择调查方法和统计方法 , 统计机构有权对 统计数据的错误解释和错误使用作出评论 。三是统计政 策和统计工作过程应公开透明 , 让用户了解统计数据的 编制和公布所依据的法律 、政策 ,在公布之前政府有关部 门获得数据的情况 , 以及事先向社会公众通知重大统计 方法的变化情况 。9. 方法专业性或健全性 : 是指应用科学的统计方法 , 一般要求采用国际上通用的标准 、统计概念 、方法 、范围 和分类等 。10. 有效性 :是指应降低统计工作的生产费用 ,提高效 率 。要求国家统计机构采取各种有效措施 ,提高各个统 计项目的工作效率 ,尽量减少费用投入 。11. 减轻调查负担 : 是指统计机构方法应加强与政府各部门的合作 ,充分利用现有的行政记录资源 ,减少重复 统计 ,统计调查表要简单明了 ,使用先进的电子技术和新 的统计方法 ,最大限度地减轻社会调查负担 。上述 11 个方面的统计数据质量标准 ,分别从用户 、生 产者和被调查者三个角度提出的 ,它们之间既密切联系 , 又存在着某种矛盾与冲突 。例如 ,在准确性与及时性 、准 确性与有效性 、相关性与有效性等方面之间均存在着不 同程度的冲突 ,在达到某一方面的要求时 ,必然会损害另 一方面的要求 。即使对于同一统计数据 ,不同用户也会 提出不同的质量要求 ,有的可能偏重准确性 ,有的可能偏 重及时性 。因此 ,政府统计部门需要在统计数据质量各 个方面之间不断地进行权衡 、选择和折衷 ,以达到一个最 佳的平衡点 。这决定了统计数据质量不是一个绝对的 、 而是相对的属性概念 ,不同的组织机构 、不同用户 、不同 时期对统计数据质量有不同的标准 。目前各国统计机构 和有关国际组织对统计数据质量含义的解释和理解存在 一定的分歧 ,对于统计数据质量应涵盖哪几个方面 ,还没 有一个统一的标准 。各国从本国的实际情况以及对数据 质量含义的理解出发 ,确定了不同的数据质量标准 。尽 管如此 ,在国际官方统计界 ,对数据质量概念的认识在一 些方面达到高度的共识 ,并取得广泛的一致 : 一是注重从 用户角度来衡量数据质量 , 强调用户对统计信息的满意 程度 ;二是数据质量是一个综合性概念 ,需要建立一套开 放 ,透明的统计数据质量管理体系 ,应从多角度 、多方面 来衡量 ;三是适用性 、准确性 、及时性 、可取 得 性 、可 比 性 和衔接性构成数据质量的基本要素 。二 、外国统计数据质量评价和管理方面的方法和经验为了充分发挥统计信息在行政决策和社会政策中的 作用 ,外国特别是发达国家统计机构十分重视数据质量 的评价和管理 ,建立数据质量评价机制和管理体系 ,以改 进和提高统计数据质量 。总体上 ,数据质量管理可分为 两类 :一类是数据质量综合管理体系 ,即在统一的组织框 架下 ,对整个统计机构的数据进行全面的质量评价 。如 英国 、加拿大 、瑞典 、荷兰等国家统计机构建立了比较健 全的数据质量评价和管理机制 。另一类是单项统计数据 质量管理机制 ,即对某一具体统计项目如国民核算 、消费 价格指数 、国际收支 、住户调查等数据的质量情况进行评 价和管理 。比如 ,美国的波斯金 (boskin) 学术委员会 ,专 门对美国消费物价指数 ( cpi) 数据质量进行评估 ,美国商 务部分析局定期评估国民经济核算数据质量 , 澳大利亚 统计局的国际收支和住户调查数据质量评估体系 , 英国 零售物价指数质量认证标准体系等等 。这些国家统计机 构在数据 质 量 评 价 管 理 方 面 积 累 了 许 多 可 资 借 鉴 的 经28统计研究验 。1. 制定统计数据质量评估标准 ,强化质量管理意识 。 为了实施全面数据质量管理 , 一些国家政府和有关国际 组织的统计机构编制数据质量管理手册 , 建立质量评估 标准 。如 ,加拿大统计局确定了衡量数据质量的 6 个方面 标准 ,即适用性 、准确性 、及时性 、可取得性 、衔接性 、可解 释性 : 英国政府统计数据质量标准是准确性 、及时性 、有 效性 、客观性 ;荷兰统计局的质量标准包括 5 个方面 :适用 性 、准确性 、及时性 、有效性 、减轻调查负担 ; 韩 国 的 质 量 标准是 :适用性 、准确性 、及时性 、可取得性 、可比性 、有效 性 ;美国分析局国民核算数据质量要求满足可比性 、准确 性 、适用性的质量标准 :澳大利亚国际收支统计数据要达 到准确 、及时 、适用 、可取得性 、方法科学性或健全性的质 量标准 ; 欧洲统计局的质量标准是适用性 、准确性 、及时 性 、可取得性 、衔接性 、可比性 、方法专业性 或 完 全 性 ; 国 际货币基金统计局的质量标准是准确性 、适用性 、可取得 性 、方法专业性或完全性 ; 等等 。这些标准是各国政府统 计机构对数据进行质量检测 、监管的重要内容和依据 。2. 建立专门的统计数据质量管 理 机 构 , 定 期 进 行 质 量检查 ,美国自 1961 年开始成立以麦克波斯金为命名的5 人咨询委员会即著名的 boskin 委员会 ,专门对消费者 物价指数 ( cpi) 的准确程度进行评价 。英国皇家统计学会 成立统计数据质量评估工作组 , 每年对官方统计数据的 质量情况进行独立评估 ,并对外公布评估报告 。在加拿 大 ,由国家审计总长负责统计局的数据质量评审工作 ,其 审计的内容包括 : (1) 加拿大统计局质量管理体系是否充 分 、完整 ; (2) 加拿大统计局内部质量管理的自我评价体 系是否合理 ; (3) 加拿大统计局是否以适当的方式向用户 通报有关数据质量情况和所应用的方法 。荷兰统计局借 鉴加拿大的质量管理办法 ,建立了数据质量审计制度 ,成 立质量审计委员会 ,它下设若干个统计专业审计组 ,审计 人员由统计局内部不同部门的专业人员兼职组成 ,每 5 年 审计一次 。此外 ,瑞典 、芬兰 、挪威等国家统计局开展“全 面质量管理 ( tqm) ”项目 。这些管理机构和机制是加强和 改进数据质量的重要组织保障 。3. 应用不同的方法开展质量评估和管理 。由于各国 政府统计体制的不同 ,质量评价标准也有所差异 ,而且管 理的角度也不同 ,有的侧重于统计数据的编制过程 ,有的 侧重于统计机构环境 , 有的侧重于数据来源和数据本身 的管理和评价 。因此 ,各国采取的质量管理方法也各不 相同 。即使 在 国 家 统 计 机 构 统 一 的 质 量 管 理 框 架 体 系 下 ,由于不同统计项目的质量控制目的 、要求不同 ,也可 以实行不同的质量管理方法 。概括起来 ,主要有如下几 种 :(1) 统计机构内部自我评价方法 。如加 拿 大 和 荷 兰 统计局的质量审计制度 ,由审计员围绕数据质量标准 ,通过与统计项目负责人面谈 、查阅有关的文件资料 、与主要用户会谈等方式 ,对本局统计政策 、实践和数据进行全面 评估 ,在此基础上 ,形成数据质量审计报告 ,全面介绍质 量的现状 、存在的问题 、改进建议 ,递交统计局局长讨论 。 最后 ,将讨论的意见和质量改进方案反馈给各个具体项 目的负责人 ,监督其按要求改进数据质量 。又如 ,澳大利 亚统计局成立住户调查数据的质量评估小组 , 通过正式 会议和非正式讨论的方式 , 广泛地征求数据主要用户的 意见 ,形成评估报告 。美国国民核算统计数据评估主要 由经济分析局自身来进行 ,一般分为三个步骤 : 第一 ,准 备大量的背景性文件 ,如从变动趋势 、加速或减速 、周期 拐点等方面论证 gdp 季度数据的可靠程度 ;第二 ,制定保 持和改进国民核算数据质量的初步计划 ; 第三 ,组织社会 各界进行广泛的讨论 。(2) 邀请统计机构外部专家来评价 ,这主要有两种方 式 :本国政府统计机构以外的部门或专家来评价 、邀请外 国统计同行或按国际标准来评价 。前者主要由国内专家 和学者 、社会公众从统计专业标准和使用的角度进行质 量评价 。在英国 ,由以有关专家 、学者组成的英国皇家统 计学会工作组 ,每 5 年一次通过公开会议的形式 ,来评估 政府统计数据质量状况 。美国劳工局编制的消费者物价 指数由院校的专家 、学者评估 。后者则邀请外国有丰富 经验的 、且通晓本国语言的统计同行来评价 。如瑞士统 计局于 1999 2000 年邀请加拿大统计局现局长伊凡 费里吉 ( ivan p. fellegi) 和原副局长雅各赖特 (j acob ryten) 两位专家对从法律 、职能 、机构 、统计项目设置 、资源等多 个方面对瑞士统计局的总体现状进行广泛的调查研究 , 分析其存在的问题 ,并提出相应的改进措施 ,作为制定瑞 士统计局改革措施 、全面提高数据质量的政策依据 。近 年来国际货币基金组织制定了数据质量评价框架体系 , 要求有关国家按此统一标准发布数据 , 其目的也是为了 提高和改进各国数据质量 。(3) 引进国际质量认征标准体系 。这主 要 是 从 数 据 调查和编制过程入手 ,进行质量管理和控制 。英国零售 物价指数要求调查员每月在全国 146 个地区 15000 个商 店中收集约 500 种商品和服务的 120000 个价格数据 , 经 过计算机检查 、加工整理之后 ,传给国家统计局作进一步 的加工和汇总 。为了保证零售物价数据的质量 ,英国自1995 年以来 ,采用 iso9002 国际质量认证标准体系进行零 售物价指数 ( rpi) 的质量管理工作 。它包括 3 个步骤 : 一 是提供月度零售物价指数的编制过程 , 对外公布指数编 制方法 ;二是对随机选择的地区和商品样本进行实地调 查 ,审计各个地区月度价格收集和加工整理过程 ,检查误 差率是否处于可接受的范围 、有没有系统误差等 ; 三是定 期开展评估 ,提出改进的目标 ,使零售物价指数质量管理 工作保持相应的连续性 。英国零售物价指数质量管理方29余芳东 :外国统计数据质量的涵义 、管理以及对我国的启示法 ,作为数据质量管理控制的一大创举 ,引起了国际统计同行的普遍关注 ,一些国家纷纷借用该方法 。4. 开展数据质量的量化分析工 作 , 制 定 数 据 质 量 改 进目标 。近年来 ,北欧国家为强化数据质量管理 ,通过建 立一套数据质量调查和量化指标评价体系 , 全面分析和 评价数据的质量状况 。例如 ,通过定期问卷调查的方式 , 编制数据满意度指数 ,了解用户对数据的满意程度 ; 编制 调查负担系数 ,向数据提供者了解调查负担程度 ; 规定月 度 、季度 、年度数据从调查期结束到公布的时间 ; 统计出 版物销售量和销售收入 ,等等 。根据质量调查和量化分析的结果 , 提出改进 数 据 质 量的具体目标 。荷兰统计局 1996 2000 年的计划目标 要求住户调查的回答率提高 8 % ;通过简化调查表项目的 填写 ,改进数据传输技术 ,减少样本规模 ,利用行政记录 资料等措施 ,将调查负担率减轻 13 % ;出版物销售量提高20 % 。丹麦统 计 局 曾 提 出 1994 1999 年 数 据 公 布 、出 版 时间缩短 30 %的目标 ; 工商企业的调查负担 1999 年应比1996 年平均减轻 20 % 。实践证明 ,数据质量的量化分析 和量化目标是一种行之有效的管理方式 。善了法 律 责 任 。它 为 保 障 统 计 数 据 质 量 提 供 了 法 律 依据 。同时 ,还加强了统计执法检查的力度 ,每年在全国范 围内开展统计执法大检查 ; 以抑制虚报浮夸 、弄虚作假现 象 。总之 ,近年 来 , 国 家 统 计 部 门 为 提 高 和 改 进 数 据 质 量 ,付出了艰辛的劳动 , 作出了不懈的努 力 。尽 管 如 此 , 数据质量较差仍是困绕我国当前统计工作的一个重要问 题之一 。社会备方面对这个问题的反映和讨论也相当激 烈 ,从不同角度论述统计数据质量问题的成因如政治因 素 、统计管理体制 、制度方法等 。当然 , 有些 原 因 并 非 光 靠国家统计机构自身所能解决的 。但是 ,与外国先进水 平相比 ,我国对数据质量的研究比较薄弱 ,质量管理相对 落后 。如 ,在目前我国数据质量管理中 ,以单项数据质量 管理为主 ,缺乏综合的 、全面的质量管理体系 ; 对数据质 量内涵的理解较为狭窄 , 主要围绕着数据准确性进行评 估 ,对数据质量的其他方面重视不够 ; 在评估过程中 ,没 有让社会公众和用户充分参与进来 , 评估机制缺乏必要 的透明和有效性 , 未能取得社会各界对数据质量的充分 理解和认 可 ; 缺 乏 明 确 的 数 据 质 量 管 理 要 求 和 目 标 ; 等 等 。因此 ,统计部门内部的数据质量管理工作有待进一 步加强和完善 。第一 ,制定数据质量评价标准 ,树立全面的质量管理 意识 。在实践中 ,应把现有数据质量的评估标准从准确 性扩大到准确性 、及时性 、适用性三维的质量标准 。有条 件时 ,可以将数据质量评价标准进一步扩大到国际公认 的标准范围 ,即适用性 、准确性 、及时性 、可 取 得 性 、可 比 性和衔接性 。第二 ,在上述质量标准的框架体系下 ,完善数据质量 评估和管理体系 。充实质量管理的力量 ,建立必要的组 织机构 ,增加评估的内容 ,利用多种形式定期开展数据质 量情况调查和分析 ,并及时提出改进意见和措施 ,有步骤 地推进我国统计数据质量的不断提高 。第三 ,建立用户对数据质量的反馈渠道 ,充分考虑和 吸纳用户的