绩效评价中的数据采集和社会调查ppt课件.ppt

uhiuku 1 绩效评价中的数据采集和社会调查 2011 12 uhiuku 2 财政支出绩效评价概念 财政支出绩效评价的内涵与外延绩效包含了效率 产品与服务质量及数量 机构所做的贡献与质量 包含了节约 效益和效率 普雷母詹德编的 公共支出管理 一书 绩效是一个相对的概念 它可以用努力和结果这样的字眼进行定义 亚洲开发银行的SalvatoreSchiavo Campo在 强化政府支出管理 绩效 一文 绩效是实施一项活动所获得的相对于目标的有效性 它不仅包括从事该项活动的效率 经济性和效力 还包括活动实施主体对预定活动过程的遵从度以及该项活动的公众满意程度 OCED1994年一份报告 Performancemeasurementandevaluation uhiuku 3 财政支出绩效评价的层次 公共部门单位的评价 如某高校绩效评价 按项目划分的支出评价 如新农村建设工程评价 按职能划分的支出评价 如教育支出评价 财政支出综合评价 政府总体 总体 类型 项目 单位 uhiuku 4 美国如何构建政府绩效评估指标体系 国家绩效评估委员会的评估模型 该模型与政府会计标准委员会的评估模型相似 包括六大类指标 第一 投入指标 衡量某一项目或服务消耗的资源 第二 能量指标 度量一个机构提供服务的能力 可帮助部门主管评估本部门雇员培训的程度 物质设施状况及系统准备就绪的程度 第三 产出指标 这些指标衡量为服务人口提供的产品数量或服务单位 同时也包括 工作量 指标 反映在为生产一个产品或提供一项服务所消耗的努力程度 第四 结果指标 这些指标衡量项目和服务的结果 具有定量和定性的特征 第五 效率和成本效益指标 效率指标反映服务的程度与提供服务所需资金与人力资源的成本之比 第六 生产力指标 根据安蒙斯 Ammons 的理解 生产力指标将效率与效益结合成一个单一指标 如 每个劳动时间修补路程数 反映效率 正当地修补的路程数的百分比 如6个月内不需要重新修补 反映效益 有效修补每公尺路所需的单位成本 或劳动小时 则反映生产力 uhiuku 5 联邦政府的通用绩效指标 2002年 美国总统预算与管理办公室 OMB 为低收入住房援助 职业培训与就业 荒地火情管理 减轻水灾损失 灾害保险 医疗卫生 环境保护等项目开发统一的评估指标 又称 通用评估指标 即 1 联邦住房项目评估的通用指标 相关成本 效果衡量指标 一定预算资源所帮助的家庭数量 2 职业培训和就业项目评估的通用指标 找到工作 项目参加者得到证书或学位 得到的收入 每一个工作岗位的项目总成本 3 荒地火情管理评估的通用指标 高风险的社区脱离高风险名单的比例 完成火情管理计划 每场火情的成本和每英亩面积火情的成本 4 减轻水灾损失项目评估的通用指标 该项目包括四个具体项目 通用绩效指标只有一个 即联邦支出与净社会效益之比 每一美元开支的净经济效益 5 对参加灾害保险项目评估以投保人数作为通用评估指标 6 医疗卫生评估的通用指标 人均享有联邦资助 直接用于医疗卫生项目的支出 每个医生 护士 医生助理每天看病的人数 同一疾病再次就医的病人数占收治住院的病人总数之比 7 对环境保护的评估 重点是三个项目的通用指标 农村水工程评估 每百万美元建设输水管线的数量 每百万美元提供的可饮用水数量 每百万美元处理的到达标准的水量 饮用水的基础设施贷款项目 每百万美元建设输水管线的数量 每百万美元提供的可饮用水数量 每百万美元处理的到达标准的水量 非定点水污染源项目 每百万美元减少的沉积物吨数 每百万美元减少的有机物磅数 计算机构的活动对沉积过多和污染发生影响的比例 uhiuku 6 统计数据的获取政府常规统计 年鉴或手册 单位统计报表或台账系统审计报告现场实测市场调查社会调查 uhiuku 7 抽样调查 抽样调查是按照科学的原理和计算 从若干单位组成的事物总体中 抽取部分样本单元来进行调查 观察 用所得到的调查标志的数据以代表及推断总体 抽样调查是根据部分实际调查结果来推断总体标志总量的一种统计调查方法 属于非全面调查的范畴 它是基于节约成本的考虑 绩效抽样调查的目标总体为被评价项目所惠及的所有市民 为了对项目绩效实施客观公正的评价 调查问卷的发放应该遵循统计科学的基本原理 通过抽样调查获取评价信息必须符合一定的程序规范 uhiuku 8 总体与样本 总体和样本是抽样调查中最基本和最常用的一对概念 因为抽样的本身就是通过样本对总体作出估计和推算 总体是我们研究也即进行调查对象的全体 它是由研究对象中所有性质相同的个体所组成的 组成总体的各个个体称作总体单位或单元 如某地进行企业调查 调查对象是各行业 各种所有制及各种规模的企业 那么在该地所有国有的 集体的及个体的 工业 商业及交通运输等所有行业 大小不等的所有企业构成一个总体 总体又有目标总体和实际总体之分 如了解浦东人拥有手机的情况 目标总体就应为全体浦东人 但考虑一些年龄段 如老人和儿童 的人拥有的比例很低 如果全部调查难免事倍功半 于是实际调查时会加上时空年龄和居住时间等限制 这就形成了一个实际总体 uhiuku 9 抽样调查数据之所以能用来代表和推算总体 主要是因为抽样调查本身具有其它非全面调查所不具备的特点 1 调查样本是按随机的原则抽取的 能够保证被抽中的单元在总体中的均匀分布 不致出现倾向性误差 代表性强 2 所抽选的调查样本数量 是根据调查误差的要求 经过科学的计算确定的 在调查样本的数量上有可靠的保证 3 抽样调查的误差 是在调查前就可以根据调查样本数量和总体中各单元之间的差异程度进行计算 并控制在允许范围以内 调查的准确程度较高 uhiuku 10 概率抽样 概率抽样也称随机抽样 是从构成总体的所有单元中按一定程序随机选择一部分单元进入样本的抽样方法 概率抽样具有以下特点 1 能够表明一个确定的样本包含哪些单元 2 对每个可能的样本 都有一个确定的被抽取概率 3 以随机原则抽取样 不受任何主观因素的影响 使每一个单元都有一定的概率入选样本 4 从样本数据估计总体特征时 需要考虑该样本被抽中的概率 概率抽样的优点是能够保证样本的代表性 避免人为因素的干扰 概率抽样还有一个优点是根据概率样本估计总体特征时 可以对样本产生的抽样误差进行估计 uhiuku 11 非概率抽样 非概率抽样是指样本由抽样者主观抽出或受访者自愿进入样本的抽样方法 非概率抽样有多种方式 主要有便利抽样 自愿抽样 滚雪球抽样 配额抽样等 我们常用的典型调查和重点调查都属于非概率抽样 由于非概率抽样不能保证样本的随机性 因此根据非概率样本估计总体特征时 不可避免地以下缺点 1 难以评价样本的代表性 2 无法估计抽样误差 3 偏倚往往较大 uhiuku 12 非概率抽样举例 某个绩效评价项目 受益群体涉及全浦东的全部人口 为了了解总体的人群对该项目的满意度 评价方对全区人口进行抽样调查 根据他们的理解 所有街镇都应该被抽到才是合理的 于是对原浦东二十四个街镇实行平均100份的配额抽样 这种方法至少存在的问题是 1 每个街镇的规模是大小不等的 因而有偏差 2 对每个街镇的总体而言 100份的代表性不足 3 抽样框不合理 uhiuku 13 抽样框 要从一个总体中抽选样本 很重要的一个问题是需要一个包括全部总体单元的一个框架 因此用来代表总体 从中抽选样本的一个框架就称作抽样框 抽样框可能以各种形式出现 名单 手册 地图 数据包 无论抽样框采取何种形式 在抽样之后 调查者必须能够根据抽样框找到具体的抽样单元 因此 1 抽样框必须是有序的 即抽样单元必须编号 且根据某种顺序进行了排列 2 抽样框中包含的单元务必要 不重不漏 否则将出现抽样框误差 uhiuku 14 抽样单元 构成抽样框的单元称为抽样单元 抽样单元不仅指构成抽样框的目录项 同时还表示该目录项所对应的实际总体中特定的一个或一些单元 抽样单元不一定是组成总体的最小单位 基本单元 可能包含一个或一些基本单元 在简单随机抽样中 抽样单元即为基本单元 而在整群抽样中 群即为抽样单元 而群可能包含相当多的基本单元 uhiuku 15 误差与精度 凡是调查就一定有误差 误差或大或小总是存在的 不可能完全避免 在抽样调查中 误差可分非抽样误差和抽样误差两大类 非抽样误差不是由抽样引起的 它包括调查误差 不完整的抽样框引起的误差 不回答误差以及由于填写或录入调查数据中的谬误而产生的误差 非抽样误差与样本量大小无关 这些误差在全面调查中也是存在的 减少非抽样误差的方法主要是严格调查程序 规范调查及加强人员的培训和管理 合理地设计问卷等 抽样误差是由于抽样造成的误差 是用样本数据对总体特征进行估计所引起的代表性误差 由于每次只是抽取一个样本 不同的样本由于包含的单元不同 得到的估计值自然不同 各个估计值与总体特征之间不可避免地存在差距 由此产生了抽样误差 与非抽样误差不同的是 抽样误差是能够计量的 也可以得到控制 uhiuku 16 教条主义方法 任意方法也许基于经验 如5 规则具有主观性优点 容易确定 简单易行缺点 无效率 不经济 uhiuku 17 成本基础法 将成本作为确定样本容量的基础对于成本基础法的区别很大 通常会忽视调查结果对管理决策的价值 确定样本容量一个好的办法是考虑成本与调研对于经历的价值之间的关系 uhiuku 18 统计分析法 一些统计分析方法对最小样本容量有要求如果要讨论分类变量的影响 那么每一分类变量的样本数应符合统计分析数的需要要将每一类样本或子集看成一个总体 uhiuku 19 样本量 样本量一般按以下原则确定 公式中 N 合格总体的大小 t2 与值的正态分布下的面积有关的标准差得分的平方值 p 用于计算样本量的类别的百分比 q 1 p d2 围绕样本估计值的一半的精度区间的平方值 工作中拟采用的标准为置信度 绝对误差限度 0 05 总体方差2 0 25 uhiuku 20 样本量例1 例如某项大型公共交通工程给某社区市民带来出行便利 工程目标为大大缩短居民出行时间 评估指标确定后 希望获取市民平均缩短出行时间的数据误差在正负3分钟之间 调查结果在95 的置信范围以内 其95 的置信度要求Z的统计量为1 96 根据估计总体的标准差为15分钟 总体单位数为1000人 样本量为 n 15 15 3 3 1 96 1 96 15 15 1000 88也就是说 当我们把公共工程给社区居民平均出行带来时间便利作为一个评价指标时 并希望把调查误差控制在3分钟以内 需要调查结果有95 的可靠性时 对1000人的社区需要抽88个样本 uhiuku 21 样本量例2 某地区村庄改造项目绩效评价中涉及3个镇的若干个村 其中甲村涉及2891户 乙村涉及1965户 丙村涉及3128户 由于3个镇的项目运作方式有所差异 所以可视为3种类型 按照分析目标总体被分割为3个子总体 用上述抽样公式分别计算出甲村的样本量为383户 乙村的样本量为382户 丙村的样本量为383户 各层间应相互独立 并且全体上没有遗漏 为留有余地 评价小组将样本量定为1200份 uhiuku 22 推断不同总体所需样本量 总体规模N在确定样本容量n的过程里所起作用与其本身的大小有关 对于小规模的总体 作用明显 对于中等规模的总体 作用中等 对于大规模的总体 作用很小 例如 置信度 绝对误差限度 0 05 总体方差2 0 25时 所需的样本容量n随总体规模N的变化见下表 由于样本是用于推断总体的 所以如果以被调查范围发生在浦东为例 抽样时把原浦东和原南汇视为两个总体 根据这一标准 并考虑留有一定的余地 在该地区抽样至少在800份以上 为保证样本量能够满足抽样质量 将样本总量扩大到1200份 uhiuku 23 抽样技术的分类 uhiuku 24 便利抽样 以研究者或访问者方便来选择被访者 通常被访者由于碰巧在恰当的时间正处在恰当的地点而被选中使用学生以及社会组织成员 商场拦截购物者 使用费用帐目清单确定的百货商店 街上的行人 访谈 便利抽样在所有抽样技术中成本最低 耗时最少 抽样单位易于接近 不能代表总体 uhiuku 25 判断抽样 判断抽样是便利抽样的一种形式 根据研究人员的判断选出总体中的个体进行判断的研究人员或专家选出要被包括进样本的个体是主观的判断 其价值完全取决于研究人员的判断 专业知识以及创造力缺点是不支持特定总体的直接推断优点是成本低 便利且快速 uhiuku 26 配额抽样 配额抽样可以被看成两阶段有约束的判断抽样第一阶段 由确定总体中的个体的控制类别或者配额组成 配额确保了样本的组成与总体的组成在特定特征方面相同 第二阶段 样本个体在便利或者判断的基础上被选择出来缺点是缺乏对总体的代表性 无法计算抽样误差优点是低成本 并且为每个配额选择个体对访谈人员而言较为容易 uhiuku 27 滚雪球抽样 通常是先选出一组最初的调查对象 通常是随机选出的 在访谈之后 要求这些被访者推荐一些属于目标总体的其他人 根据这些推选出后面的被访者 与随机的方式相比 被推举的人将具备与推荐人更为翔实的人口及心理特征 主要目的是估计总体中非常稀少的某些特征 缺点是这种方式非常耗时 uhiuku 28 简单随机抽样 在简单随机抽样中 总体中每一个个体都有一个已知且相等的抽中概率首先确定一个抽样框 其中的每一个个体被分配了一个唯一的号码 然后产生出随机的数字来确定那些个体被包括进样本中盲选BlindDraw随机数表thetableofrandomnumber优点是易于理解 样本结果可以推断总体 大多数统计推论方法都假定数据是由简单随机抽样法获得局限性 抽样框难以构建 数据收集时间和成本高 比其他概率抽样精确度低 标准差较大 uhiuku 29 系统抽样 在系统抽样中 通过选择一个随机的起点 然后从抽样框架中连续地每隔i个个体选出一个个体 从而选出样本 这种方法成本较低 因为只需要做一次随机抽样可以在不了解抽样框的组成的情况下进行 uhiuku 30 分层抽样 分层抽样是一个两阶段过程 总体被分割为子总体 或称为 层 后 再用随机方法 从每一层中选出个体 各层间应相互独立 并且全体上没有遗漏 与配额抽样法法的不同是自总体的样本选取是随机的 分层抽样可以确保子总体在样本中都得以体现 uhiuku 31 整群抽样 首先将目标总体分为相互排斥且没有遗漏的子总体 或称群 然后根据一种概率抽样技术 选出各群的一个随机样本可分为单阶段整群抽样与二阶段整群抽样 与分层抽样的关键差别在于 在整群抽样中 只有一个子总体的样本被选出 而在分层抽样中 为了进一步的抽样 所有的子总体都被选出来了 整群抽样的目的是通过降低成本来增加抽样效率 分层抽样的目的是增加精确度 在每个群的中的各体 应尽可能的异质性 但各群本身应尽可能的同质 uhiuku 32 概率抽样实务 第一步 1 按照上述样本量公式求出样本量 如果在浦东新区抽取城区 原浦东郊区 原南汇地区三个样本点 样本总量在1500个左右2 将浦东的38个街镇按三个样本点 以其社会经济变量指标或人口总量指标降序排列 按随机数抽取六个街镇 在每一个街镇内部 按照社会经济变量指标降序排列村 居委会 如果无法取得数据 可按拼音字母排列 3 利用系统比例抽样 抽取40个村 居委会 在每一类的内部 村 居委会是首级抽样单位 PSUs 4 系统比例抽样的起始点 为 1到小于系统抽样间距的整数 之间的随机数 uhiuku 33 概率抽样实务 第二步 对于抽中的社区 获得所有社区居民的名册 每个社区随机抽取40户家庭 根据既有的经验 上海城市家庭的应答率为70 上海农村家庭的应答率为80 40 60户家庭从而能够保证每个社区能产生40户家庭参与调查 对于抽中的家庭 获得抽中家庭的所有成员的人口学信息 并排除不属于我们调查范围的家庭成员 年龄低于18岁 大于70岁 利用KISH表 抽中最终的调查对象 uhiuku 34 抽样调查还应注意的问题 抽样调查的科学性经过严格理论证明 然而如同任何理论一样 实践中抽样调查实务也需要根据具体情况作出相应的判断和调整 我们体会问卷调查还应该注意以下几个问题1 根据有效回答率调整样本量 在实际调查时 无法保证从每个被抽中的样本点上都能如愿地获取有效有用的信息 如预计有效回答率为75 那么要获得完整的样本量则应定为 N 400 uhiuku 35 2 我们主张绩效评估采取入户调查是指调查员按抽样方案的要求 到抽中的家庭或单位中 按照事先规定的方法 有针对性地征询被访者对某些问题的看法和意见 尽管问卷调查还可以采取电话调查 网络调查 信函调查等方法 但在没有专用设备的电话调查无法控制质量 没有专用软件和项目对应群体上网的网络调查也不可靠 信函调查因缺乏合适的沟通也无法保证信息源的可靠性 3 由于浦东新区城市建设导致人口的高度变化或其他原因 评价单位首先应考虑抽样框在项目实施前后是否发生过变化 如教育项目 周期较长的医疗项目都会发生抽样框的变化 因此 抽样前需要对样本总体进行约定 以保证抽样的对象与项目的效应有可靠的关联度 uhiuku 36 4 问卷调查的还可能产生一些非抽样误差 它不是由抽样引起的 如调查误差 不完整的抽样框引起的误差 不回答误差以及由于填写或录入调查数据中的谬误而产生的误差 非抽样误差与样本量大小无关 这些误差在全面调查中也是存在的 减少非抽样误差的方法主要是严格调查程序 规范调查及加强人员的培训和管理 合理地设计问题和答卷 改进测量方法和工具等 uhiuku 37 5 审核与插补问题 调查中审核就是检查鉴别缺失 无效和不一致的数据 审核的目的是更好地理解调查的进程和数据来保证最终数据的完整 一致和有效 对审核中发现的错误可以通过推测被调查者的回答或人工复核来弥补 但由于时间和费用的限制 要修改所有错误几乎是不可能 通常采用插补的方法 但选择选择插补的方法要依据调查的种类 调查目标和错误的性质确定 因为插补虽可提高数据质量 但不能保留变量间的关系 甚至会扭曲数据之间的内在联系 所以 当评价中使用插补手段影予以说明 uhiuku 38 访谈调查的基本概念 访谈调查法是指带着一个中心问题 以口头形式 通过与研究对象交谈或根据被询问者的答复搜集客观的 不带偏见的事实材料 来准确地说明样本所要代表的总体的一种调查方法 又称访谈法 谈话法或访问法 访谈是一种研究性交谈 包括个人访谈 同种工作员工的群体访谈和主管人员访谈 和问卷调查法相比 访谈调查法可直接和多次接触调查对象 在调查中获得生动详细的第一手资料 能得到有深度 可靠性高并经与本人检验核实的研究材料 还可直接感知和真实了解受访者的思想 情绪与个性特征 有助于更鲜活 更客观地去认识研究对象 也避免对用其他方法获得研究者信息的单纯字面解释或僵化的理解误区 uhiuku 39 访谈调查法依据在调查访问时的控制程度不同 可划分为三种不同的类型 1 结构型访问法 封闭型 分为两种形式 一种是访问者按事先拟好的访问大纲 对所有被访者进行相同的询问 然后将被访者的回答 填到事先制好的表格中去 另一种是将问题与可能的答案印在问卷上 由被访问者自由选择答案 2 半结构型访问法 半开放型 这种方法只是将要问的有关问题交给访问者 但无一定的问题顺序 A型要求被访者自由地回答预定的访谈问题 也可以用讨论的方式回答 B型按有结构的方式回答无结构的问题 这种方法访问时比较方便 被访者易于合作 因而也是被运用较多的访谈形式 uhiuku 40 3 非结构型访问法 开放型 这种方法是指事先不预定表格 也不按固定的问题顺序去问 自由的交谈 适合于探索性研究 分为 1 引导式访问 2 谈话式 即访问者事先拟好腹稿与被访问者进行自由交谈 3 非引导式访问法 事先完全没有拟定调查标题 可以进行深度访问 这种方法要求访问者具备一定的访问技术 在绩效评价工作中 有关机构可以根据评价对象的性质 任务特点和需要 自行选择不同的访谈方法 uhiuku 41 访谈调查的对象选择 1 推介式抽样当评价机构对拟访谈调查的对象群体及其分布状况不甚了解时 可以通过调查对象的相关业务部门或上一级管理部门及管理者 如项目的主管部门 拨款部门或上级领导部门等 先了解拟访对象的基本状况 然后请他们推介选择其中有代表性的几个访谈样本 进而在实际调查其中一两个调查对象后 还可请受访对象再推荐几个符合研究条件的调查样本 如此可滚雪球式的扩大调查范围 推进调查工作的深入进行 这种抽样方法在理论上属于有目的的而非随机抽样 有较好的针对性与可靠性 在浦东新区村庄改造绩效调查中所采访的村 镇 新区机关相关部门的访谈对象 基本上就是按这种方法选定的 uhiuku 42 2 典型 极端 抽样事物的开发状况与发展水平或者不同的个体对其发展变化的看法总是不均衡的 表现为 好评 中性 差评 的不同状况 限于研究条件 访谈者可从研究对象的最好 最差的极端中选取少量样本对之调查 通过这样的极端典型事例来揭示所处群体的某些经验或特征 对一个涉及公共改造项目评价状况处于最好 最差两头的少数市民的访谈 有助于更客观了解全部市民的情况或问题的本质 比如浦东新区村庄改造的墙立面装修项目 有些村民热烈拥护 有些村民却不屑一顾甚至强烈反对 通过访谈 可以发现村民的不同诉求其实都是不同房屋所占有利益的投射 在这种情况下 极端的意见不一定反映项目的绩效 但是对总结项目投入的得失 制定新的政策可能有很大帮助 uhiuku 43 3 代表性抽样选择研究对象中处于 平均水平 具有一定代表性的对象作为调查样本 通过访谈调查以了解研究对象的一般情况 在一定程度上反映其大众化意见特征 如用访谈调查了解一个基层单位对项目执行的效果时 可预先对所有可能涉及的对象进行摸底 如果大多数人的意见并不十分极端 可按照随机抽样原则 抽取若干名对象分别进行访谈 uhiuku 44 设计访谈提纲 提纲应具备以下特点 1 提纲中的问题多为开放式提问 回答的空间余地大 2 问题要简明 具体 易懂 避免太笼统和过于学术化 3 一次访谈问题不必过多 以6个中小问题为宜 在访谈中有可能随着问题深入 会派生出相关的问题及答案 uhiuku 45 访谈中的技术策略 1 基于访谈双方的生活经验或共同关心的事件 如近期社会上一些热点问题 新闻等 平滑轻松地开始访谈对话 2 提问方式 口气与问题 要结合受访者的个性特点 知识水平 文化背景及生活状态 特别是对普通公众的调查 尽可能把专业问题通俗化 学术问题生活化 深奥复杂问题具体化 形象化 使受访对象能明白问题 准确回答 3 在提纲的引导下 调查者主动使访谈问题不断具体化和细节化 尽可能调动对方情绪 获得真实生动可靠的材料 uhiuku 46 4 访谈问题的顺序可以事先准备的访谈提纲为主 也可按问题的性质由浅人深 由近及远 由简到难逐步展开 5 调查者一定要放下架子 甘当小学生 始终要尊重对方 注意倾听 不要轻易打断对方说话 切忌以专家权威口气装腔作势 随意评论 6 追问技巧 多用欣赏和重视的语气 并用受访者刚表达的语言询问刚谈到的问题 起到进一步解释和验证的作用 7 以约定时间自然结束访谈 千万别拖延时间 并要约定下次访谈的时间 地点 结束时对受访者要表示真诚感谢 uhiuku