第三章--测评工具的建立PPT课件.ppt

第三章测评工具的建立 一 测量目标的分析 二 制定编题计划 三 编辑项目或题目 四 项目的试测和分析 1 五 组合成测验和标准化 六 对测验的鉴定 七 编写测验说明书 2 测量目标分析 选拔和预测 测量特质 显示 3 二 制定编题计划双向细目表 测评指标体系及指标权重表 测验所要包含的指标范围和内容 每个指标在指标体系中的相对重要性 权重 4 人员素质测评 测试编题计划 5 三 编辑项目或题目1 收集有关资料2 选择项目形式3 编写和修订题目 6 3 编写和修订题目比例适当 有代表性 比所需题目多一些以便筛选难度要符合测验目的需要题目的说明清楚明白题目表述准确 文字简明扼要题目表述避免主观性和情绪化的词句 7 四 项目的试测和分析1 样本取自正式测验准备应用的群体2 试测实施过程力求与正式测验时相似3 试测时限可稍微放宽4 对被试的反应情形应随时加以记录 8 五 组合成测验和标准化1 直进式2 混合螺旋式 9 各份测验测量的是同一种心理特性 各份测验具有相同的内容和形式 不应有重复的题目 数量相等 难度和区分度大体相等 编制复本 10 六 对测验的鉴定对测验可靠性和有效性的检验 11 七 编写测验说明书标题名称 作者 实施形式 记录形式测验目的和功能测验编制的理论背景和选择题目的依据测验的实施方法 时限和注意事项 包括指导语和对主试的训练要求测验的标准答案和评分方法常模资料测验的信度和效度资料 12 命题的一般原则 1 命题要能准确 全面地反映测验目的 2 内容取样要有代表性 3 命题要注意科学性 题目 13 介绍 常用题型 客观性题型有填空题 辨别题 辨别改错题 选择题 搭配题 名词解释 简答题等主观性试题主要有简答题 论述题 案例分析题等题型 14 选择题编题原则 题干所提出的问题必须明确不要将选项夹在题干中间选项要简练除特殊情况 所有选项的长度应大致相等避免在题目中出现帮助受测者猜测正确答案的线索对于人格和态度的测量 题干的陈述不带有任何倾向性答案的出现位置应为随机的 15 是非题编题原则 测量的内容应以有意义的事实 概念或原理为主 不要测琐碎细节每道题只能包括一个重要的概念 避免两个的概念同时出现 造成半对半错的情况避免使用否定的叙述测验中正确的题目与错误的题目 它们的长度 复杂性尽量一致正确的题目数和错误的题目数应该基本相等 随机排列 16 编制填空题要注意 要求编写的内容应该是概念或原理的关键词 而且答案是唯一的 填空应放在句中或句尾 不应放在句首 避免在题目信息中给应试者提供作答的线索 17 搭配题编制注意点 一要注意指导语表述 全面 二是搭配题中的题干与各选项应该是具有相同意义的同一类事物 三是配对项目不可过多或过少 最好使用不完全匹配 18 简答题比较适合测验实际知识额记忆和理解 19 论述题的编制 第一 明确论述题的考核目标是分析 综合和评价等高级能力 强调的是知识应用能的深度 第二 所要论述的问题应该是有定论的 对扩展性论述题应该有明确的指导语 或加以说明 三要制定得分点 尽可能提高评分的客观性 20 案例分析的编制思路 一是以社会生产和生活实际为基础 编写背景材料 编制案例分析题 二是根据一定理论 虚拟一个情景 编制成案例分析题 21 主观性试题与客观性试题比较 22 操作性测量形式 模拟操作测试 纸笔的操作性测 工作样本测试 23 设计操作性测试的原则 明确所要测量的目标 将其操作化 建立作业标准 选择合适的真实性程度 指示语简单明确有明确的计分方法 24 案例参考 AT T IBM SONY MOBIL公司的人员测评指标 25 26 对测评工具的评价1 信度效度常模标准化 27 对测评工具的评价2 公平指所用方法对不同人员所测的结果是否会引起偏差和不同对待 合法指测评方法和工具的选用必须有充分的实证效度证明 一般应对可能的法律诉讼 普遍适用性指在某一背景下所建立的甄选方法的效度同样适用于其他情况的程度 不同的背景 不同的处境 工作或组织 不同的人员样本以及不同的时间段 效用指甄选方法所提供的信息对于组织的基本有效性进行强化的程度 28 29 保险推销员自我效能感量表的建构 30 一 前言日常生活中 不可避免地会面对许多问题 作出各种各样的决定 接受四面八方的挑战 相对于其他许多职业 推销员很可能面对更多的挑战 挫折 一个推销员能否承受高频率的挫折 在被拒绝的情况下能否坚持下去 能否以有效方式继续展开工作将决定其工作的成败 因此 保险推销员更需要具备高自我效能感的心理品质 才能胜任推销工作 为了满足保险公司对保险推销员的选拔和培训需要 我们研制开发了适用于我国的保险推销员自我效能感量表 31 二 测量题目的收集与编制由于自我效能感测量的特殊性 班杜拉专门写了一篇有关的文章 自我效能感量表建构指南 文中对怎么样编制自我效能感量表进行了详细的讨论和说明 本研究中推销员的自我效能感量表的编制 就是依据其中所述原则进行的 针对特定情境将各方面的技能有机地结合的素质 正是自我效能感的重要标志 32 据此 本研究通过以下方法收集有关保险推销员的工作行为信息 1 阅读并分析大量有关推销员的各类书籍和资料 从文献中收集信息 2 与保险推销员进行座谈 27人 3 与保险公司部门主管 过去从事过较长时间的保险推销业务 并有很好的绩效记录 进行座谈 8人 33 4 对保险推销员进行开放式调查 调查的题目是 1 在你的展业过程中 一定遇到许多方面的典型情境或情况 请你尽可能详细地将他们列举出来 2 在你的展业过程中 一定会遇到各方面大大小小的困难或障碍 请你尽可能详细地列举出来 3 你在展业过程中 为取得更好的业绩 都会做哪些事 完成哪些行为或活动 请详细列举出来 34 通过以上调查和分析 将保险推销员在展业 即推销 过程中影响其绩效 并具有不同程度困难的情境性行为 活动编制成65个题目 在此基础上形成初步的自我效能感问卷 用于预备性测试的指导语为 请想象在你日后的展业过程中 遇到以下情况时 你能做得如何好 换句话说 在进行或完成以下行为 活动 任务时 你自认为你的处理能力在哪个等级上 请在所选定的等级上划钩 1表示几乎做不到 8表示能做得非常好 35 问卷题目基本包含了展业的全过程 推销前的准备 推销中呈现 以及推销后的总结 如 当你面对一个新客户时 迅速弄清他的收入状况 被客户拒绝时 能及时调节自己 使低落的情绪很快恢复平静 疲劳时能坚持完成预定任务 等等 36 三 预备性测试与分析被试 预备性测试的被试是平安保险公司北京分公司两个分区的536名业务员 收回有效问卷410份 结果 用SPSS对数据进行因素分析 首先 对因子矩阵进行分析发现 共有九个因子 一些项目在不同的因子上有着十分接近的负荷 这表明该项目对不同因子的区分度很小 所以予以剔除 其次 考虑到量表编制的简洁性原则 对原有各因子项目进行增删 每个因子保留四个项目 计9个因子36个项目 37 四 正式量表的建构工具 使用预试后筛选出的36个项目组成问卷 样本 由中国人民保险公司北京分公司及泰康保险公司共343名业务员组成 收回有效问卷300份 结果 对数据进行第二次因素分析 原来的因素8和因素1可以合为一个因素 组成了现在的因素1 为使量表项目少面精 分布均匀 我们剔除了因子1中的后四个项目 使该因子也由四个项目组成 从而便量表保留32个项目 38 五 验证性因素分析与结构定型工具 由32个项目组成的自我效能感正式量表样本 被试分别取自太平洋保险公司北京分公司和新华人寿保险公司618人 有效问卷为525份 结果 信度与效度均达到显著性水平 最后 确定保险推销员自我效能感量表由32个项目 8个因素组成 根据各因素内项目的含义 因素命名如下 39 因素1晤谈技能 S1 包括交谈过程中能随时自我监督 及时调整自己的说话方式及内容 观察客户心态 继续或及时中止这次面谈 因素2仪态 S2 包括衣着得体 保持良好的仪容 优雅沉着的谈吐举止 让自己的气质富有魅力和吸引力等 因素3毅力 S3 如刮风下雨时 仍按原计划走访客户 虽疲劳或连续失败 仍斗志不减 坚持完成原定任务等 因素4情绪调节 S4 如被客户拒绝时或客户不讲理时 能及时调节自己的情绪 一段时间内业务没有进展 能乐观对待等 40 因素5知识掌握 S5 包括努力学习有关各类保险知识 对客户的询问能作出令其满意的回答 对有意投保的客户 做出令其满意的投保计划等 因素6计划总结 S6 包括按计划进行自己每日的工作和生活 对于每月 每季要达到的业绩水平 有明确的数字目标等 因素7前期准备 S7 如对重点客户正式面谈之前 已掌握其各种详细资料 通过搜集到的情况 见面前在心里想象出客户的形象 而且往往八九不离十等 因素8直觉判断 S8 如当面对一个新客户时 迅速弄清他的社会地位 收入状况 文化层次及兴趣爱好等 41 广东科龙