第一讲实验设计和方法20111121.ppt

1、第一讲、实验设计方法和技巧主讲人：陈叶烽 （北京师范大学经济与工商管理学院） 2011年11月29日四川 成都 （欢迎讨论， ）,西南财经大学实验经济学短期课程“实验的设计和具体操作”专题讲座,讲解内容,一、实验经济学研究初印象 二、实验设计的基本原理和原则 三、实验设计应注意的各种效应 四、实验设计常用的几个方法和技巧 五、学生被试的样本代表性问题,一、实验经济学研究初印象,一个完整的实验研究需要文献阅读和想法的形成，实验程序的设计，实验说明的撰写，实验被试的招募，被试名单的确认，实验场地和设备的查看，实验现场的组织和操作，后期数据的整理和分析以及实验论文的写作等等多个步骤，而且实验需要给予

2、被试金钱上的激励，因此一个实验往往需要组织者付出大量的精力，人力，物力以及财力。 任何一项实验研究都是一个系统工程,任何一项实验研究都是一个系统工程,任何一项实验研究都是一个系统工程,1.文献阅读,形成IDEA的两种途径 实验经济学基础文献和研究文献 文献阅读的方法 博士论文一般的文献量 汪老师的文献量,2.程序设计：Ztree的掌握 3.实验说明：如何进行实验说明的撰写 4.被试招募：被试招募方法及招募公告撰写 5.名单确认：邮件？电话？短信？ 6.实验现场的操作：常见突发状况的应急处理 7.实验结果的分析：常用实验数据分析方法 8.实验论文的写作：实验论文写作的注意点 9.讨论和交流：与原

3、文献作者进行沟通是最好的解决方式,实验经济学研究要求较强的综合能力和心理素质,较强的沟通交流能力 较强的心理素质和应变能力 外向性格VS内向性格,本次实验经济学短期讲座的重点,本短期课程并不是实验经济学基本概念和基本内容的普及课程，而是重点讨论实验的具体设计和详细操作过程，期望能为从事实验经济学研究或对实验经济学研究感兴趣的师生提供工具和技术上的帮助，并希望能在一定程度上提升大家实验研究的实战水平。,二、实验设计的基本原理和原则,实验设计原理的几个常见概念 1.Induced Value 2.Internal Validity VS External Validity 3.Micro-econ

4、omic Systems 4.Control and Rreplicability,1.诱导价值理论,2.内部有效性和外部有效性,e.g.社会偏好的外部有效性研究,Fowler（2006）Altruism and Turnout Benz and Meier（2008）Do people behave in experiments as in the field?evidence from donations Karlan（2005） Using experimental economics to measure social capital and predict financial dec

5、isions Baran et al.（2010 Can we infer social preferences from the lab? Evidence from the Trust Game de Oliveira et al.（2008） Community Characteristics and Local Public Good Provision Carpenter and Seki（2010）Do social preferences increase productivity? Field experimental evidence from fishermen in To

6、yama Bay Leibbrandt et al.（2010） Generalizing Behavior from the Lab to the Field: Predicting small-scale Fishery with Economic Experiments Rustagi et al.（2010）Behavioral heterogeneity and human cooperation: experimental evidence from commons management in Ethiopia,e.g.社会偏好的外部有效性研究,Fowler（2006）通过独裁者实

7、验测度了他们的利他偏好，并用调查问卷的方法检验了独裁者实验中的结果能否反映所测量的利他偏好，并询问被试者是否给受卡特里娜飓风袭击的灾区捐款。统计分析显示，游戏结果与量表得分、捐款行为具有正的相关关系。这说明独裁者实验中的结果能够显著地预测量表得分和捐款行为，其研究同时也发现这种利他偏好还可以显著解释被试的政治参与程度。 Karlan（2005）针对秘鲁小额信贷借款人的偿还行为研究发现，这些借款人在一年前的信任博弈实验中表现得也往往值得信任，这说明在实验中表现较强互惠偏好的个体在现实生活中其偿还率也更高。 Baran et al.（2009），他们对芝加哥大学2008级的462名MBA学员在其学

8、习初期进行信任博弈实验，并将其作为代理人时的返还额作为互惠偏好的测度，在18个月的课程学习结束之后，这些学员进行了真实的作为一种回报母校教育的校友捐赠活动，结果发现，在信任博弈中返还额每增加1%的实验对象在18个月之后的校友捐赠活动中也平均多捐赠了31美元。 Carpenter and Seki（2010）针对日本富山湾的渔民的研究则发现，这些在公共品博弈实验中表现出合作倾向的渔民在实际的捕鱼生产活动中也往往更加积极。Leibbrandt et al.（2010）针对巴西东北部两种类型的渔民即海洋渔民和内陆渔民的对比也发现，在公共品博弈实验，最后通牒实验和独裁者实验中，海洋渔民均要比内陆渔民更

9、倾向于合作或更为慷慨 Rustagi et al.（2010），他们对埃塞俄比亚一个叫Bale Oromo地区的49个群体共679个牧民进行了公共品博弈实验，并且收集了这些牧民群体相应的草原保护数据，在控制其他因素后结果分析发现，在公共品实验中呈现出拥有较多条件合作者（互惠偏好者）的群体其相应的植被保护也更好，当条件合作者每增加10%其植被相应增加3%，可以说，在实验中条件合作者显著增加的牧民群体在现实的环境保护中也有效地防止了“公共地悲剧”。,3.微观经济系统,4.可控性和可复制性,实验设计的基本原则,1.匿名性 2.无偏性 3.激励有效性 4.不欺骗 其他,1.匿名性,“您在实验中和另外一

10、个同学随机构成一个配对连续进行四个双人实验，没有人会知道对方是哪位同学。您在实验操作过程中是完全匿名的，别人无法知道您的决策是谁做出的，你也无法知道别人的决策是哪位同学做出的” “本实验中您的个人信息和决策信息将会严格保密，整个实验过程不会要求记录也不需要您的名字或学号信息。在实验完成后请您坐在原位暂时不要离开，稍等片刻我们会叫到您的计算机编号，您到实验员处会私下得到一份装有实验收益现金的信封，您的所得只有您一个人知道，其他人也无法知道您获得多少的实验收益”,2.无偏性,特别注意在实验过程中给被试任何微妙的行为建议 在实验过程有些被试会问实验员相关这方面的问题，比如“你们做这个实验想研究什么？

11、”“这个决策我应该怎么做才最好？”,3.激励有效性,实验报酬依赖于被试的行为决策 与实验心理学的明显区分 实验报酬要充分 给多少钱算“充分”？,4.不能欺骗,不能欺骗,不能欺骗,不能欺骗,三、实验设计应注意的各种效应,1.需求效应 2.框架效应 3.财富效应 4.顺序效应 其他效应如混合效应，声誉效应，学习效应，尺度效应等等,实验经济学就其本质而言，正如博弈论一样无非是经济学一种新的研究工具或研究方法，这门方法不断发展的最重要成果之一就是使得实验数据已经成为现代经济学研究中非常重要的数据来源。而由于实验数据的质量严重依赖于实验设计的科学性，因此科学的实验设计在整个实验经济学研究过程中处于最关键

12、的核心环节。实验经济学以人作为研究对象的特殊性，决定了实验设计考虑的因素实际上是相当复杂的，在坚持一些比如随机化和可控性等基本的设计原则之外，尤其还要注意避免几类常见的效应，这些效应可能会对被试的决策行为和实验结果造成一定干扰，因此可能使得实验本身丧失“内部有效性”（Internal Validity），从而在一定程度上会对实验数据的可靠性造成威胁，因此在实验设计和实施过程中应该运用相应的处理方法尽量避免这几类效应。,1.需求效应,第一种是需求效应（Demand Effect），意思是说实验中的被试可能会揣摩实验者的意图或者实验本身的目的，并按照他们所认为的实验者希望的决策方式改变自己的选择，

13、也就是说被试往往出于自身的需要在实验决策中可能故意取悦于实验员，这样会导致他们的决策行为不是纯粹出于金钱的激励从而发生决策行为的扭曲。需求效应要求我们在整个实验的设计和进行过程中，应该避免不给被试任何可能的暗示，即不使被试感觉到某种行为模式是正确的或被预期的，这实际意味着在实验操作中双盲机制是最好的实验方式，同时意味着实验研究者应尽量避免情境设置，因为在某种特定的情境中，被试很可能认为他们需要根据实验者的要求进行决策。最后，需求效应说明“匿名性”在实验过程中的重要性，这种匿名性不仅要求被试在决策互动过程是完全匿名的，也要保证最后的实验收益所得也是匿名的。,2.框架效应,第二种是框架效应（Fra

14、me Effect），对同一内容的不同描述可能导致人们的选择会发生变化即为“框架效应”。框架效应最早由Kahneman和Tversky等研究者提出，他们发现对被试同一内容采取不同的提问方式会产生不同的效果。由于实验说明的撰写是整个实验经济学研究过程非常重要的一步，框架效应则要求实验说明的写作应该尽量采用中性的词语和写法。比如在市场交易实验中谈及某种交易对象一般设定为抽象的商品，而避免提及任何特定商品的名字，因为被试对特定商品的喜好会影响实验结果。又比如在行为博弈实验中，应该尽量避免出现“独裁者”、“信任方”等类似的语言，而应该用“游戏者A”或“玩家1”等中性术语代替，公共品博弈中则应该用“贡献

15、为零”来替代“卸责”等等。在实际的实验研究中，被试可能会反馈中性的实验说明太枯燥，应该用更形象的语言或者结合某种现实的具体情境进行说明，实际上这种情况可能所导致的框架效应恰恰会影响被试的行为决策。,3.财富效应,第三种是财富效应（Income Effect或者Portfolio Effect），当一个人一旦拥有某项物品，则对该物品的评价比未拥有前大幅增加，财富效应与Kahneman等人提出的前景理论密切相关，背后的根源是人们的损失厌恶心理，显然不同的财富禀赋对被试的行为决策会产生不同的影响，即产生财富效应。财富效应会使被试对实验的估价过程产生影响，这意味着在实际的实验操作过程中被试报酬的支付方

16、式是非常重要的。特别是在多期的实验研究中有两类报酬支付方式，一种是通过累积各期的收益给予被试报酬，另一种则是通过在实验结束之后，随机地选择其中的一期作为被试的报酬。比如以十轮的公共品博弈为例，如果支付全部10轮收益的话可能导致财富效应，因为每一轮博弈之后被试之间的财富禀赋就不一样从而对下一轮的决策行为产生影响。因此往往采用随机抽取一轮的方式作为被试的最终报酬，这种方法即为随机激励机制（Random Incentive System）。随机激励机制之所以被广泛使用正是可以有效避免财富效应，这样的处理方式也可以使得实验数据的结构更符合各期独立的要求。,实验设计应注意的各种效应,RRPM Rando

17、m Round Payoff Mechanism APM Accumulated Payoff Mechanism,随机激励机制即RRPM如何实现？,4.顺序效应,最后一种常见的效应是“顺序效应”（Order Effect）。在含有多个实验的研究特别是运用被试内设计方法（Within-subject Design）的实验中，各实验任务的不同顺序设置可能对实验结果存在影响，其原因是被试在前面的实验任务获得了学习经验从而对自己的下一个实验任务中的行为决策有了影响。比如一个含有实验A任务和实验B任务的实验研究，如果把实验A设在前面，则被试在实验B中的行为可能会受到他在实验A中行为的影响，或者被试在实

18、验A中已经产生了学习效应，在这种情形下，需要做一个先实验A后实验B以及先实验B后实验A的设置才能完全消除这种顺序效应所导致的结构性影响。在设计N个实验任务的实验研究中，理论上是N个数的排列才能穷尽这种顺序，而实际操作中往往因为资金和被试样本所限无法完全做到，但也应该在有限的条件下尽量做到不同的顺序设置。而在实际的数据处理过程中，可以用虚拟变量来代表实验顺序在回归分析中加以控制。,顺序效应意味着的工作量是非常惊人的,不同的实验顺序对应着不同的实验说明撰写 不同的实验顺序同时要求控制性问题也是不同的 不同的实验顺序还导致了实验程序需要相应调整和修改 总而言之，对于每一个不同顺序的session应该

19、有一个相应不同的文件夹，该文件夹包括了实验操作的所有材料,实验设计应注意的各种效应,在具体的实验研究过程中按照研究内容的不同还有其他很多种效应，比如混合效应（Confounding Effect），尺度效应（Scale Effect），声誉效应（Reputation Effect），学习效应（Learning Effect）等等，对各种效应的控制和排除是科学的实验设计应该具备的前提条件，唯有如此，才能确保实验数据的可靠性，从而获得令人信服的研究结论。,混合效应（Confounding Effect）,何浩然和陈叶烽（2011）禀赋获得方式对被试行为的影响存在性别差异吗？,混合效应（Confou

20、nding Effect）,声誉效应（Reputation Effect）,声誉效应意味着在具体的实验数据分析中对最后一轮的数据分析是非常重要的 以10轮公共品博弈实验数据为例,十轮合作水平的Wilcoxon Rank-sum Test 结果：公平组的合作水平要显著高于自私组（检验结果为z=3.180，Prob|z|=0.0015）和混合组（检验结果为z=2.194，Prob|z|=0.0282） 最后一轮合作水平的Wilcoxon Rank-sum Test结果：表明公平组和自私组的合作水平无显著差异（检验结果为z=0.134，Prob|z|=0.8934），公平组和混合组的合作水平也无显著

21、差异（检验结果为z=1.535，Prob|z|=0.1249）。,标准公共品博弈中公平偏好的理论检验,四、实验设计常用的几个方法和技巧,1.Withing-Subject Design VS Between-Subject Design 2.Strategy Method VS Non-strategy Method 3.Partner VS Stranger VS Absolutely Stranger 4.One-shot Time VS Repeated Games 5.One Role VS Role Reversal,1.Withing-Subject Design VS Betwe

22、en-Subject Design,针对同样的被试做不同的实验 VS 针对不同的被试做同样的实验。 匹配样本的数据 VS 独立样本的数据 Wilcoxon signed-rank test VS Wilcoxon rank-sum test Between-subject即被试间设计常用来分析一些个体特征变量对实验行为的影响,这种被试间的实验设计的优点是其实现比较简洁，也比较容易操作，但是被试间设计从根本上不能排除个体差异对实验结果的干扰，而被试内的实验设计能有效克服这个缺陷，其优点正是所有的实验对象都会受到每一个自变量水平的影响。,Withing-Subject Design VS Betw

23、een-Subject Design,Withing-Subject Design VS Between-Subject Design,Withing-Subject Design VS Between-Subject Design,Withing-Subject Design VS Between-Subject Design,2.Strategy Method VS Non-strategy Method,策略方法和非策略方法 Non-strategy Method=Direcet-response Method 策略方法可以收集被试更多的决策数据，但是激励可能存在缺陷,Strategy

24、Method VS Non-strategy Method,3.Partner VS Stranger VS Absolutely Stranger,一般分组在Ztree菜单中可以自动实现 Absolutely Stranger=one shot time game，其设置需要事先根据被试数和分组数进行运算是否可行 特定研究目的的分组可以在Ztree里面手动实现，但是需要在实际操作中非常谨慎和小心,关于手动分组的Ztree实现1,“Treatment” menu Parameter Table,关于手动分组的Ztree实现2,Double-clicking the cells brings o

25、ut the parameter windows,关于手动分组的Ztree实现3,You can copy and paste parameter settings by Specify the group parameters in some cells Select these cells Copy to other cells by dragging the selected cells,五、学生被试的样本代表性问题,众所周知，实验经济学起源于以学生作为被试的课堂实验研究，比如早期伯努利的“圣彼得堡悖论”实验，近代张伯伦的市场均衡实验等均是在课堂上完成的。现在大多数的实验经济学研究延续了

26、以学生被试作为实验样本的传统 其最大的原因当然是学生被试作为实验样本存在很多优点，比如相比于其他类型的被试样本，学生更为容易招募，特别是现在很多高校已经建立了实验被试的网上招募系统，使得被试的招募已进入了一个更为规范而更为便捷的操作模式；其次，用于支付学生被试的实验费用相对较少，由于实验经济学需要给予被试充分的金钱激励，而且需要与被试的机会成本相匹配，因此相比较于招募社会职业人群所需要付出的高昂成本，学生被试的费用相对较少；同时高校学生的受教育程度较高，对实验任务能够迅速了解，也更易于完成实验。 学生被试的这些优点都是从实验的可行性和操作性来看的，其最终的目的是为我们重复和复制实验结果提供了便

27、捷性，这样就可以在尽可能的条件下方便查看或验证实验结果是否可靠稳健，而实验结果的可重复性或可复制性是实验研究方法的最大特点。,学生被试的样本代表性问题,但是以学生作为被试的便捷性带来的代价就是引发了对实验结果可靠性和一般性问题的质疑，无论是经济学专业还是非经济学专业的学者，通常的疑问或批评是，学生作为一个特殊群体与一般社会群体相差甚远，也无法代表一般群体的实验结果，即缺乏样本代表性。 诚然，学生群体缺乏相应的社会经验和社会阅历，其行为与真实世界中的职业人群可能会存在较大的差异。应该说这个方法论的问题和争议始终伴随着实验经济学的发展过程，早在1986年Seras就把这个问题用实验数据是一种“狭隘

28、的数据库”（Narrow Data Base）来加以概况并被广泛引用。需要强调的是，实验经济学界内部本身对这个问题是足够重视且有不断讨论的。近来关于这个问题的代表性讨论之一是行为与脑科学杂志（Behavioral and Brain Science）在2010年第2期发表的Joseph Henrich等人的“The Weirdest People in the World”一文所引发的大讨论。 这篇题为“The Weirdest People in the World”的长篇论文中Henrich等人延续了跨文化的研究，并提出了与上述学生被试的实验样本代表性问题密切相关的一个核心概念即“WEIR

29、D”， 它是“Western，Educated，Industrialized，Rich，and Democratic”即“西方的，受过高等教育的，工业化的，富有的，民主的”首字母合写，Henrich等人认为西方所发表的大部分实验经济学论文所采用的学生样本均具备“WEIRD”特征，通俗地可以用“精英阶层”来加以概况。,学生被试的样本代表性问题,在这篇文章中Henrich等人列举了大量具备“WEIRD”特征的群体和其他不同文化背景下实验样本的实验结果差异证据，比如工业化社会和小型社会的样本行为差异，西方国家和东方国家样本的行为差异，即使都是西方社会样本，也存在现代美国人和其他西方国家的样本行为差异

30、，同时即使是美国社会内部，也存在着成年人之间和儿童之间的实验行为差异，所有这些差异的证据涵盖了关于公平，合作，个体行为决策等多个实验经济学研究领域。Henrich等人的文章引发了众多实验经济学者对学生被试样本代表性问题的进一步讨论和反思，在这一期的杂志中，总共有28篇相关论文对此进行了评论，整个版面篇幅达到了160页，其中不乏Simon Gchter这样优秀的实验经济学学者的评述。,学生被试的样本代表性问题,实验经济学家对解决学生样本实验结果的可靠性和一般性问题的最有效途径是获取社会职业人群的样本复制相同的实验从而查看实验结果是否会出现偏离，实际上确实有很多实验经济学文献是沿着这个思路来展开研

31、究的，但是这类研究的实验结果却不一而同。比如德州达拉斯大学的Rachel Croson教授总结了近30篇用学生和非学生样本做为被试的同一个实验结果的差异问题，发现大多数实验结果是无差异的，即从自然市场中招募的被试（很多是社会职业人群）其行为与学生并没有典型差别。但是一些研究也指出，在有些情况下可能结果有所不同，比如在Henrich等人的文章中就例举了大量不同文化背景下学生和非学生被试样本的行为差异的实验证据。因此目前学生和非学生被试是否存在系统性的行为差异有待于进一步研究，而且其中可能的一个研究思路是用Meta Analysis方法来分析，Meta Analysis是一种对以往同一个研究问题的多个独立的研究结果进行的定量综合分析，这种方法可以解决各个独立研究结果的不一致性，从而给予再分析以寻求一般性的、归纳性的和更为可靠的结论。,学生被试的样本代表性问题,其次，既然学生和非学生样本是否存在行为的系统性偏差还尚存争议，为何现有的很多实验经济学文献依旧以学生作为被试样本呢？这里关键的一个逻辑问题在于，实验样本的选择最终要根据实验目的、实验内容和实验类型的需要而决定。比如最常见