_辛普森悖论及其应用思考.docx

职教实务技术应用辛普森悖论及其应用 思考柳州铁道职业技术学院 吴 昊18广西教育 2013.3【摘 要】探讨现实中的辛普森现象，利用辛普森悖论来解释现实生活中的例子，探讨例子发生矛盾的原因，加深对辛普森 现象的理解，进而对现实分析的情况进行深入思考并提供作出正 确判断的理论依据。【关键词】辛普森悖论 分层抽样 统计 混杂因素【中图分类号】 G 【文献标识码】 A【文章编号】0450-9889（2013）03C-0186-04一、辛普森悖论统计分析中，变量间是否有相关关系，常常会左右我们对观 察的现象作出正确的决策。例如，某公司开发一种新药 A，想要研究这种新药跟传统的药物 B 对疾病的处理效果有什么不同。选择800 个人来参与做实验，分成两组，每组 400 人，两组的结果如表1 所示。疗效合计有效率有效无效处理新药20020040050传统药物24016040060合计440360800表 1 男女一起考虑的实验数据反，也就是说不管是男性患者还是女性患者，新药的有效率都高于传统的药物，这就跟前面的分析出现了矛盾，这就是辛普森现 象或称为辛普森悖论。辛普森悖论是在一定的前提条件下，研究两种变量的相关关 系时，利用分组或分层技术对原来总体再进行分析得到的与未分 组或分层抽样之前相反的一种结论。即分组评价都占优的一方在总体评价中却不占优势。辛普森现象并不是一种稀罕的现象，在现实生活中非常普 遍，特别是在社会科学和医学中。医学上新开发的药物对疾病是 否有效，新入学的学生是否受到性别的歧视，中国经济的腾飞与 生活水平的降低，吸烟是否有害健康，等等，现实中的方方面面都会出现辛普森现象。用辛普森悖论来解释这些现象能真正了解现 象的本质，从而使人们作出正确的决策。本文的目的是总结前人 的分析结果，去探讨周围的辛普森现象，为大家进一步认清现象 提供一些合理的解释及思考。二、辛普森悖论的数学表示及相应问题一起来看一个向量图。详见图 1。从表 1 的结果看，新研发的药物的有效率是 50%，低于传统药物的 60%，对于治疗某种疾病来说，显得新研发的药物的价值低于传统药物。那么对这种新研发的药物的有效率经过统计分析后是否如表 1 所示？把表 1 得到的数据再进行分层抽样处理， 在细分成男性跟女性对药物的有效率后得到的信息如表 2、表 3 所示。表 2 男性实验数据疗效合计有效率有效无效处理新药12018030040传统药物307010030合计150250400表 3 女性实验数据疗效合计有效率有效无效处理新药802010080传统药物2109030070合计290110400从表 2 和表 3 来看，得到的结论和表 1 得到的结论刚好相图 1 药物治疗数据图 1 是根据上文第一部分辛普森悖论中的数据得到的向量 图。从图 1 可以看出，当把数据用向量在图中表示时，向量的斜率 就表示药物治疗的有效率，倾斜的角度越大有效率就越高。在分 性别讨论时，上面两条就表示女性的传统药物与新药治疗的有效 率，下面两条就表示男性的传统药物与新药治疗的有效率，根据 相应的斜率可以知道新药治疗的有效率都比传统治疗的有效率 要高。但不讨论性别时，表示传统治疗的有效率的斜率反而比表 示新药治疗有效率的斜率大，也就是传统治疗的效果更好。这也 是我们之前讨论分析的结果。那么，从数学上看，辛普森悖论也就 是两个相对斜率较小的向量相加后反而比两个相对斜率较大的 向量相加要大。什么时候才会出现这种情况呢？更一般的，记（1）P（A|B）P（A|B）；（2）P（A|B）P（A|BC）且 P（A|BC）P（A|BC）。其中“P（A|B）”表示 B 发生时 A 发生的条件概率，“B”表示B 不发生，“C”表示混杂因素。忽略了性别这个因素，得到的结论 却不再一样。像与性别有一样影响的因素也就称为混杂因素。如 果在使用数据的过程中把这类因素忽略掉将会混杂真正的因果 关系，从而得到错误结论。式子（1）说明 B 发生时 A 发生的条件 概率比 B 不发生时 A 发生的条件概率大，式子（2）说明 B 发生且C 发生时 A 发生的条件概率比 B 不发生且 C 发生时 A 发生的条 件概率小，同时还有，B 发生且 C 不发生时 A 发生的条件概率比 B 不发生且 C 不发生时 A 发生的条件概率小。在加入 C 这一条 件后，我们看到无论是在 C 发生还是不发生的背景下，B 发生时 A 发生的条件概率都比 B 不发生时 A 发生的条件概率小。这就与前面式子（1）矛盾了。这里我们可以看出“C”导致这种矛盾出 现的因素。若（2）成立则有（1）成立，这种现象就称为辛普森悖论。 针对前述表 1 至表 3 的例子，若用符号表示如下：记“A”表示药物有效，“A”表示药物无效，“B”表示所用的 药为新药，“B”表示所用的药为传统药物，“C”表示选择男性作试验，“C”表示选择女性作试验。则表 1、表 2、表 3 可抽象为以 下三个表格，即表 4、表 5、表 6。（一）“吸烟有害健康”问题。表 7 为关于吸烟与肺癌的实验数据。观察吸烟人群患肺癌的比率（25%）与不吸烟人群患肺癌的比 率（40%）的差可以得到，似乎吸烟与人类患肺癌没有相关关系。 然而，当对研究的总体从性别这个因素将数据进行分组后，得到 表 8 的数据，发现此时吸烟与男性、女性患肺癌都有相关关系。这 种矛盾的现象就是辛普森悖论。因此，在使用统计调查数据进行 分析时，应该考虑清楚哪些因素是要观察的，哪些因素是可以省 略的。表 7 研究数据（整合）nab患肺癌人数未患肺癌人数总的人数患肺癌的比率吸烟257510025%不吸烟406010040%风险差RD=25%-40%0表 8 性别分组后数据（原始）女性男性患肺癌人数未患肺癌人数总的人数患肺癌的比率患肺癌人数未患肺癌人数总的人数患肺癌的比率吸烟2052580%570756.7%不吸烟40357553.3%124254%风险差RDF=80%-53.3%0RDM=6.7%-4%0表 4表 5表 6CFCFAA B abB cdA A B a1b1B c1d1AA B ab22B c2d2表 7 是由一些原始数据整合所得到的，前面的“A”表示患肺 癌，“A”表示未患肺癌，“B”表示选择吸烟的人作试验，“B”表 示选择不吸烟的人作试验，“C”表示选择男性作试验，“C”表示 选择女性作试验。（二）“性别歧视”问题。这里是一所高校的两个学院，分别为它们之间的关系满足关系式 a1+a2=a,b1+b2=b,c1+c2=c,d1+d2=d（*）所 以 P（A|B）= a ，P（A|B）= c ，P（A|BC）= a1 ，法学院和商学院新的一个学期招生的情况。人们怀疑这两个学院 的招生存在性别歧视，所以作了如下统计。详见表 9、表 10。a+bc+da1+b1表 9 法学院录取数据P（A|BC）= a2a2+b2，P（A|BC）= c1c1+d1，P（A|BC）= c2 . c2+d2录取的人数拒收的人数总的人数录取率男生10405020%女生5010015033.3%合计60140200辛普森悖论指的是在满足前述（*）的关系式下，若有a1a1+b1c1c1+d1， a2a2+b2a1+a2+b1+b2c1+c2c1+c2+d1+d2，即 a a+b c c+d。很自然的一个问题是上述情况在表 10 商学院录取数据a1、a2、b1、b2、d1、d2 满足什么条件时才成立呢？ 这与前面斜率的分析其实是同一个意思，尽管这个问题看似简单，但讨论起来可能比较困难。因此，此处我们不作过多的讨 论。我们仅考虑在实际问题中，这种现象是否普遍存在。前述我们所考虑的混杂因素 C 为二值变量的情况，辛普森 悖论还可以考虑混杂因素 C 为多值变量的情况。假设考虑 C 取 值为 C1，C2，C3Ckk 种情况，此时前述的（2）式可表示为（2）： P（A|BC）i P（A|BC）i ，i=1，2k。三、生活中的辛普森悖论下面给出现实生活中产生辛普森现象的例子，用辛普森悖论 来解释这些现象，找出其中引起矛盾的混杂因素，加深人们对辛 普森悖论的理解和应用。录取的人数拒收的人数总的人数录取率男生2005025080%女生901010090%合计29060350观察表 9、表 10 的数据可知，女生在两个学院都是被优先录 取的，即女生的录取率比男生的高。将两个学院的数据汇总后，得 到表 11。录取的人数拒收的人数总的人数录取率男生2109030070%女合计350200550表 11 录取数据汇总观察表 11 的数据中却发现，男生的录取率反而比女生高。借助一幅向量图可以更好地了解情况，详见图 2。看是男性的录取率比女性高，但如果添加条件，即表 13，女性的录取率比男性高。如果我们仅根据表 12 的数据就得出结论，可 能会获得错误的结论。这样的结论自然是不可靠的。（三）“某地房价均价的涨与降”问题。表 14 为某地区房地产5、6 月份的数据，暂且不论数据里是否有水分假按揭，单凭这个 表真的可以说明什么吗？有人根据表 14 中 6 月份均价比 5 月上涨了一些，就得出了上涨 7.7的结论，统计解析房价的人或许对 统计学并不怎么了解，从我们上面的例子可以知道，这样的结论 是不可靠的，而且不具有统计参考意义。表 14 某地区 5、6 月份房均价某地区月份成交总套数总均价5 月50096006 月50010400图 2 录取数据向量图单独两个向量的比较中，女生的斜率都比男生大，这也说明女生的录取率比男生高。但看总体向量时，男生的斜率却大于女 生。前面的“A”表示被录取，“A”表示未被录取，“B”表示男学生报考，“B”表示女学生报考，“C”表示选择报考法学院，“C”表 示选择报考商学院。从上面的例子可知，简单地将分组数据（也可以称为原始数据）相加汇总是不能反映真实情况的。下面还有一个类似的例子 。“ 研 究 生录取的性别偏差： Berkeley 的数据”。表 12 是当时一所大学的研究生院录取情况的 一些数据。那么该地区房价是否真的上涨了呢？绝大多数人尤其是不了 解统计的人看了之后肯定会说当然涨了。可是事实上，好房子和 烂房子均价都降低了 1000 元 / 平方米。如果是真的话，那么这里 也存在辛普森悖论。同样，如果把好房子和烂房子分开来看统计数据，详见表15，加起来均价和房子总套数和上面的数据是一致的。表 15 根据质量分组后的房均价某地区月份好房子成交量成交均价烂房子成交量成交均价成交总套数成交总金额总均价5 月100120004009000500480000096006 月400110001008000500520000010400录取的人数拒收的人数总的人数录取率男生40005000900044.4%女生15003000450033.3%表 12 录取数据男性女性系录取的人数拒绝的人数总的人数录取率录取的人数拒绝的人数总的人数录取率A20002400440045%40045085047%B12001000220055%1008018056%C700900160044%600730133045%D10070080013%4001740214019%总计400050009000150030004500表 13 系录取数据从表 15 得知，其实好房子的均价从 12000 降至 11000，烂房子的均价从 9000 降至 8000，均价都降低了 1000 块，可是汇总的 均价呢？却涨高了 800 块。这就是辛普森悖论在生活中的体现。有时候，概率也可以表 示成均价。而此时，前面的“A”表示房均价，“B”表示选择 5 月观察，“B”表示选择 6 月观察，“C”表示选择好房子销售，“C”表 示选择烂房子销售。（四）“学生与试卷”问题。a、b 两个学生，都有 A、B 两套试卷。 A 试卷比较简单，正确率较高，B 试卷比较困难，正确率较低。详 见表 16、表 17。数据显示向某大学研究生院申请的 9000 个男性中有 4000 人被录取 （占 44.4%），而女性之中 4500 个只有 1500 个被录取（占 33.3%）。是不是表明了存在性别歧视呢？表 12 中的数据是整合该研究生院 4 个系录取的数据所得。接着再看描述各个系原始数据的表 13。发现在每一个系中女性录取率都比男性高。此时， 前面的“A”表示被录取，“A”表示未被录取，“B”表示男学生报考，“B”表示女学生报考，“C1”表示选择报考 A 系，“C2”表示选 择报考 B 系，“C3”表示选择报考 C 系，“C4”表示选择报考 D 系。像这样的两种结论，到底哪一个是正确的结论呢？从表 12表 16 学生做题数据学生正确错误总题数正确率a604010060%b623810062%学生试卷 A试卷 B正确错误正确率正确错误正确率a10566.7%503558.8%b553064.7%7846.7%表 17 按试卷分组数据学生 b 做 A、B 两套试卷的正确率都较低，而且绝大多数做题用 A 套试卷；学生 a 做 A、B 两套试卷的正确率都较高，而且绝 大多数做题用 B 套试卷；但分别直接累加 A、B 两套试卷的正确数量，将得出学生 a 的正确数要小于学生 b 的矛盾结论。前面的“A”表示做题结果正确，“A”表示做题结果错误，“B”表示选择 学生 a 做题，“B”表示选择学生 b 做题，“C”表示选择试卷 A 做题，“C”表示选择试卷 B 做题。（五）“羽毛球比赛”问题。比赛 100 场羽毛球赛以最后总的胜 率评价两个人的实力强弱。详见表 18、表 19。表 18 羽毛球比赛数据获胜场数总场数获胜率甲5210052%乙4610046%表 19 按对手分组数据高手一般的获胜场数总场数获胜率获胜场数总场数获胜率甲2405%506083.3%乙66010%4040100%于是第一个找高手挑战 40 场而胜 2 场，找一般的对手挑战60 场而胜 50 场，结果总的胜率 52%；第二个则找高手挑战 60 场 而胜 6 场，找一般的对手挑战 40 场打了个全胜，结果胜率为46%，比第一个的 52%要小很多，但观察挑战对象数量及胜率可知，后者明显较有实力。前面的“A”表示比赛胜利，“A”表示比赛失败，“B”表示选择甲选手比赛，“B”表示选择乙选手比赛，“C”表示选择高手做对手，“C”表示选择一般的人做对手。四、关于辛普森悖论的一些思考（一）风险认知研究。现在很多的风险认知研究都会作出两种 描述，一种是汇总的，一种是个体的。现在看来，两种分析确实都是必要的，原理也是一样的。如果根据两种数据得出的结论相同，那么或许作用是来自实验处理；但若根据两种数据得出的结论不 相同，汇总得到的效应可能就只是假象。（二）因果关系的证明。辛普森悖论的含义里指出，该悖论涉 及的是相关关系，并不是因果关系。也就是只能说明甲与乙的相关性。而证明甲与乙的因果性呢？想要证明因为甲所以乙，就必须 证明有甲则有乙，并且无甲则无乙。也就是之前所提到的虚假相关性与虚假独立性的内容，辛普森悖论里提及的只是相关关系， 但却因为总是被用做因果关系来解释所以产生这么多自相矛盾的结论。（三）辛普森悖论出现的原因。从上面的几个问题分析还可以 知道，辛普森悖论可能是由以下两个方面的因素造成的。一是分组的权重。首先，如“性别歧视”问题中分组的录取率 要有一定的差距，也就是说如果法学院录取率较低的话，那么商学院的录取率就要比较高，相反的话也可以。而在这种差距的同时，两种性别的申请者的分布比重需要出现相反的情况。与上面的情况对应的话，女性的申请者则应该大部分分布在法学院，此 时，男性的申请者则大部分分布在商学院。结果观察数量时，拒收 率比较高的法学院拒收了很多的女生，男生虽然有更高的拒收 率，但被拒收的数量对于女生来说却算不上多。而录取率很高的 商学院录取了并不多的女生，男生虽然录取率没有女生高，但被 录取的数量对于女生来说却多很多。二是混杂因素及其他。或许性别并不是影响录取率高低的唯 一因素，甚至可能是根本没有影响的。而这里比率差的出现，可能是偶然的。又可能是其他因素的作用。比如年龄，却刚好出现这种录取率的差别，被人错误地解释为性别差异而造成的。（四）避免辛普森悖论出现的方法。如果想要避免辛普森悖论 的出现，就需要留意分组的权重的影响，同时思考是否存在其他 潜在因素进而综合分析，因为这种情况并不容易察觉，尤其是只能看到汇总数据，而没有接触到原始、没有汇总数据的时候。（五）数量与质量。数量与质量肯定是不能等价讨论的，可是 因为数量比质量来得容易测量，所以人们总是习惯简单地用数量、数字来评定好坏、优劣。除数量与质量的思考外，从“学生与试 卷”问题中，我们可以知道，也是从辛普森悖论得到的另一个启示就是，分数并不能说明一切，低分不一定就是低智商。作为教师应 该从这个角度看学生，而作为学生，也应该对自己有信心。羽毛