新人教A版选修(2-3)3.2《独立性检验的基本思想及其初步应用》PPT课件2

1、3.2 独立性检验的基本思想及其初步应用独立性检验的基本思想及其初步应用问题问题: 数学家庞加莱每天都从一家面包店数学家庞加莱每天都从一家面包店买一块买一块1000g 的面包，并记录下买回的面的面包，并记录下买回的面包的实际质量。一年后，这位数学家发包的实际质量。一年后，这位数学家发现，所记录数据的均值为现，所记录数据的均值为950g。于是庞。于是庞加莱推断这家面包店的面包分量不足。加莱推断这家面包店的面包分量不足。假设假设“面包份量足面包份量足”，则一年购买面包的质量数据，则一年购买面包的质量数据的平均值应该不少于的平均值应该不少于1000g ；“这个平均值不大于这个平均值不大于950g”是

2、一个与假设是一个与假设“面包份量面包份量足足”矛盾的小概率事件；矛盾的小概率事件；这个小概率事件的发生使庞加莱得出推断结果这个小概率事件的发生使庞加莱得出推断结果。一一: :假设检验问题的原理假设检验问题的原理 假设检验问题由两个互斥的假设构成，其假设检验问题由两个互斥的假设构成，其中一个叫做原假设，用中一个叫做原假设，用h0表示；另一个叫做备表示；另一个叫做备择假设，用择假设，用h1表示。表示。例如，在前面的例子中，例如，在前面的例子中， 原假设原假设为：为： h0：面包份量足，：面包份量足，备择假设备择假设为：为： h1：面包份量不足。：面包份量不足。这个假设检验问题可以表达为：这个假设检

3、验问题可以表达为： h0：面包：面包份份量足量足 h1：面包：面包份份量不足量不足二二: :求解假设检验问题求解假设检验问题考虑假设检验问题：考虑假设检验问题： h0：面包分量足：面包分量足 h1：面包分量不足：面包分量不足1. 在在h0成立的条件下，构造与成立的条件下，构造与h0矛盾的小概矛盾的小概率事件；率事件；2. 如果样本使得这个小概率事件发生，就能如果样本使得这个小概率事件发生，就能以一定把握断言以一定把握断言h1成立；否则，断言没有成立；否则，断言没有发现样本数据与发现样本数据与h0相矛盾的证据。相矛盾的证据。求解思路：求解思路：2 2定量变量回归分析（画散点图、相关系数r、定量变

4、量回归分析（画散点图、相关系数r、变量 相关指数r 、残差分析）变量 相关指数r 、残差分析）分类变量分类变量研究两个变量的相关关系：定量变量：体重、身高、温度、考试成绩等等。定量变量：体重、身高、温度、考试成绩等等。变量 分类变量：性别、是否吸烟、是否患肺癌、变量 分类变量：性别、是否吸烟、是否患肺癌、 宗教信仰、国籍等等。宗教信仰、国籍等等。两种变量：独立性检验独立性检验本节研究的是两个分类变量的独立性检验问题。在日常生活中，我们常常关心在日常生活中，我们常常关心分类变量之间是否有关系分类变量之间是否有关系：例如，吸烟是否与患肺癌有关系？例如，吸烟是否与患肺癌有关系？ 性别是否对于喜欢数学

5、课程有影响？等等。性别是否对于喜欢数学课程有影响？等等。 吸烟与肺癌列联表吸烟与肺癌列联表不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟77757775424278177817吸烟吸烟20992099494921482148总计总计98749874919199659965为了调查吸烟是否对肺癌有影响，某肿瘤研究所随机为了调查吸烟是否对肺癌有影响，某肿瘤研究所随机地调查了地调查了99659965人，得到如下结果（单位：人）人，得到如下结果（单位：人）列联表列联表在不吸烟者中患肺癌的比重是在不吸烟者中患肺癌的比重是 在吸烟者中患肺癌的比重是在吸烟者中患肺癌的比重是 说明：吸烟者和不吸烟者患肺癌的

6、可能性存在差异，吸烟者患说明：吸烟者和不吸烟者患肺癌的可能性存在差异，吸烟者患肺癌的可能性大。肺癌的可能性大。0.54%0.54%2.28%2.28%探究探究不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟7775427817吸烟吸烟2099492148总计总计98749199651、列联表、列联表2、三维柱形图、三维柱形图3、二维条形图、二维条形图不 患 肺不 患 肺癌癌患肺癌患肺癌吸烟吸烟不吸烟不吸烟不患肺癌不患肺癌患肺癌患肺癌吸烟吸烟不吸烟不吸烟080007000600050004000300020001000从三维柱形图能清晰看出从三维柱形图能清晰看出各个频数的相对大小。各个频数的相对

7、大小。从二维条形图能看出，吸烟者中从二维条形图能看出，吸烟者中患肺癌的比例高于不患肺癌的比例。患肺癌的比例高于不患肺癌的比例。通过图形直观判断两个分类变量是否相关：通过图形直观判断两个分类变量是否相关：不吸烟吸烟00.10.20.30.40.50.60.70.80.91不吸烟不吸烟吸烟吸烟患肺癌比例不患肺癌比例4、等高条形图等高条形图更清晰地表达了两种情况下患肺癌的比例。 上面我们通过分析数据和图形，得到的直观印象是吸烟和上面我们通过分析数据和图形，得到的直观印象是吸烟和患肺癌有关，那么事实是否真的如此呢？患肺癌有关，那么事实是否真的如此呢？这需要用统计观点这需要用统计观点来考察这个问题。来考

8、察这个问题。 现在想要知道能够以多大的把握认为现在想要知道能够以多大的把握认为“吸烟与患肺癌有关吸烟与患肺癌有关”，为此先假设为此先假设 h0：吸烟与患肺癌没有关系：吸烟与患肺癌没有关系.不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟aba+b吸烟吸烟cdc+d总计总计a+cb+da+b+c+d把表中的数字用字母代替，得到如下用字母表示的列联表把表中的数字用字母代替，得到如下用字母表示的列联表 用用a表示不吸烟，表示不吸烟，b表示不患肺癌，则表示不患肺癌，则“吸烟与患肺癌没有关系吸烟与患肺癌没有关系”等价于等价于“吸烟与患肺癌独立吸烟与患肺癌独立”，即假设，即假设h0等价于等价于 p(ab)

9、=p(a)p(b).因此因此|ad-bc|越小，说明吸烟与患肺癌之间关系越弱；越小，说明吸烟与患肺癌之间关系越弱； |ad-bc|越大，说明吸烟与患肺癌之间关系越强。越大，说明吸烟与患肺癌之间关系越强。不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟aba+b吸烟吸烟cdc+d总计总计a+cb+da+b+c+dadbc即aa+ba+caa+ba+cnnnnnna+ba+bp(a),p(a),n na+ca+cp(b),p(b),n n.a ap(ab)p(ab)n n其中为样本容量，即n = a+b+c+dn = a+b+c+d在表中，在表中，a恰好为事件恰好为事件ab发生的频数；发生的频数；

10、a+b和和a+c恰好分别为事恰好分别为事件件a和和b发生的频数。由于频率接近于概率，所以在发生的频数。由于频率接近于概率，所以在h0成立的条成立的条件下应该有件下应该有(a+b+c+d)a(a+b)(a+c), 为了使不同样本容量的数据有统一的评判标准，基于上述分为了使不同样本容量的数据有统一的评判标准，基于上述分析，我们构造一个随机变量析，我们构造一个随机变量-卡方统计量卡方统计量22(),()()()()其中为样本容量。n adbckab cdac bdnabcd（1） 若若 h0成立，即成立，即“吸烟与患肺癌没有关系吸烟与患肺癌没有关系”，则，则k2应很小。应很小。根据表根据表3-7中的

11、数据，利用公式（中的数据，利用公式（1）计算得到）计算得到k2的观测值为：的观测值为：那么这个值到底能告诉我们什么呢？那么这个值到底能告诉我们什么呢？242 209956.6327817 2148 9874 91k9965(7775 49）（2） 独立性检验独立性检验在在h0成立的情况下，统计学家估算出如下的概率成立的情况下，统计学家估算出如下的概率 即在即在h0成立的情况下，成立的情况下，k2的值大于的值大于6.635的概率非常小，近似的概率非常小，近似于于0.01。2(6.635)0.01.p k （2） 也就是说，在也就是说，在h0成立的情况下，对随机变量成立的情况下，对随机变量k2进行

12、多次观进行多次观测，观测值超过测，观测值超过6.635的频率约为的频率约为0.01。思考 206.635?kh如果，就断定不成立，这种判断出错的可能性有多大答：判断出错的概率为0.012009965 7775 49 42 2099566327817 2148 9874 91().khh 现现在在观观测测值值太太大大了了，在在成成立立的的情情况况下下能能够够出出现现这这样样的的观观测测值值的的概概率率不不超超过过0 0. .0 01 1，因因此此我我们们有有9 99 9% %的的把把握握认认为为不不成成立立，即即有有9 99 9% %的的把把握握认认为为“吸吸烟烟与与患患肺肺癌癌有有关关系系”。

13、判断判断 是否成立的规则是否成立的规则0h如果如果 ，就判断，就判断 不成立，即认为吸烟与不成立，即认为吸烟与患肺癌有关系；否则，就判断患肺癌有关系；否则，就判断 成立，即认为吸烟成立，即认为吸烟与患肺癌有关系。与患肺癌有关系。6.635k 0h0h独立性检验的定义独立性检验的定义 上面这种利用随机变量上面这种利用随机变量k2来确定在多大程度上来确定在多大程度上可以认为可以认为“两个分类变量有关系两个分类变量有关系”的方法，称为两的方法，称为两个分类变量的个分类变量的独立性检验独立性检验。在该规则下，把结论在该规则下，把结论“ 成立成立”错判成错判成“ 不不成立成立”的概率不会差过的概率不会差

14、过0h0h2(6.635)0.01,p k 即有即有99%的把握认为的把握认为 不成立。不成立。0h独立性检验的基本思想（类似独立性检验的基本思想（类似反证法反证法）(1)(1)假设结论不成立假设结论不成立, ,即即 “ “两个分类变量没有关系两个分类变量没有关系”. .0:h(2)(2)在此假设下我们所构造的随机变量在此假设下我们所构造的随机变量 k k2 2 应该很小应该很小, ,如果由如果由观测数据计算得到观测数据计算得到k k2 2的观测值的观测值k k很大很大, ,则在一定可信程度上则在一定可信程度上说明说明 不成立不成立. .即在一定可信程度上认为即在一定可信程度上认为“两个分类变

15、量有两个分类变量有关系关系”；如果；如果k k的值很小，则说明由样本观测数据没有发现反的值很小，则说明由样本观测数据没有发现反对对 的充分证据。的充分证据。0h0h(3)(3)根据随机变量根据随机变量k k2 2的含义的含义, ,可以通过评价该假设不合理的可以通过评价该假设不合理的程度程度, ,由实际计算出的由实际计算出的, ,说明假设合理的程度为说明假设合理的程度为99%,99%,即即“两两个分类变量有关系个分类变量有关系”这一结论成立的可信度为约为这一结论成立的可信度为约为99%.99%.在实际应用中，要在获取样本数据之前通过下表确定临界值：在实际应用中，要在获取样本数据之前通过下表确定临

16、界值：0.500.400.250.150.100.455 0.7081.3232.0722.7060.050.0250.0100.0050.0013.841 5.0246.6367.87910.8280)k2p(k0k0k0)k2p(k具体作法是：具体作法是：(1)根据实际问题需要的可信程度确定临界值根据实际问题需要的可信程度确定临界值 ；(2)利用公式利用公式(1)，由观测数据计算得到随机变量，由观测数据计算得到随机变量 的观测值；的观测值；(3)如果如果 ，就以，就以 的把握认为的把握认为“x与与y有关系有关系”；否则就说样本观测数据没有提供；否则就说样本观测数据没有提供“x与与y有关系有

17、关系”的充分证据。的充分证据。0k2k0kk20(1() 100%p kk0.500.400.250.150.100.050.0250.0100.0050.0010.4550.7081.3232.0722.7063.8415.0246.6357.87910.8282()p kkk(1)10.828,99.9%kxy如果就有的把握认为与 有关系(2)7.879,99.5%kxy如果就有的把握认为与 有关系(3)6.635,99%kxy如果就有的把握认为与 有关系(4)5.024,97.5%kxy如果就有的把握认为与 有关系(5)3.841,95%kxy如果就有的把握认为与 有关系(6)2.706

18、,90%kxy如果就有的把握认为与 有关系(7)2.706,kxy如果就认为没有充分的证据显示与 有关系上面这种利用随机变量上面这种利用随机变量k2来确定在多大程度上来确定在多大程度上可以认为可以认为”两个分类变量有关系两个分类变量有关系”的方法称为两个的方法称为两个分类变量的分类变量的独立性检验独立性检验独立性检验的基本思想类似于数学上的反证法独立性检验的基本思想类似于数学上的反证法.要确认要确认”两个分类变量有关系两个分类变量有关系”这一结论成立这一结论成立的可信程度的可信程度,首先假设该结论不成立首先假设该结论不成立,即假设结即假设结论论”两个分类变量没有关系两个分类变量没有关系”成立成

19、立.在该假设下在该假设下我们构造的随机变量我们构造的随机变量k2应该很小应该很小,如果由观测数如果由观测数据计算得到的据计算得到的k2的观测值的观测值k很大很大,则在一定程度则在一定程度上说明假设不合理上说明假设不合理.例例.为考察高中生的性别与是否喜欢数学课程之间的为考察高中生的性别与是否喜欢数学课程之间的关系关系,在某城市的某校高中生中随机抽取在某城市的某校高中生中随机抽取300名学生名学生,得到如下列联表得到如下列联表:性别与喜欢数学课程列联表性别与喜欢数学课程列联表:喜欢数学课程喜欢数学课程不喜欢数学课程不喜欢数学课程总计总计男男3785122女女35143178总计总计7222830

20、0由表中数字计算由表中数字计算k2的观测值的观测值,在多大程度上可以认为在多大程度上可以认为高中生的性别与是否喜欢数学课程之间有关系高中生的性别与是否喜欢数学课程之间有关系?为什么为什么?有有95%的把握认为的把握认为”性别与是否喜欢数学课程之间有关系性别与是否喜欢数学课程之间有关系”k4.5131212, , ,(2 2):xyx xy y一般地 假设有两个分类变量 和它们的值域分别为和其样本频数列联表 称为列联表 为总计总计aba+bcdc+d总计总计a+cb+da+b+c+d1x2x1y2y若要推断的结论为若要推断的结论为h1:”x与与y有关系有关系”,可如下操作可如下操作:1.通过三维

21、柱形图和二维条形图通过三维柱形图和二维条形图,可以粗略地判断两个可以粗略地判断两个 变量是否有关系变量是否有关系,但是这种判断不精确但是这种判断不精确.总计总计aba+bcdc+d总计总计a+cb+da+b+c+d1x2x1y2y不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟aba+b吸烟吸烟cdc+d总计总计a+cb+da+b+c+dabcd主对角线主对角线副对角线副对角线(1)在三维柱形图中在三维柱形图中,主对角线上两个柱形高度的乘积主对角线上两个柱形高度的乘积ad与与 副对角线上两个柱形高度的乘积副对角线上两个柱形高度的乘积bc相差越大相差越大,h1成立的成立的 可能性就越大可能性就越

22、大2.利用独立性检验来考察两个分类变量是否有关系, 并且能较精确地给出这种判断的可靠程度.具体做法是:根据观测数据计算由22n adbckabcdacbdnabcd 其中为样本容量给出的随机变量k2的值k,其值越大,说明”x与y有关系”成立的可能性越大.当得到的观测数据a,b,c,d都不小于5时,可以通过查表来断言”x与y有关系”的可信程度例例1.在某医院在某医院,因为患心脏病而住院的因为患心脏病而住院的665名男性病人中名男性病人中,有有214人秃顶人秃顶;而另外而另外772名不是因为患心脏病而住院的名不是因为患心脏病而住院的男性病人中有男性病人中有174人秃顶人秃顶.分别利用图形和独立性检验分别利用图形和独立性检验方法判断秃顶与患心脏病是否有关系方法判断秃顶与患心脏病是否有关系?你所得的结论在你所得的结论在什么范围内有效什么范围内有效?解解:根据题目所得数据得到列联表根据题目所得数据得到列联表:患心脏病患心脏病患其他病患其他病总计总计秃顶秃顶214175389不秃顶不秃顶451