独立性检验的思想及应用

1、2022-4-30郑平正 制作3.2独立性检验的独立性检验的基本思想及其初基本思想及其初步应用步应用高二数学高二数学 选修选修2-3 第三章第三章 统计案例统计案例2022-4-30郑平正 制作问题问题: 数学家庞加莱每天都从一家面包店数学家庞加莱每天都从一家面包店买一块买一块1000g 的面包，并记录下买回的面的面包，并记录下买回的面包的实际质量。一年后，这位数学家发包的实际质量。一年后，这位数学家发现，所记录数据的均值为现，所记录数据的均值为950g。于是庞。于是庞加莱推断这家面包店的面包分量不足。加莱推断这家面包店的面包分量不足。假设假设“面包份量足面包份量足”，则一年购买面包的质量数据

2、，则一年购买面包的质量数据的平均值应该不少于的平均值应该不少于1000g ；“这个平均值不大于这个平均值不大于950g”是一个与假设是一个与假设“面包份量面包份量足足”矛盾的小概率事件；矛盾的小概率事件；这个小概率事件的发生使庞加莱得出推断结果这个小概率事件的发生使庞加莱得出推断结果。2022-4-30郑平正 制作一一: :假设检验问题的原理假设检验问题的原理 假设检验问题由两个互斥的假设构成，其假设检验问题由两个互斥的假设构成，其中一个叫做原假设，用中一个叫做原假设，用H0表示；另一个叫做备表示；另一个叫做备择假设，用择假设，用H1表示。表示。例如，在前面的例子中，例如，在前面的例子中， 原

3、假设原假设为：为： H0：面包份量足，：面包份量足，备择假设备择假设为：为： H1：面包份量不足。：面包份量不足。这个假设检验问题可以表达为：这个假设检验问题可以表达为： H0：面包：面包份份量足量足 H1：面包：面包份份量不足量不足2022-4-30郑平正 制作二二: :求解假设检验问题求解假设检验问题考虑假设检验问题：考虑假设检验问题： H0：面包分量足：面包分量足 H1：面包分量不足：面包分量不足1. 在在H0成立的条件下，构造与成立的条件下，构造与H0矛盾的小概矛盾的小概率事件；率事件；2. 如果样本使得这个小概率事件发生，就能如果样本使得这个小概率事件发生，就能以一定把握断言以一定把

4、握断言H1成立；否则，断言没有成立；否则，断言没有发现样本数据与发现样本数据与H0相矛盾的证据。相矛盾的证据。求解思路：求解思路：2022-4-30郑平正 制作2 2定量变量回归分析（画散点图、相关系数r、定量变量回归分析（画散点图、相关系数r、变量 相关指数R 、残差分析）变量 相关指数R 、残差分析）分类变量分类变量研究两个变量的相关关系：定量变量：体重、身高、温度、考试成绩等等。定量变量：体重、身高、温度、考试成绩等等。变量 分类变量：性别、是否吸烟、是否患肺癌、变量 分类变量：性别、是否吸烟、是否患肺癌、 宗教信仰、国籍等等。宗教信仰、国籍等等。两种变量：独立性检验独立性检验本节研究的

5、是两个分类变量的独立性检验问题。在日常生活中，我们常常关心在日常生活中，我们常常关心分类变量之间是否有关系分类变量之间是否有关系：例如，吸烟是否与患肺癌有关系？例如，吸烟是否与患肺癌有关系？ 性别是否对于喜欢数学课程有影响？等等。性别是否对于喜欢数学课程有影响？等等。2022-4-30郑平正 制作 吸烟与肺癌列联表吸烟与肺癌列联表不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟77757775424278177817吸烟吸烟20992099494921482148总计总计98749874919199659965为了调查吸烟是否对肺癌有影响，某肿瘤研究所随机为了调查吸烟是否对肺癌有影响，某肿瘤研

6、究所随机地调查了地调查了99659965人，得到如下结果（单位：人）人，得到如下结果（单位：人）列联表列联表在不吸烟者中患肺癌的比重是在不吸烟者中患肺癌的比重是 在吸烟者中患肺癌的比重是在吸烟者中患肺癌的比重是 说明：吸烟者和不吸烟者患肺癌的可能性存在差异，吸烟者患说明：吸烟者和不吸烟者患肺癌的可能性存在差异，吸烟者患肺癌的可能性大。肺癌的可能性大。0.54%0.54%2.28%2.28%探究探究2022-4-30郑平正 制作不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟7775427817吸烟吸烟2099492148总计总计98749199651、列联表通过图形直观判断两个分类变量是否相关

7、：2022-4-30郑平正 制作不吸烟吸烟00.10.20.30.40.50.60.70.80.91不吸烟不吸烟吸烟吸烟患肺癌比例不患肺癌比例2、等高条形图等高条形图更清晰地表达了两种情况下患肺癌的比例。2022-4-30郑平正 制作 上面我们通过分析数据和图形，得到的直观印象是吸烟和上面我们通过分析数据和图形，得到的直观印象是吸烟和患肺癌有关，那么事实是否真的如此呢？患肺癌有关，那么事实是否真的如此呢？这需要用统计观点这需要用统计观点来考察这个问题。来考察这个问题。 现在想要知道能够以多大的把握认为现在想要知道能够以多大的把握认为“吸烟与患肺癌有关吸烟与患肺癌有关”，为此先假设为此先假设 H

8、0：吸烟与患肺癌没有关系：吸烟与患肺癌没有关系.不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟aba+b吸烟吸烟cdc+d总计总计a+cb+da+b+c+d把表中的数字用字母代替，得到如下用字母表示的列联表把表中的数字用字母代替，得到如下用字母表示的列联表 用用A表示不吸烟，表示不吸烟，B表示不患肺癌，则表示不患肺癌，则“吸烟与患肺癌没有关系吸烟与患肺癌没有关系”等价于等价于“吸烟与患肺癌独立吸烟与患肺癌独立”，即假设，即假设H0等价于等价于 P(AB)=P(A)P(B).2022-4-30郑平正 制作因此因此|ad-bc|越小，说明吸烟与患肺癌之间关系越弱；越小，说明吸烟与患肺癌之间关系越

9、弱； |ad-bc|越大，说明吸烟与患肺癌之间关系越强。越大，说明吸烟与患肺癌之间关系越强。不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟aba+b吸烟吸烟cdc+d总计总计a+cb+da+b+c+dadbc即aa+ba+caa+ba+cnnnnnna+ba+bP(A),P(A),n na+ca+cP(B),P(B),n n.a aP(AB)P(AB)n n其中为样本容量，即n = a+b+c+dn = a+b+c+d在表中，在表中，a恰好为事件恰好为事件AB发生的频数；发生的频数；a+b和和a+c恰好分别为事恰好分别为事件件A和和B发生的频数。由于频率接近于概率，所以在发生的频数。由于频率

10、接近于概率，所以在H0成立的条成立的条件下应该有件下应该有(a+b+c+d)a(a+b)(a+c),2022-4-30郑平正 制作 为了使不同样本容量的数据有统一的评判标准，基于上述分为了使不同样本容量的数据有统一的评判标准，基于上述分析，我们构造一个随机变量析，我们构造一个随机变量-卡方统计量卡方统计量22(),()()()()其中为样本容量。n adbcKab cdac bdnabcd（1） 若若 H0成立，即成立，即“吸烟与患肺癌没有关系吸烟与患肺癌没有关系”，则，则K2应很小。应很小。根据表根据表3-7中的数据，利用公式（中的数据，利用公式（1）计算得到）计算得到K2的观测值为：的观测

11、值为：那么这个值到底能告诉我们什么呢？那么这个值到底能告诉我们什么呢？242 209956.6327817 2148 9874 91k9965(7775 49）（2） 独立性检验独立性检验2022-4-30郑平正 制作在在H0成立的情况下，统计学家估算出如下的概率成立的情况下，统计学家估算出如下的概率 即在即在H0成立的情况下，成立的情况下，K2的值大于的值大于6.635的概率非常小，近似的概率非常小，近似于于0.01。2(6.635)0.01.P K （2） 也就是说，在也就是说，在H0成立的情况下，对随机变量成立的情况下，对随机变量K2进行多次观进行多次观测，观测值超过测，观测值超过6.6

12、35的频率约为的频率约为0.01。思考 206.635?KH如果，就断定不成立，这种判断出错的可能性有多大答：判断出错的概率为0.01。2009965 7775 49 42 2099566327817 2148 9874 91().kHH 现现在在观观测测值值太太大大了了，在在成成立立的的情情况况下下能能够够出出现现这这样样的的观观测测值值的的概概率率不不超超过过0 0. .0 01 1，因因此此我我们们有有9 99 9% %的的把把握握认认为为不不成成立立，即即有有9 99 9% %的的把把握握认认为为“吸吸烟烟与与患患肺肺癌癌有有关关系系”。2022-4-30郑平正 制作判断判断 是否成立

13、的规则是否成立的规则0H如果如果 ，就判断，就判断 不成立，即认为吸烟与不成立，即认为吸烟与患肺癌有关系；否则，就判断患肺癌有关系；否则，就判断 成立，即认为吸烟成立，即认为吸烟与患肺癌没有关系。与患肺癌没有关系。6.635k 0H0H独立性检验的定义独立性检验的定义 上面这种利用随机变量上面这种利用随机变量K2来确定在多大程度上来确定在多大程度上可以认为可以认为“两个分类变量有关系两个分类变量有关系”的方法，称为两的方法，称为两个分类变量的个分类变量的独立性检验独立性检验。在该规则下，把结论在该规则下，把结论“ 成立成立”错判成错判成“ 不不成立成立”的概率不会差过的概率不会差过0H0H2(

14、6.635)0.01,P K 即有即有99%的把握认为的把握认为 不成立。不成立。0H独立性检验的基本思想（类似独立性检验的基本思想（类似反证法反证法）(1)(1)假设结论不成立假设结论不成立, ,即即 “两个分类变量没有关系两个分类变量没有关系”. .0:H(2)(2)在此假设下我们所构造的随机变量在此假设下我们所构造的随机变量 K K2 2 应该很小应该很小, ,如果由如果由观测数据计算得到观测数据计算得到K K2 2的观测值的观测值k k很大很大, ,则在一定可信程度上则在一定可信程度上说明说明 不成立不成立. .即在一定可信程度上认为即在一定可信程度上认为“两个分类变量有两个分类变量有

15、关系关系”；如果；如果k k的值很小，则说明由样本观测数据没有发现反的值很小，则说明由样本观测数据没有发现反对对 的充分证据。的充分证据。0H0H(3)(3)根据随机变量根据随机变量K K2 2的含义的含义, ,可以通过它评价该假设不合理可以通过它评价该假设不合理的程度的程度, ,由实际计算出的由实际计算出的, ,说明假设不合理的程度为说明假设不合理的程度为99%,99%,即即“两个分类变量有关系两个分类变量有关系”这一结论成立的可信度为约为这一结论成立的可信度为约为99%.99%.2022-4-30郑平正 制作怎样判断怎样判断K K2 2的观测值的观测值k是大还是小呢？是大还是小呢？ 这仅需

16、要确定一个正数这仅需要确定一个正数 ，当，当 时就认为时就认为K K2 2的观测的观测值值 k大。此时相应于大。此时相应于 的判断规则为：的判断规则为：0k0kk0k如果如果 ，就认为，就认为“两个分类变量之间有关系两个分类变量之间有关系”；否则；否则就认为就认为“两个分类变量之间没有关系两个分类变量之间没有关系”。0kk0k-临界值临界值按照上述规则，把按照上述规则，把“两个分类变量之间没有关系两个分类变量之间没有关系”错误的判断错误的判断为为“两个分类变量之间有关系两个分类变量之间有关系”的概率为的概率为P( ).20Kk在实际应用中，我们把在实际应用中，我们把 解释为有解释为有的把握认为

17、的把握认为“两个分类变量之间有关系两个分类变量之间有关系”；把；把 解释为解释为不能以不能以 的把握认为的把握认为“两个分类变量两个分类变量之间有关系之间有关系”，或者样本观测数据没有提供，或者样本观测数据没有提供“两个分类变量两个分类变量之间有关系之间有关系”的充分证据。的充分证据。0kk20(1() 100%P Kk0kk20(1() 100%P Kk2022-4-30郑平正 制作在实际应用中，要在获取样本数据之前通过下表确定临界值：在实际应用中，要在获取样本数据之前通过下表确定临界值：0.500.400.250.150.100.455 0.7081.3232.0722.7060.050.

18、0250.0100.0050.0013.841 5.0246.6367.87910.8280)k2P(K0k0k0)k2P(K具体作法是：具体作法是：(1)根据实际问题需要的可信程度确定临界值根据实际问题需要的可信程度确定临界值 ；(2)利用公式利用公式(1)，由观测数据计算得到随机变量，由观测数据计算得到随机变量 的观测值；的观测值；(3)如果如果 ，就以，就以 的把握认为的把握认为“X与与Y有关系有关系”；否则就说样本观测数据没有提供；否则就说样本观测数据没有提供“X与与Y有关系有关系”的充分证据。的充分证据。0k2K0kk20(1() 100%P Kk2022-4-30郑平正 制作第一步

19、：第一步：H H0 0： 吸烟吸烟和和患病患病之间没有关系之间没有关系 患病患病不患病不患病总计总计吸烟吸烟a ab ba+ba+b不吸烟不吸烟c cd dc+dc+d总计总计a+ca+cb+db+da+b+c+da+b+c+d第二步：列出第二步：列出2 22 2列联表列联表 独立性检验的步骤独立性检验的步骤第三步：计算第三步：计算第四步：查对临界值表，作出判断。第四步：查对临界值表，作出判断。)()()()(22dcbadbcabcadnKP(k kk0)0.500.400.250.150.100.050.025 0.010 0.005 0.001k00.455 0.708 1.323 2.

20、072 2.706 3.841 5.024 6.635 7.879 10.8282022-4-30郑平正 制作反证法原理与假设检验原理对比反证法原理： 在一个已知假设下，如果推出一个矛盾，就证明了这个假设不成立。假设检验原理：在一个已知假设下，如果一个与该假设矛盾的小概率事件发生，就推断这个假设不成立。2022-4-30郑平正 制作例例1 在某医院，因为患心脏病而住院的在某医院，因为患心脏病而住院的665名男性病人中，有名男性病人中，有214人秃顶；而另外人秃顶；而另外772名不是因为患心脏病而住院的男性病人中有名不是因为患心脏病而住院的男性病人中有175人秃顶。利用图形判断秃顶与患心脏病是否

21、有关？能否在犯人秃顶。利用图形判断秃顶与患心脏病是否有关？能否在犯错误的概率不超过错误的概率不超过0.01的前提下认为秃顶和患心脏病有关系？的前提下认为秃顶和患心脏病有关系？解：根据题目所给数据得到如下列联表：解：根据题目所给数据得到如下列联表：患心脏病患心脏病不患心脏病不患心脏病总计总计秃顶秃顶214175389不秃顶不秃顶4515971048总计总计6657721437其中深色条的高分别表示秃顶其中深色条的高分别表示秃顶和不秃顶样本中患心脏病的频和不秃顶样本中患心脏病的频率。比较两图中深色条的高度率。比较两图中深色条的高度可以发现，秃顶样本中患心脏可以发现，秃顶样本中患心脏病的频率明显高于

22、不秃顶样本病的频率明显高于不秃顶样本中患心脏病的频率，因此认为中患心脏病的频率，因此认为“秃顶与患心脏病有关秃顶与患心脏病有关”。0%10%20%30%40%50%60%70%80%90%100%秃顶不秃顶不患心脏病患心脏病2022-4-30郑平正 制作例例1 在某医院，因为患心脏病而住院的在某医院，因为患心脏病而住院的665名男性病人中，有名男性病人中，有214人秃顶；而另外人秃顶；而另外772名不是因为患心脏病而住院的男性病人中有名不是因为患心脏病而住院的男性病人中有175人秃顶。利用图形判断秃顶与患心脏病是否有关？能否在犯人秃顶。利用图形判断秃顶与患心脏病是否有关？能否在犯错误的概率不超

23、过错误的概率不超过0.01的前提下认为秃顶和患心脏病有关系？的前提下认为秃顶和患心脏病有关系？解：根据题目所给数据得到如下列联表：解：根据题目所给数据得到如下列联表：患心脏病患心脏病不患心脏病不患心脏病总计总计秃顶秃顶214175389不秃顶不秃顶4515971048总计总计6657721437 根据联表根据联表1-13中的数据，得到中的数据，得到221437 (214 597 175 451)16.3736.635.389 1048 665 772K所以在犯错误的概率不超过所以在犯错误的概率不超过0.01的前提下认为秃顶与患的前提下认为秃顶与患心脏病有关系。心脏病有关系。2022-4-30郑

24、平正 制作例1.秃头与患心脏病 在解决实际问题时，可以直接计算K2的观测值k进行独立检验，而不必写出K2的推导过程 。本例中的边框中的注解，主要是使得学生们注意统计结果的适用范围（这由样本的代表性所决定）。因为这组数因为这组数据来自住院据来自住院的病人，因的病人，因此所得到的此所得到的结论适合住结论适合住院的病人群院的病人群体体2022-4-30郑平正 制作例例2 为考察高中生的性别与是否喜欢数学课程之间的关系，在为考察高中生的性别与是否喜欢数学课程之间的关系，在某城市的某校高中生中随机抽取某城市的某校高中生中随机抽取300名学生，得到如下联表：名学生，得到如下联表：喜欢数学课程喜欢数学课程不

25、喜欢数学课程不喜欢数学课程总计总计男男3785122女女35143178总计总计72228300由表中数据计算由表中数据计算K2的观测值的观测值k 4.514。能够以。能够以95%的把握认为高的把握认为高中生的性别与是否喜欢数学课程之间有关系吗？请详细阐述得出中生的性别与是否喜欢数学课程之间有关系吗？请详细阐述得出结论的依据。结论的依据。解：可以有解：可以有95%以上的把握认为以上的把握认为“性别与喜欢数学课程之间有关系性别与喜欢数学课程之间有关系”。分别用分别用a,b,c,d表示样本中喜欢数学课的男生人数、不喜欢数学课的男生表示样本中喜欢数学课的男生人数、不喜欢数学课的男生人数、喜欢数学课的

26、女生人数、不喜欢数学课的女生人数。人数、喜欢数学课的女生人数、不喜欢数学课的女生人数。如果性别与是否喜欢数学课没有关系，则男生中喜欢数学课的比例如果性别与是否喜欢数学课没有关系，则男生中喜欢数学课的比例 与女生中喜欢数学课的比例与女生中喜欢数学课的比例 应该相差很多，即应该相差很多，即aabccd()()acadbcabcdab cd()()()()()abcd ab cdac bd 2022-4-30郑平正 制作例例2 为考察高中生的性别与是否喜欢数学课程之间的关系，在为考察高中生的性别与是否喜欢数学课程之间的关系，在某城市的某校高中生中随机抽取某城市的某校高中生中随机抽取300名学生，得到

27、如下联表：名学生，得到如下联表：喜欢数学课程喜欢数学课程不喜欢数学课程不喜欢数学课程总计总计男男3785122女女35143178总计总计72228300由表中数据计算由表中数据计算K2的观测值的观测值k 4.514。能够以。能够以95%的把握认为高的把握认为高中生的性别与是否喜欢数学课程之间有关系吗？请详细阐述得出中生的性别与是否喜欢数学课程之间有关系吗？请详细阐述得出结论的依据。结论的依据。()()()()()abcd ab cdac bd 22(),()()()()n adbcKab cd ac bd因此，因此， 越大，越大， “性别与喜欢数学课程之间有关系性别与喜欢数学课程之间有关系”

28、成立的可能性就越大。成立的可能性就越大。2K另一方面，在假设另一方面，在假设“性别与喜欢数学课程之间有关系性别与喜欢数学课程之间有关系”的前提下，事件的前提下，事件 的概率为的概率为23.841K 2(3.841)0.05,P K 因此事件因此事件A是一个小概率事件。而由样本数据计算得是一个小概率事件。而由样本数据计算得 的观测值的观测值k=4.514,即即小概率事件小概率事件A发生。因此应该断定发生。因此应该断定“性别与喜欢数学课程之间有关系性别与喜欢数学课程之间有关系”成立，成立，并且这种判断结果出错的可能性约为并且这种判断结果出错的可能性约为5%。所以，约有。所以，约有95%的把握认为的

29、把握认为“性性别与喜欢数学课程之间有关系别与喜欢数学课程之间有关系”。2K2022-4-30郑平正 制作例例3.3.在在500500人身上试验某种血清预防感冒作用，把他们一年中的人身上试验某种血清预防感冒作用，把他们一年中的感冒记录与另外感冒记录与另外500500名未用血清的人的感冒记录作比较，结果如名未用血清的人的感冒记录作比较，结果如表所示。表所示。未感冒未感冒感冒感冒合计合计使用血清使用血清252248500未使用血清未使用血清224276500合计合计4765241000试画出列联表的条形图，并通过图形判断这种血清能否起到预试画出列联表的条形图，并通过图形判断这种血清能否起到预防感冒的

30、作用？并进行独立性检验。防感冒的作用？并进行独立性检验。解：设解：设H0：感冒与是否使用该血清没有关系。：感冒与是否使用该血清没有关系。075.7500500526474216242284258100022K因当因当H0成立时，成立时，K26.635的概率约为的概率约为0.01，故有，故有99%的把握认的把握认为该血清能起到预防感冒的作用。为该血清能起到预防感冒的作用。P(kk0)0.500.400.250.150.100.050.025 0.010 0.005 0.001k00.455 0.708 1.323 2.072 2.706 3.841 5.024 6.635 7.879 10.82

31、82022-4-30郑平正 制作P(kk0)0.500.400.250.150.100.050.025 0.010 0.005 0.001k00.455 0.708 1.323 2.072 2.706 3.841 5.024 6.635 7.879 10.828有效有效无效无效合计合计口服口服585840409898注射注射646431319595合计合计1221227171193193解：设解：设H0：药的效果与给药方式没有关系。：药的效果与给药方式没有关系。3896.19598711224064315819322K因当因当H0成立时，成立时，K21.3896的概率大于的概率大于15%，故不

32、能否定假设，故不能否定假设H0，即不能作出药的效果与给药方式有关的结论。，即不能作出药的效果与给药方式有关的结论。例例4 4：为研究不同的给药方式（口服与注射）和药的效果（有效：为研究不同的给药方式（口服与注射）和药的效果（有效与无效）是否有关，进行了相应的抽样调查，调查的结果列与无效）是否有关，进行了相应的抽样调查，调查的结果列在表中，根据所选择的在表中，根据所选择的193193个病人的数据，能否作出药的效果个病人的数据，能否作出药的效果和给药方式有关的结论？和给药方式有关的结论？2022-4-30郑平正 制作P(kk0)0.500.400.250.150.100.050.025 0.010 0.005 0.001k00.455 0.708 1.323 2.072 2.706 3.841 5.024 6.635 7.879 10.828例例5：气管炎是一种常见的呼吸道疾病，医药研究人：气管炎是一种常见的呼吸道疾病，医药研究人员对两种中草药治疗慢性气管炎的疗效进行对比，员对