祝建华(竹家庄)统计学笔记整理.doc

12月12日为何回归方程的常数是负值？L君 2009-11-18:老师，您好，我在做毕业论文。问题简化后说就是：有两个不同组别的多元线性回归方程进行比较y1=a1+b1X1+c1X2+d1X3y2=a2+b2X1+c2X2+d2X31，2为两个不同的大区域（每个大区域都有40个小区域作为观测值）；y为污染总量，X1, X2, X3为三种类型的污染源面积（工厂，工地，居民区），b, c, d为三种污染源的单位面积污染量（在模型里都为正数）。现在需要比较1，2两地的污染状况，三种类型污染源的污染贡献量等。我得到的两个回归方程，b、c、d都为正数，但是常数项a1为正，a2为负。这样对单位污染量的比较有影响吗？可以这么分析吗？在这个分析中，可不可以给出非标准回归系数的回归方程，然后用标准回归系数（常数项为0）解释贡献量？但是单位面积污染量要继续用于后续计算的话，是用标准还是非标准的回归系数呢？但是，如果 y1302X13X24X3、y230020X130X240X3，在两个区域，2区域的单位面积的效益就明比1大，但是在3类污染源面积相同的情况下，y总值是一样的？这个就不太好解释了。其实就算是都为正，但是相差较大的话，也不能比较区域1，2的单位面积效益大小？怎么解决这个问题呢？还有，这个模型的R平方，还有sig等检验系数有的不合格。之后我改用偏最小二乘法，用SPSS和SIMCA-P计算结果都和多元线性回归得到的方程一样。那是不是随便用哪个结果都行呢？庄主 2009-12-06:你提到了好几个问题，其中第一题：两个样本的所有自变量和因变量（污染值或面积）取值都应该是非负值、或许都是正值（960万平方公里之内哪里还有0污染的净土？），但是两个对应回归方程的常数项a1为正、a2为负。你问：这对样本之间“单位污染量”的比较有影响吗？我这学期教的同学中也有问过：“变量全部为正值、为什么回归方程常数为负值？我觉得后者问题更有普遍意义，所以本贴主要谈这个问题，你的其余问题放在最后简单说一下。我们知道，常数项b0（你用a来表示，为了与本庄其它帖子一致，这里用b0）反映的是当所有自变量分别取值为0时因变量Y的值。但是，在很多实际研究中，出现负值的b0是一件很奇怪或很尴尬的事。在本例中，如果自变量X1-X3（工厂、工地、居民区）没有污染面积，那么该区域不仅没有任何污染而且还会“负污染”（世上真有比蓝天、绿地、白云更圣洁的境界？），真的很奇怪。其实，这仅仅是有关变量的取值区间及其关系强度之间的特定搭配而造成的错位而已。我们先从下图中获得一些直观的认识。图中的两条线分别代表一个回归方程，其中A线是向上的（即b1为正），但它在X = 0时Y 0（即b0为负）；相反，B线是向下的（即b1为负），而它在X = 0时Y 0（即b0也为负）。说明b0的取向与b1没有直接关系。另外，A的数据可以局限在A1-A2范围内，即X和Y全部为正值；也可以局限在A3-A4范围内，即X和Y全部为负值。反之，B的数据可以局限在B1-B2范围内，即X为全为负值而Y全为正值；或者局限在B3-B4范围内，即X全为正值而Y全为负值。当然，如果数据局限在A2-A3或B2-B3范围内，X和Y即可为正也可为负。以上六种情况，穷尽了X和Y的可能取值，但其回归方程的常数b0总是为负，说明b0的取向与X和Y的取值范围也没有直接关系。那么，b0的取向到底受什么影响？其中有什么规律可循？我查了一些教科书，希望找到一个权威的说法来引用一下，可惜还没有查到（也许我查的不够广泛和彻底）。以下是我的推导，尚未得到“权威”认可，仅供大家参考。我们从简单回归方程出发：Y = b0 + b1X (1)如重新组织公式1即有：b0 = Y b1X (2)我们知道，如果b1已知（通过回归分析而得知）、就可以将Y和X的任意一对常数（如两者的均值、最大值、最小值、均值之一个标准差之上或之下、等等）分别代入公式2而求出b0。这里，我们分别用Y和X的最小值（记为“Ymin”和Xmin”）来代入公式2：b0 = Ymin b1Xmin (3)很显然，Ymin、Xmin和b1可以取任何值而公式3均可成立，这与我们从上图得到的直观理解是一致的。更重要的是，我们可以从公式3推导出b0取负值的条件：如果 b0 0, 那么Ymin b1Xmin Ymin (4)或者，b1 Ymin/Xmin (5)公式4告诉我们，如果Ymin小于Xmin与b1的乘积，那么该回归方程的常数b0为负值；而公式5则直接显示，如果Ymin与Xmin的比值小于b1，那么b0为负值。（当然，我们将公式4和5中的“”改成“B、B C、CD的影响都显著，但是三者的乘积（即AD的间接影响）却不显著。另外，AD的直接影响也显著。不知有无方法提高间接影响？是否可以将显著水平从0.05放宽到0.10？庄主 2009-12-04:你的理解对了一部分，即AD的间接影响包括ABCD的所有回归系数之连续乘积 (= 0.30 x 0.20 x 0.10 = 0.006)。但在你的模型中，A-D之间其实有三条间接路径：一是你说的ABCD；二是AB-D；三是ACD（见下图）。如果你的理论规定AD的间接影响只能有A-B-C-D一条路径，是否可以？当然可以。但你须要预期到如此假设更难被证实。如果你的理论容许，那么加上A-B-D和A-C-D的间接影响之后会如何？一切取决于A-C和B-D的系数强度。你可以代入一些可能发生的数值来计算A-D的总间接影响。如，1. A-B = 0.20和B-D=0.20，总间接影响=0.086，可能不显著，同时也小于A-D的直接影响； 2. A-B = 0.30和B-D=0.30，总间接影响=0.126，虽然仍小于A-D的直接影响，但可能显著，属于“弱间接影响”（参见前贴“如何检验两个中介变量的效应? ”/2009/04/blog-post_25.html或/blog/cns!3F49BBFB6C5A1D86!1159.entry）； 3. A-B = 0.40和B-D=0.40，总间接影响=0.166，可能显著，并大于A-D的直接影响，属于“强间接影响”。 当然，基于你现有的回归系数均在0.10到0.30之间，我怀疑即使将后两条间接路径等间接影响（假定两个未知的系数也在0.10到0.30之间）加进去，总间接影响还可能不显著。总之，间接影响模型在理论上很诱人、但在实证上要求很高，尤其是多阶段间接影响模型，一般都很难证明。最后，你问是否可以将显著水平条件放宽到0.10？答案是否定的。一、统计决策的显著水平（）是在检验之前就要设置的，而不能在检验之后、因实证显著水平p大于而将提高。二、一般设为0.05，代表犯Type I 错误的概念有5%，如果提高到0.10，则将Type I 错误提高到10%，除了初步的探索性研究之外，这种错误率太高。三、结构方程模型中的回归系数已经修正了测量误差，所以一般不应该再放宽其显著水平。11月15日如何确定名目变量交互项的参照组是什么？台灣吳同學 2009-11-13: 老師您好,我是台灣的學生,對您的統計解釋相當有興趣。最近我遇到了一個問題,我嘗試把他說清楚,希望您可以幫我解惑。在我的logit model裡頭,有兩個類別變數，分別為性別與教育程度。其中,性別是男女二分變數(男=1,女=0),而教育程度則分為低,中,高三類(中=0).我的依變數是收入,分為低與高兩種(低=0).假設,我想探討性別與教育程度的交互作用(性別X教育程度),我的交互作用項只能把1.男X低教育和2.男X高教育放入模型中,請問我的交互作用項在這時候的參照類是什麼?是1.男X中教育? 還是2.女X中教育?另外,也想知道要如何解讀交互作用項B和EXP(B)的意義。希望您能看得懂我的問題,謝謝!庄主 2009-11-15:吴同学，从统计上来说你的问题并不难，但要解释清楚却简短不了，而且有点绕弯弯（所以提醒读者随手做些推算验证，以免绕不出来）。我把这类问题叫做technically simple but practical not trivial (技术上很容易但操作上不简单)，往往会被人疏忽或轻视，所以不容易找到答案。如你问的，实质上是一个“如何解读回归分析中交互项的系数？”的问题，对此我已写过好几个帖子（如“如何在回归分析中检验和解读交互影响？”）。但是，你由于下面谈到的若干误解而对这个问题产生困惑，也许已问过其他人或查过其它参考文献，但却不得而知。我觉得你的困惑可能有三个来源混合而成：第一，你的因变量(dependent variable)不是收入本身、而是高收入与低收入之比例的对数，但无论你根据什么理由来如此构建因变量，你的问题与因变量性质无关，也就是说交互项的对照组问题在包括OLS、GLS、Logit、Probit、Logistic等等所有回归分析中是一样的。所以有关如何解读回归分析交互影响的文献（包括我自己的有关帖子）都是直接相关的。第二，你的两个自变量都是nominal scale (名目变量) 而不是更常见的interval scale (等距变量)，而且你用了dummy coding（哑变量编码）方法，但你对这种编码的原理了解不够（很多人都有同样问题），所以无法将如何解读定距变量交互影响的文献转换成你的答案。第三，也许是最重要的，是你将交互影响等同于main effects（主效应）影响了。此话怎讲？你知道一个名目自变量转换成哑变量之后，其回归系数描述的是该哑变量取值为1的“研究组”与取值为0的“对照组”之间在因变量Y的平均值上的差别。这种理解完全正确。但是，你将其推广到对交互项系数的理解上去了，所以会问该系数是跟哪个对照组在比较？为了有助其他读者理解你的问题，我用以下公式来表述你的回归模型：Y = b0 + b1M + b2H + b3L + b4MH + b5ML (1)其中，Y是因变量的平均值（注意：为了写作方便，本文没有按惯例在Y上加一横杆来代表平均值），M是性别（因为Male=1，所以命名为M），H是高教育程度（High），L是低教育程度（Low），MH是你说的“男X高教育”的交互项，ML是“男X低教育”的交互项。b0是在性别和教育两个变量中同时担任对照组（即同时取值为0）的FM（女性中等教育）组的均值，b1是男女差别（即性别的主效应，注意：这句话在有交互影响条件下有问题的，见后面的简单讨论）、b2是高教育与中教育的差别（高教育主效应，注意：这句话在有交互影响条件下也是有问题的，见后面的简单讨论）、b3是低教育与中教育的差别（低教育主效应）、b4是性别与高教育的交互影响、b5是性别与低教育的交互影响。上面这段话中，大都分都是常识，唯一需要加以讨论的是什么叫做“性别与高（或低）教育的交互影响”。以b4为例，它反映的是“性别对高等-中等教育程度之间差别的影响”、或倒过来说，是“高教育对男女之间差别的影响”（这两种说法是等价的）。也就是说，b4描述的是高和中教育组之间的差别大小、在男性和女性之间是否相同；或者，男女之差的差别大小在高和中两组之间是否相同。这个意思，中文里说确实有点绕弯弯，用英文表述则相当清楚: b4 indicates whether the difference between the highly-educated and moderately educated groups is constant (uniform, equivalent, invariant, etc.) for men and women, respectively; or whether the difference between men and women is constant () for highly educated and moderately educated people, respectively. 这是问题的核心：主效应系数（b1-b3）反映的是组间差别，所以有研究组和对照组；但是交互项系数（b4-b5）反映的是组间差别的差别（difference between diffrences between groups, or difference between group-differences)，所以没有主效应系数意义上的对照组。也就是说，b4或b5反映的不是两个组之间是否有差别，而是两个组间差别之间是否有差别，所以不需要有、也不可能只有一个对照组。问题解决了吗？应该还没有。我希望大家能够记住两句话：一、交互项系数反映的是交互影响而不是组间差别（即“交互影响不等于组间差别”）；二、组间差别又是与（显著的）交互影响直接有关的。为了说明第二句话，我们来看看在交互项显著的条件下组间差别是如何计算的。我们可以根据模型1，写出计算你的六个组（= 2个性别组 x 3个教育组）的平均值Y的公式：（请大家拿出纸和笔来，将0和1值分别代入模型1，以复核实下述公式。光看不练，也许越看越迷糊。）男高(MH):YMH=b0 + b1x1 + b2x1 + b3x0 + b4x1x1 + b5x1x0 = b0 + b1 + b2 + b4(2)男中(MM):YMM=b0 + b1x1 + b2x0 + b3x0 + b4x1x0 + b5x1x0 = b0 + b1(3)男低(ML):YML=b0 + b1x1 + b2x0 + b3x1 + b4x1x0 + b5x1x1 = b0 + b1 + b3 + b5(4)女高(FH):YFH=b0 + b1x0 + b2x1 + b3x0 + b4x0x1 + b5x0x0 = b0 + b2(5)女中(FM):YFM=b0 + b1x0 + b2x0 + b3x0 + b4x0x0 + b5x0x0 = b0(6)女低(FL):YFL=b0 + b1x0 + b2x0 + b3x1 + b4x0x0 + b5x0x1 = b0 + b3(7)模型2-7告诉我们如何计算六个组的平均值。为了便于计算它们之间的差别（更重要的是洞察它们之间的结构性关系），我们将模型2-7按以下方式重新安排一下：表一、性别与教育程度交叉组的回归系数比较M（男性）F（女性）H（高教育）b0 + b1 + b2 + b4 (2)b0 + b2 (5)M（中教育）b0 +b1 (3)b0 (6)L（低教育）b0 + b1 + b3 + b5 (4)b0 + b3 (7)根据表一，我们可以很轻松地（目测）算出各组的差别。基于共有六组，共有 6 x 5 / 2 = 15对组组比较，我们用以下的矩阵形式来表示，以省些空间：表二、组间差别之计算方法MHMMMLFHFMMMb2+b4MLb2+b4b3-b5-b3-b5FHb1+b4b1b2 b1+b3+b5-b2FMb1+b2+b4b1b1+b3+b5b2FLb1+b2+b4-b3b1-b3b1+b5b2-b3-b3注：所有组间差别均由column group row group（列标题中的组减去行标题中的组）构成。如MH-MM = b2+b4。如果想求行组减列组，只需将表二中所有系数的符号相反即可。由表二可知，只有三对组间差别是直接由回归系数告知的 (MM - FM = b1, FH FM = b2, FM FL = b3；注意，这里的b1只反映中等教育程度上男女之间的差别、而不是所有教育程度上的男女差别；b2和b3只反映女性中不同教育程度的差别、而不是所有人中不同教育程度的差别，这就是我前面提到的对主效应系数的一般解释“在有交互影响条件下有问题的”的原因)，而且三者均只涉及主效应系数。另有两对组间差别是由两个主效应系数的组合而成 (MM FL = b1 b3, FH FL = b2 b3)。其它10对组间差别均涉及主效应和交互项系数的组合。其中尤其是MH - MM的差别，需要同时用到b4和b5两个交互项系数。这个练习说明什么？既说明交互项系数不等于组间差别、又说明（大部分）组间差别与交互项系数有关系。具体说来，这种“关系”，是附加在主效应系数的基础上产生的，也就是说交互项系数是对一对主效应关系的adjustment（调整）。其调整程度（微调或巨调）则有b4或b5取值决定。现在，问题解决了吗？也许有些读者还是有点迷糊，觉得名目变量交互分析好麻烦。对的，这就是我一开始说的“技术上容易操作上难”的道理。推而广之，凡涉及名目变量的多元分析（如loglinear modeling、multinomial logistic regression、等等），没有一样不是技术上容易操作上难的。大家要有充分的心理准备。在本例中，将问题变得相对简单（或容易？）一些的一种方法是不用哑变量编码、而用effects coding（效应编码？）或 c