chapter受限因变量模型

1、第1章 受限因变量模型这一章讨论响应变量仅仅被部分观测到的情况。引入被部分观测到的潜在随机变量y*, y*的实际观测变量为yi。弓I入二元指示变量Di,如果a< y*<bi，Di=1 ；否则，Di= 0。即卩Di表示变量y*是否可以被观测得到。(a, bi)称为观测区间。如果对于Di = 1和Di = 0都有实际观测数据，当Di = 1时，潜在变量与实际观测变量相等，当Di = 0时，实际观测变量同样有取值，但不等于潜在变量，这时称数据被归并(cen sored),即小于的数据被归并为ai，而大于bi的数据被归并为 6。用数学符号表示 为：a,如果y* <a,y 二 y*,如

2、果 a. _y； _b。(1)bi,如果y* >bi如果只有当Dj = 1时实际观测变量 yi才有观测数据，即：当 Di = 1时，潜在变量与实际观测变量 相等，而当Di = 0时，yi没有观测值，这时称数据被截断(truncated),即小于日的数据和大于 色的数 据被截断了。因此截断数据与归并数据的区别在于，对于观测区间外的数据，归并数据将将其都归并 为一点，而截断数据没有观测值。将潜在随机变量y*的基本模型设定为：y* - - - Vi。(2)其中-为位置参数，为刻度参数；Vi为独立于Xi的连续随机扰动项，均值为0，方差为1,其分布函*“ _ LL数、密度函数分别为 F、f。在这些

3、假定条件下，yi*的均值为：i，方差为3分布函数为F(Y-),ay. »*a »b k概率密度函数为f ( )/(证明请参见附录1)。ai < yi<bi等价于Ci= 一<Vi< 一 = di,CTCTcr那么yi*被观测到的概率为：Pr(ay* cb) =Pr(D =1) = F(dJ-F(cJ(3)下面对截断数据模型和归并数据模型分别进行介绍1.1截断数据模型如果样本数据是从总体的一部分抽取得到，我们把这类数据称为截断数据。比如，研究高收入阶 层(月收入x : 10000)的消费与收入的关系，所采集的数据只是位于收入总体分布的一个区间里。假 设所

4、有居民的收入服从正态分布，那么高收入阶层的收入只是在x : 10000的区间里观测得到的。下面介绍截断数据的分布特征和模型估计。1.1.1截断数据的分布特征如前面所述，截断数据只包括Di = 1情况下的数据。截断分布是指变量高于（低于）某个设定值的未截断部分的分布。如果变量只有在高于某一门限值a时才被观测到（x > a），称之为从下面截断（truncation from below ）或者是从左边截断（truncation from left）；如果变量只有在低于某一门限值 b 时才被观测到（x < b），称之为从上面截断（truncation from above ）或者是从右边

5、截断（truncation from right）。如图所示。图一截断分布图（上面截断（左图）、下面截断（右图）下面分析截断数据的分布函数、密度函数、均值和方差。1. 截断变量的分布函数和密度函数给定模型（1）及相应的观测概率（2）,那么第i个观测变量yi的条件分布函数为（证明请参见 附录2）:0,如果 y* : qFy(yJ=t(4)匚0丄工，如果帚曲*汕F di -F c,y1,如果y* bi（注：此处及后面的 aj，b，Ci，di的定义均与前面相同）密度函数为:EW）,如果 aq'bify（yj =二 F di -F q（5）10,其他从截断数据的密度函数（4）式我们可以推出从下

6、面截断或从上面截断的各种不同分布的变量的 密度函数。读者可以参阅下面介绍的几个例子。例1截断均匀分布的密度函数和分布函数如果x*在区间a, b上服从均匀分布（uniform distribution ）,那么f （x） , F （x） X_- （a ：x ：b） ,（6）b ab a如果在x = c处截断，即实际观测值 x= x，如果x : c； x= c,如果x < c。这是左截断的例子，即右截断点=b。根据（5）式，在x = c处截断的随机变量x的截断分布的密度函数为：(7)f(x*)f (x*)1/(b-a)1f (x)=P(D =1) F(b)F(c) 1 (c a)/(b a)

7、 b c分布函数为：F(x)二F(x) -F(c)Pr(Di =1)_ (x -a) /(b -a) -(c -a)/(b -a)-1 _(c_a)/(b _a)x -cb -c(8)例2 截断正态分布的密度函数模型设定为:y；二叫-v,yi = yi，如果 ai : y； : b(9)yi = ai，如果 yj _ ajyi = bi，如果 yi _bi其中vi N(0, 1)。即yN(?, j),其中？、？分布表示yi的均值和标准差。以？、扮别表示标准正态分布密度函数和分布函数。那么:a. »y. _ » b »Pg <y cb)=Pr(cc -)crc

8、rcr，/b-叫ai -叫、(10)=门()：/ ( )cr补(dj-G(q)a_ I ii，Ciaa根据截断正态分布的密度函数公式:可直接得到ai _y； _bi时yi的密度函数:1 )r /CJC5fy(Yi)=G(di) -：(Ci)y. A打L)J<!(di)1 蚁)坊1 (Ci)ififai 、b ；(11)根据截断正态分布的分布函数公式:可直接得到q乞y；辽$时yi的分布函数:C L)_(a)Fy(y)='CT(di) -(C)y. A.巩 )cr(如一(C)：；J(di)y. _讥1)i：(Ci) CTifai-二(12)1"Ci)if bi 二图二截断正

9、态分布变量的累积分布函数图(设潜变量y；N(0, 1)，图中虚线表示标准正态分布函数，实线表示截断正态分布函数，截断点为-1、1)2. 截断变量的均值和方差截断随机变量的均值和方差称之为截断均值(truncated mean)和截断方差(truncated varianee),由下面的(5)、( 6)式可以推出各种不同截断分布的均值和方差。给定模型(9),yi的均值为：EyJ 川djf (v)其中，W =Ev |Cj cVj <dj ='vdvF(dj)-F(cJyi的方差为：Varyj|Dj =ip c2Varvi | : v, : d,其中，Varv C CM “ = f v

10、2f(vdv皆。七F(dJF(q)(证明请参见附录 3)。例3:均匀分布的截断均值和截断方差给定模型(6)，截断变量x的均值和方差分别为：(13)(14)bb 11E(x)二 xf (x|x c)dx 二 x dx (b c)C'c b-c 2b 2x-E(x|x c) f (x | x c)dxcb 1 2 1 cx (b c) dx c 2b -cgb2 c2 -(c -a)(b c)2Var(x)=(15)例4:正态分布的截断均值和截断方差给定模型(9)，那么y,的均值和方差分别为:Ely=7 =其中，Evi|cvi4lyi的方差为：2Var yi | D, =1 = . Var

11、vi |cj < v, : di 其中 '， di牧dJG蚊cj 嗽di)$(Ci)、2 Q(dJ-(q)f(di)q(C)其中，：、(1)分别表示正态分布的密度函数和分布函数。如果Cj -:，即数据只是在右边截断，这时：(Ci) = 0、：( Ci) = 0,因此:,二 EMM y 也(di) <0i u i i(di)(2)Varv, |v, : d, =1 d, ' (d,)- ' (d,)2如果di +，即数据只是在左边截断，这时：(di) = 0、：( di) = 1，因此:,-Evi 丨 vi 9 (c )>01-G(C)Varv, |v,

12、c, =1 c, ' (c,)- ' (q)2(16)(17)(17a)(17b)(18a)(18b)(17a)式中，g )=- (di)称之为 In verse Mills Ratio，将(18a)式中 (c )=(C- 称之为风险 爭(d1-(C)函数(Hazard Function )。结论1 E(y|y :b) ：E(y) ：E(y|y .a)。即，如果变量为从上面截断，则截断变量的均值小于初始变量的均值；如果变量为从下面截断，则截断变量的均值大于初始变量的均值。结论2截断变量的方差低于初始变量的方差。图三 截断分布的均值(左图)、方差(右图)(假定潜在变量y*N(2,

13、 2)1.1.2截断回归模型估计F面以左截断模型为例说明截断回归模型的估计。(19)设回归模型为：y =xi 3 ' :_vi其中，ViN(0, 1)。那么，yi N(xi討2)。根据例4,我们可以得到截断随机变量yi的均值和方差。Eyi | yia =Eyj |« . :儿 3 二1 -门(冷)(20)(24)其中，:i,()Ci)/1-：心JCTVar yi | yi a =1(: J ( J2 =1 、( J( 21)其中，、()-() (J -冷由(20)式可以看出，截断均值为 和Xi的非线性函数。同一般的非线性模型一样，变量Xk对y的边际影响不等于其系数：Ey|y

14、acX3卞4三da cX二 3 (： )因为o ：、( j ：1，所以变量xk对y的边际影响要小于其系数。yi的方差也存在类似的缩减(attenuation):(23)VarW $ a) -；21 -、( J ：；2注：对于yi < b的情况，可以得到相同的结论。下面分析截断模型中参数的最小二乘估计和极大似然估计。1. OLS估计根据Eyi|y a二Xi 3卞'G)，截断模型可以写为:yi =Eyi | yi a r二务3亠''冷'Ui其中，Ui = Vi为yi减去其条件期望，E(Ui)=0。如果以最小二乘法估计(19)式，就忽略了非线性项：i,因此OLS

15、估计量是有偏的。另外，yi|yi>a的方差与ui的方差相同，由Var® I% .a) -；21 _、：(、)可知，yi存在异方差，为:2Vary =Varu = . Varv 也，境2 2二；(1 - i J( 25)二打2(1 -、( J)它是Xj的函数。2. ML估计对于模型(19),由截断随机变量的概率密度函数可得yi的密度函数为,(26)可以得到yi的对数似然函数:1212, a - x i S(27)aLog. -尹g(2心log芬(yxS -呗-叭对于N个观测值(y1,yN),其联合对数似然函数为:N2Log.亍log(2 二)log；，12匚2NN二(yi - x

16、i S)八 log1 -(7i 4a-K S)a(28)通过最优化方法可以解得上式的参数和：的值。1.2归并数据模型计量经济学当中经常能碰到数据的归并问题，简单地说，归并数据即是被解释变量在某个区间的观测值都转化为同一个值。比如，研究电影院的座位需求情况，电影院总的座位是20000个。如果实际的需求量少于20000,那么观测到的需求量就等于实际需求量；但如果实际需求量大于(等于)20000,那么实际可观测到的需求数量只能为20000。这时我们说需求量数据被归并，即所有大于20000的数据都被归并为20000。格林(Greene, 2000)列举了经验文献中归并数据的应用。其中包括：1, 家庭耐

17、用品消费支出Tobi n(1958)2, 婚外情次数Fair(1977,1978)3, 劳动力市场中妇女工作的小时数Quester and Gree ne(1982)4, 罪犯重新入狱的次数White(1980)等。F面分别介绍归并数据的分布特征和模型估计。1.2.1归并数据的分布特征D i = 1和D i = 0两种情况下的数据。如前所述，归并数据与截断数据的区别在于，归并变量包含i, 如果y；兰aiy = y；,如果 ai : y； : b(29)bi,如果y； >bi或者写作：二maxaj,min(y；,b)。即当y； _a时，所有值被归并为ai;当y；时，所有值被归并为bi。归并

18、数据按照归并点ai; bi是随机的还是确定的分为固定归并( fixed cen sori ng)和随机归并(ran dom cen sori ng)两种。如果ai; bi是确定性的，我们称之为固定归并；如果 a, bi是随机的，我们 称之为随机归并。本章只介绍固定归并的情况。归并数据按照归并点与观测区间的关系还可以分为左边归并和右边归并。如果：称潜在变量 y；被从下面归并(censored below)或者从左边归并(censored from left)；如果：称潜在变量 y；被从上面归并(censored above)或者从左边归并(censored from right )。图归并变量示

19、意图1 归并变量的分布函数和密度函数给定基本模型(1 )的假定，yi的分布函数为：0如果yj <aiFy(yJF(yi 屮i)/<r)如果 a <yb(30)i如果yi归并变量的分布函数为一种混合分布(连续型和离散型综合在一起)。在yi = ai和yi = bi两点的概率分别为 P(yi =aj =P(y；兰aj =F(aj和 P(%) = P(y；兰b) =1 F(bj -片)血),因此对于同一个潜在变量，其归并变量和截断变量的分布函数不相同，在观测区间内，归并分布同潜在变量 的分布重叠在一起。图四 归并正态分布变量的分布函数图密度函数(概率分布)为：'；a 片Fy

20、(yi=aJ=Pr(yi MaJ=F()CFfy(yj = f (yi, 如果ai <yi <bi(31)；.0 片Fy(yi=bJ hr® HbJ=1F()cr例5:正态分布归并变量的密度函数。假定潜在变量(latentvariable) yi；服从均值为、方差为的正态分布，y；=，viN(0, 1)。 yi为实际观测变量：yi=a,如果yi:a;yi=b,如果yi :b;yi=yi ,如果ai< yi< bi。的概率密度函数为：当yi : ai时，yi=ai。其概率为，当ai < yi； < bi时，yi与yi；的概率密度函数相同，当yi bi

21、时，yi=bi。其概率为，(1)当仅从左边归并时，即：yi=ai,如果yi :ai； yi = yi ,如果yi > ai。当yi : ai时，yi=ai。其概率为，当y > ai时，yi与y：的概率密度函数相同，因此，可以将yi的密度函数综合写成：a mi1(yMyf(yJ=G(d二Dl，当yi*>ai时，Dj = 1 ；否则，Di =0。CT(2)当仅从右边归并时，即：yi=bi，如果y：bi ； yi= yi*，如果yi* < bi。当yi* bi时，yi=bi。其概率为,当yi* < bi时，yi与yi*的概率密度函数相同，因此，可以将yi的密度函数综合写

22、成：f(yJ=1：UL) '匚D'，当 yi > ai时，Di = 1;否则，Di = 0。汀打2二匚2 .归并变量的均值和方差归并随机变量的均值和方差，我们称之为归并均值(censored mean)和归并方差(censored varianee)归并均值为：EyJ =Ew |Di =1Pr(Dj =1)七匚 Pr(y； WaJ +b Pr(y* >b)(32)其中，diEyi|D1Pr(Di =1) = PJF©) F(cJvf(v)dvCiPr(y：乞aj 二F(q)(33)Pr(y* -bi) =1 -F(di)归并方差为：Var yi二Vary

23、Q =1E(Dj) E Q =12VarDj(34)其中，Di 服从 0-1 分布，E(DJ =F(dJ -F(q), VarQ =EDj(1-ED)。(证明请参见附录 4)。设潜在变量y*N(0, 1)，下图显示了标准正态分布和归并正态分布的分布函数间的差异，虚线表示正态分布函数，实线表示归并正态变量分布函数，归并点为-1、1，在区间-1, 1上实线和虚线重合。例6:正态分布归并变量的均值和方差I I I*Q*丫I I I*如果 y N丄i, ；。yi=a，如果yi:a;yi=b，如果yi:b;yi=yi，如果ai < yi < bi。那么yi的均值为：Eyi二*M(di)-(C

24、i) % (di) -(G a2(G bi1-：(dj(35)(证明请参见附录 5)。(1)如果ai:-:(仅从上面归并)，那么bi1-G(dJ= 6(dJ t兽<(dj丿(37)= :：J(di)(di)bi1-G(dJVaryi=LO(16(di)+(di 丸©) 丫(1(dj 卩,(38)其中，_ （dJ/G（di）, 、（di）=，（di）' d（dj（2）如果bi:+ ：（仅从下面归并），那么f6（c）、=口-（G） H二、+aQ（c）、1-（Ci=1 - ：j（Cj）占.：.（c）厂印：0Vary仝2 1 G（cJ 心、.J© ：（）其中，（G ）

25、 =（G）/1 - G（Cj），：= i tg（证明请参见格林（Gree ne（2000）P907 ）。由（37）式和（39）式可以推出:结论3 对于从上面归并的变量来讲，当归并点为bi = 0时,其中(di) =（叫 / ；）1二）(39)(40)(41)对于从下面归并的变量来讲，当归并点为ai = 0时,EyJ（戈）叫（G ，CT*(42)其中，（c）='-叫 /二1 -G(i /刁站"1亠（匚）"（di），例7：以电影院的座位需求为例，我们来看一下如何利用归并数据模型通过实际观测到的变量来推断潜在变量的均值、方差。设电影院总共有20000个座位，平均售出的座位

26、数为18000,有25%的时间全部售出。那么潜在的座位需求量和方差各是多少呢？图二座位需求图解：设潜在座位需求量为：，座位需求模型可以设定为：25%的时间全部售出，即归并点的累这是一个归并点为 b=20000的右归并数据模型。根据已知信息, 积分布函数值为0.75 （见图示），即门- ：(d)-门(20000 一 =Pr(y* 2 18000)=0.75 := 0.675(43)因此，(d) - -(d)/(d) - -(0.675)/0.75 - -0.424 ；又由平均观测到的需求量为18000，根据归并变量的均值公式可得:E(y) h：(d)(d)b1 -(d)=0.75(-0.424刁

27、 20000 0.25 =18000综合（43）（ 44）可以解出潜在变量y*的均值和方差分别为=2426、：2=18362。即，对电影院座位的平均需求量是 2426个。1.2.2 归并模型的极大似然估计设归并回归模型中，潜在变量y*和实际观测变量y有：yai，如果 y*yi 二 b，如果 y* -byi = y，其它设f(u)、F(u)为u的密度函数和分布函数。假定u是均值为0，方差为之的连续随机变量，u与x不相关。由归并模型的概率密度函数可知其对数似然函数为：虽然它是离散分布和连续分布的总和，但Amemiya ( 1973b)证明，按照普通的最优化方式使得对数似然函数极大化，得到的估计量仍

28、然具有极大似然估计量的合意的性质。归并回归模型的边际影响为：(证明请参见 Gree ne(2000)P909)。例：考察囚犯在释放后被再次被捕入狱的时间，共1445名调查者，其中只有 552名被再次被捕入狱。(file : recid.raw )。例：妇女就业时间的案例(在 0点截断)。(file : mroz.raw)1.3 Tobit 模型1.3.1Tobit模型的设定与估计Tobin在1958年第一次提出归并模型，因此归并模型又称为Tobit模型。设潜在变量 y*的回归模型为：y：二Xi 卩 ；"V% =0,如果y；乞0 ,y = y ,女口果 y 0潜在变量y*的期望值为：其

29、中，气(x"刁X四)因此，解释变量对被解释变量y*的边际影响为常数：实际观测变量y的期望值为：而P(D “)=门(xi卩/二),E(y |Di =1) = xi苗,(Xj卩/匚)，将其代入上式可得：解释变量对实际观测变量的边际影响是非线性的。由 EWrEW D =1)P(Di =1)可得：其中,:' (x i 卩/ ；-)k kc(Xi 卩/b)=:k 1 -%(xi 3/- ) IXi 卩/；- (Xi 3/- ) I因此，Tobit模型的似然函数为：利用最优化方法可以求出参数估计量。例：考察不同变量对妇女工作时间的影响。(file : mroz.raw)。共753个观测值

30、，其中325个为0。用Tobit模型进行估计。Tobit模型的一个重要局限是，E(yi|yi* 0, x)与P(y. 0)直接相关。xk对P(y： . 0)的边际影响*兰2211与k呈正比，Xk对E(yi|y0, x)的边际影响E(yi|yi_岐 与：k也呈正比，即Xk对-：Xk：XkP(yi* 0)的影响和对E(yi|yi* 0,x)的影响在方向上是相同的。在一些情况下，这一暗含的假定可能不合适。1.3.2 模型的设定分析衡量Tobit模型是否合适的一种方法是将Tobit模型的估计结果与 Probit模型的估计结果相比较。由 Tobit 模型的设定， P(y =0) =P(y；乞0) =P(Vj 弐一儿卩/二)日-门(xi 3/匚),P(y 0)：(xi 3/二)。 因此，如果将y降级为二元选择变量 w (如果y=0, w=0;如果y?0, w=1),那么上述Tobit模型就转 化为Probit模型。如果Probit模型估计的结果