第章、多元线性回归.doc

第2章、多元线性回?归 §1、假定 线性 yn×1=Xn×K?K×1??n×1 Xn×K = [x1 x2 …xK]，其中x1等?是n维列向?量，x1是全1?列向量。又可以记为? y=x1?1? …+xK?K+? 对数线性模?型: , 可以转化为? 满秩(full rank) Rank(X) = K (可以推出n?K) 例子: 非劳动收入?＋薪水＋收入＋, rank（X）＝3， 正态性和独?立性 合起来，表示为 _____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_由条件分?布计算无条?件分布。 ，可以得到 , (方差分解公?式: var(Y) = varX[E(Y|X)]+ EX[var (Y|X)] ) _____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_ §2、最小二乘回?归 , 称为扰动项?(distu?rbanc?e), 称为残差项?(resid?ual)。 普通最小二?乘回归(Ordin?ary Least? squar?es regre?ssion?, 简称OLS?) 等价于 使得取最小?值的系数向?量记为 一阶条件为?： 。推出 （若满秩） 二阶条件： 是正定矩阵? _____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_ 证明：因为 , 除非, 其中. 但是, 如果, 则, 即X线性组?合等于0, 这与满秩矛?盾. 证明结束。 _____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_ ，log(x)= c(1)+c(2)*log(l1)+c(3)*log(k1) Depen?dent Varia?ble: LOG(X) Metho?d: Least? Squar?es Date: 07/27/04 Time: 14:51 Sampl?e: 1929 1967 Inclu?ded obser?vatio?ns: 39 LOG(X)= C(1)+C(2)*LOG(L1)+C(3)*LOG(K1) Coeff?icien?t Std. Error? t-Stati?stic Prob. C(1) -3.93771?4 0.23699?9 -16.61488? 0.0000 C(2) 1.45078?6 0.08322?8 17.43137? 0.0000 C(3) 0.38380?8 0.04801?8 7.99303?5 0.0000 R-squar?ed 0.99462?7 Mean depen?dent var 5.68744?9 Adjus?ted R-squar?ed 0.99432?9 S.D. depen?dent var 0.46095?9 S.E. of regre?ssion? 0.03471?4 Akaik?e info crite?rion -3.80954?2 Sum squar?ed resid? 0.04338?2 Schwa?rz crite?rion -3.68157?6 Log likel?ihood? 77.28607? F-stati?stic 3332.181 Durbi?n-Watso?n stat 0.85808?0 Prob(F-stati?stic) 0.00000?0 §3、最小二乘估?计的统计性?质 再次回忆如?下恒等式： , 称为扰动项?(distu?rbanc?e), 称为残差项?(resid?ual). b的分布 _____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_ 以上给出了?b的条件分?布，下面给出b?的无条件分?布 _____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_____?_ OLS的代?数性质 , 称为扰动项?(distu?rbanc?e), 称为残差项?(resid?ual). (1) 证明： (2) 证明： (3) ，M是对称矩?阵和幂等矩?阵。 容易证明：, (4) ， 证明