半参数.docxVIP

半参数最近几十年大量的学者对半参数模型的参数估计和非参数估计做了大量的工作，现在我们其中主要方法进行一个概括介绍，并对其中的补偿最小二乘法和二步估计最小二乘核估计做主要详细的介绍。第一种参数估计法，就是将非参数分量参数化的估计方法。关于半参数模型的早期工作是这样的思路:对函数空间附施加一定的限制(主要指光滑性)，由于W常是无穷维的，通常由光滑性可使用合理的逼近形式，使得W中的元素参数化。例如：在函数空间中选定一组基，于是。若W中的元有某种光滑性，使此级数一致收敛，则可用有限和逼近。于是估计的问题转化为估计有限维参数，从而可使用线性模型的方法(如最小二乘法，)同时估计及。由于这种估计是以非参数分量的参数化为特征，故大多以使用的参数化的方法命名(如偏光滑样条估计、偏分块多项式估计、分段多项式估计等)。第二种是两步估计。两步估计的思路是:先假设x已知，我们可以做出S的非参数估计，其中的为任意的参数，根据采用的方法的不同，将两步估计分为不同的估计方法(如近邻估计、权估计、核估计、小波估计等).然后定义X的估计为下述极小问题的解：求出的解为，从而就可以求出。第三种估计方法是两阶段估计.其思路是：，，，则是相互独立的同分布。且，。那么模型就化为：对于模型上面的模型使用最小二乘法得到的估计(称为的一次估计):然后基于残差，在模型中使用某种方法(如核光滑、概率权、多项式、小波等)估计，记为。最后将代入模型中，再次使用最小二乘法，得到的二次估计.第四种估计方法为抗差或稳健估计。以上两种途径的共同点是使用最小二乘法，而且在多数情况下得到的估计是线性的，这对理论分析和实际应用带来不少方便。但众所周知，由最小二乘法得到的估计缺乏稳健性，故近来一些学者使用由Hube(r1964)提出的稳健估计的思想，考虑半参数模型的M估计，即引进一个定义在R上的凸函数，寻找和使：或其中一般取为实数权，但在理论研究时，它可为随机权。对此，上面提到的方法和思想同样适用。第五种途径是补偿最小二乘法。补偿最小二乘法先后由Wahha(1984)、Grene等(1985)、Engle等(1988)引入的，是半参数回归模型最为广泛使用的一种方法.这种方法既考虑到估计量同数据的拟合，又顾及到非参数分量估计的光滑性。前者一般用残差平方和度量，后者则需要确定一个定量指标J(s).如文献[22]的准则是:其中：，a是一个给定的非负纯量因子，在极化过程中对V和S起平衡作用，称为平滑因子，R为适当给定的正定矩阵，称为正规化矩阵。平滑因子a及正规矩阵的选取问题参见文献【63]。第六种是泛最小二乘估计。补偿最小二乘法则的提出是基于两个方面的原因:一方面，是为了使最小值问题可以求解;否则，因未知数的个数多于方程的个数，使的解不唯一;另一方面，是为了对估计的曲线起平滑作用(a因此而称为平滑因子)。尽管它们都是必要的而且是可行的，但仍有不足之处:该法则没有直接体现参数分量，从而使参数分量的估计有时并不理想。因此胡宏昌提出了其中，是给定的非负纯量因子，在极化过程中对起平衡作用，分别称为平滑因子和平衡因子;R、Q均为适当给定的正定矩阵(有时可以是半正定)，称为正规化矩阵。不仅它是补偿最小二乘估计及岭估计的推广，而且更重要的是:它既发扬了以上两个方面的优点，又考虑了参数分量X的估计，从而提高了估计的准确性，得到了满意的结果。第七种是差分估计方法。一半参数的补偿最小二乘法半参数模型为：（1）其中的是一个描述模型的误差或系统误差的n维未知变量，，X为列满秩的设计矩阵，为偶然误差。半参数的模型相对于经典的线性模型，将除线性模型的误差分为两类：系统误差和偶然误差，这在系统误差不能简单的忽略的情况下是很重要的。在后面将比较，补偿最小二乘法是优于一般的最小二乘法。我们可以得出模型（1）对应的误差方程：利用经典的的最小二乘法，可以通过最小化，这里P为对称的正定阵。可以得到法方程：由于待估计的参数的数目为个，而法方程只有个，就无法得到唯一解。因此就需要对进行修改。因此我们引入正规化矩阵和平滑因子，那么进行修改为：为给定的适当的正定矩阵，为给定的纯量因子，对极化过程中的和起平衡作用，称为平滑因子。利用Lagrange乘数法，就可以构造函数：分别令，可以如下方程：（2,10）（2.11）（2.12）将式（2,10）和（2.11）相加，有将（2.10）乘以，然后再将（2.12）和（2.4）带入，就有：设，由于可逆，所以有：下面就是求出.将（2.4）带入（2,13）得到：将（2.15）带入上式：令，可以证得M是可逆的。可以得：。上面的推导我们可以写作下面的定义：定理2.1 在半参数的模型（1）中，利用补偿最小二乘法。可以放入得到和的估计为和分别为：补偿最小二乘法估计的统计性质：在上一节，我们通过补偿最小二乘法得到了半参数模型中参数分