无界抽样情形下不定核的系数正则化回归.pdfVIP

蔡佳等：无界抽样情形下不定核的系数正则化回归 数集 { ：=K(x，)·，X∈ )所张成的线性空间按照内积 ( ， ) =K(x，Y)完备化得到的Hilbert 空间．因而对于回归问题，由正则化准则所产生的学习算法可表示如下： 丘= m(，( 刈，lI)． (1_3) 本文在样本依赖空间中研究正则化回归算法．该空间是与连续函数 K紧密相关的，定义为 = {∑t ：∈}． 这里 K 除了满足有界性和连续性之外，不需要满足对称性或者半正定性，因而我们考虑如下正则化 准则： = (，)。． (1I4) 对于 f=∑m1t ，定义正则化子 ， 2 Q (，)： m∑mI1嘲 则有 ，=∑m Q ．运用文献 6【】中所论述的积分算子技巧，文献 7【]给出了II，一 的与 2 ．1 容量独立的误差估计，文献 8【】运用f一经验覆盖数给出了误差分析，而文献 [9】在样本依赖空间中对 于一般核给出了误差分析，文献 [101在样本依赖空间中研究了无界抽样情形正定核的学习速率，其最 佳学习速率为0(m一 )．本文的研究结果是文献 [10]的延伸，考虑了无界抽样情形不定核的学习速率， 在更一般的情形下得到了相同的收敛阶．更多关于不定核学习的介绍可参见文献 1【1，12】． 上的积 分算子LK可定义为 Lgf(X)= ／g(x，t)f(t)dpx(t)，z∈X． 由X 的紧性以及K 的连续性可知，LK及其伴随算子 L 均为紧算子．定义 K(，)= ／g(u，x)K(v，x)dpx(t)， 则 是Mercer核且 L = KL ．本文的目的是在无界抽样情形下对于不定核研究与容量相关的误 差估计 I1厶，一 这一 目标将在下述的矩假设条件下进行．在学习理论中，有许多文献研究学习算 法 (1．3)，例如文献 [2，6，13—17】．但是大多数研究结果都是在考虑 IYI≤M 几乎处处成立的条件下得到 的 (其中M 为某个大于0的常数)，即对几乎所有的 ∈X，J9(．I)的支集取 [一M，M】．文献 [2]中考 虑 了一个更一般的假设条件，即对某些常数 M，∑0， exp 一 )- 一) ≤ ， 5， 这里 是，p在t-t~的闭包上的正交投影 (；空间中)．关于误差项 ll厶一，plIp的估计是建立在 ∈7_￡K的假设条件下的．文献 l【4，15]考虑了当IYl≤M 时，如何放宽 ∈7L￡K的限制．本文将在 下述矩假设条件下研究误差分析． 矩假设条件 存在常数M 0，C0使得 (参见文献 [18】) ／IIdp(yI)≤c!M ，V ∈N， ∈X． (1．6) 614 中国科学：数学 第 43卷 第 6期 矩假设条件是条件 (1．5)的推广，文献 [181根据一致覆盖数理论给出了在上述条件下的误差分析，本 文将在条件 (1．6)下通过 z一经验覆盖数给出误差分析． 2 关键分析及主要结果 本节将通过 Mercer核 霞构造RKHS ，易知 霞是 的值域．对于任意 ，∈ ，有 II／11~≤ ，Il露， II，lI=ll ，lp【， 其中 =sup ∈xlK(x，t)1．由文献 1【9】中关于紧算子的极分解理论，有下面引理