基于马氏采样的最小二乘正则化回归的最优速率.PDFVIP

　　 ３２６ 湖北大学学报（自然科学版） 第３８卷 文章编号：１０００ ２３７５（２０１６）０３ ０３２６ ０７ 基于马氏采样的最小二乘正则化回归的最优速率 白海江，付应雄，李伟夫 （湖北大学数学与统计学学院，湖北 武汉４３００６２） 摘要：建立基于一致遍历的马氏采样的推广界，利用最小二乘正则化回归算法给出基于一致遍历马尔可夫链样本 －１ 的误差分析，并得到最优的学习速率Ｏ（ｍ ）． 关键词：最优速率；最小二乘正则化回归算法；一致遍历马氏链 中图分类号：Ｒ９１７　 　 文献标志码：Ａ　 　 ＤＯＩ：１０．３９６９／ ｊ．ｉｓｓｎ．１０００⁃２３７５．２０１６．０４．０１２ Ｏｐｔｉｍａｌ ｒａｔｅ ｆｏｒ ｌｅａｓｔ ｓｑｕａｒｅｓｓ ｒｅｇｕｌａｒｉｚｅｄ ｒｅｇｒｅｓｓｉｏｎ ｗｉｔｈ Ｍａｒｋｏｖ ｃｈａｉｎ ｓａｍｐｌｅｓ ＢＡＩ Ｈａｉｊｉａｎｇ，ＦＵ Ｙｉｎｇｘｉｏｎｇ，ＬＩ Ｗｅｉｆｕ （Ｆａｃｕｌｔｙ ｏｆ Ｍａｔｈｅｍａｔｉｃｓ ａｎｄ Ｓｔａｔｉｓｔｉｃｓ，Ｈｕｂｅｉ Ｕｎｉｖｅｒｓｉｔｙ，Ｗｕｈａｎ４３００６２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｗｅ ｅｓｔａｂｌｉｓｈ ｔｈｅ ｂｏｕｎｄ ｏｎ ｔｈｅ ｌｅａｒｎｉｎｇ ｒａｔｅｓ ｏｆ ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｒｅｇｒｅｓｓｉｏｎ ｂａｓｅｄ ｏｎ ｕｎｉｆｏｒｍｌｙ －１ ｅｒｇｏｄｉｃ Ｍａｒｋｏｖ ｃｈａｉｎ ｓａｍｐｌｅｓ． Ｗｅ ｇｉｖｅ ａｎ ｅｒｒｏｒ ａｎａｌｙｓｉｓａｎｄ ｏｂｔａｉｎｔｈｅ ｏｐｔｉｍａｌ ｌｅａｒｎｉｎｇｒａｔｅ Ｏ（ｍ ）ｆｏｒ ｔｈｅ ｌｅａｓｔ ｓｑｕａｒｅｓ ｒｅｇｕｌａｒｉｚｅｄ ｒｅｇｒｅｓｓｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｕｎｉｆｏｒｍｌｙ ｅｒｇｏｄｉｃ Ｍａｒｋｏｖ ｃｈａｉｎ ｓａｍｐｌｅｓ． Ｋｅｙ ｗｏｒｄｓ：ｏｐｔｉｍａｌ ｒａｔｅ；ｌｅａｓｔ ｓｑｕａｒｅｓ ｒｅｇｕｌａｒｉｚｅｄ ｒｅｇｒｅｓｓｉｏｎ；ｕｎｉｆｏｒｍｌｙ ｅｒｇｏｄｉｃ Ｍａｒｋｏｖ ｃｈａｉｎ 近年来，随着统计学习理论研究的深入，许多专家学者热衷于研究基于马尔可夫链样本（以下简 ［１⁃６］ ［７⁃９］ 称马氏样本）上的统计学习 ，正则化算法是处理学习理论中不适定问题的一个有力工具 ． 通过 ＥＲＭ原则，文献［２］中得到了Ｖ⁃几何马氏样本的泛化界，并且证明了样本的一致性． 文献［６］中研究了 马氏样本的ＳＶＭＲ算法的最优速率． 文献［５］中证明了基于马氏样本的测度的集中不等式． 笔者通过 引入投影算子和覆盖数，得到基于一致遍历马尔可夫链（ｕｎｉｆｏｒｍｌｙ ｅｒｇｏｄｉｃ Ｍａｒｋｏｖ ｃｈａｉｎ，ｕ．ｅ．Ｍ．ｃ．） 样 本的推广界，并利用最小二乘正则化回归（ｌｅａｓｔ ｓｑｕａｒｅｓ ｒｅｇｕｌａｒｉｚｅｄ ｒｅｇｒｅｓｓｉｏｎ，ＬＳＲＲ）算法给出了基于 ｕ．ｅ．Ｍ．ｃ．样本的误差分析，得到了最优学习速率． １　 预备知识 ｎ １．１　 一致遍历马氏链　 假设在一个可测空间（Ｚ，Ａ）中，ｎ步转移概率测度Ｐ （Ｓ｜ｚ ）＝Ｐ｛ｚ ∈Ｓ｜Ｚ ，ｉ