一种基于鲁棒估计的极限学习机方法-计算机应用研究.pdfVIP

第２９卷第８期 计 算 机 应 用 研 究 Ｖｏｌ２９Ｎｏ８ ２０１２年８月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ａｕｇ．２０１２ 一种基于鲁棒估计的极限学习机方法 ａ ａ ｂ ａ 胡义函 ，张小刚 ，陈　华 ，李晶辉 （湖南大学ａ．电气与信息工程学院；ｂ．信息科学与工程学院，长沙４１００８２） 摘　要：极限学习机（ＥＬＭ）是一种单隐层前馈神经网络（ｓｉｎｇｌｅｈｉｄｄｅｎｌａｙｅｒｆｅｅｄｆｏｒｗａｒｄｎｅｕｒａｌｎｅｔｗｏｒｋｓ， ＳＬＦＮｓ），它相较于传统神经网络算法来说结构简单，具有较快的学习速度和良好的泛化性能等优点。ＥＬＭ的输 出权值是由最小二乘法（ｌｅａｓｔｓｑｕａｒｅ，ＬＥ）计算得出，然而经典的ＬＳ估计的抗差能力较差，容易夸大离群点和噪 声的影响，从而造成训练出的参数模型不准确甚至得到完全错误的结果。为了解决此问题，提出一种基于Ｍ估 计的采用加权最小二乘方法来取代最小二乘法计算输出权值的鲁棒极限学习机算法（ＲＢＥＬＭ），通过对多个数 据集进行回归和分类分析实验，结果表明，该方法能够有效降低异常值的影响，具有良好的抗差能力。 关键词：极限学习机；稳健估计；鲁棒极限学习机；Ｍ估计；神经网络 中图分类号：ＴＰ１８　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１２）０８２９２６０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１２．０８．０３３ Ｅｘｔｒｅｍｅｌｅａｒｎｉｎｇｍａｃｈｉｎｅｏｎｒｏｂｕｓｔｅｓｔｉｍａｔｉｏｎ ａ ａ ｂ ａ ＨＵＹｉｈａｎ，ＺＨＡＮＧＸｉａｏｇａｎｇ，ＣＨＥＮＨｕａ，ＬＩＪｉｎｇｈｕｉ （ａ．ＣｏｌｌｅｇｅｏｆＥｌｅｃｔｒｉｃａｌ＆ＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ｂ．ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，ＨｕｎａｎＵｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ４１００８２， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｅｘｔｒｅｍｅｌｅａｒｎｉｎｇｍａｃｈｉｎｅ（ＥＬＭ）ｉｓａｋｉｎｄｏｆｓｉｎｇｌｅｈｉｄｄｅｎｌａｙｅｒｆｅｅｄｆｏｒｗｏｒｄｎｅｕｒａｌｎｅｔｗｏｒｋｓ（ＳＬＦＮｓ）．Ｃｏｍｐａ ｒｉｎｇｗｉｔｈｔｒａｄｉｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋａｌｇｏｒｉｔｈｍｓ，ｉｔｉｓｓｉｍｐｌｅｒｉｎｓｔｒｕｃｔｕｒｅ，ｗｉｔｈｈｉｇｈｅｒｌｅａｒｎｉｎｇｓｐｅｅｄ，ａｎｄｇｏｏｄｇｅｎｅｒａｌｉｚａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ．ＴｈｅｏｕｔｐｕｔｗｅｉｇｈｔｏｆＥＬＭｗａｓｃａｌｃｕｌａｔｅｄｂｙＬＳＥ（ｌｅａｓｔｓｑｕａｒｅｅｓｔｉｍａｔｉｏｎ）ｍｅｔｈｏｄ．Ｈｏｗｅｖｅｒ，ＬＳＥｌａｃｋｏｆｒｏ ｂｕｓｔｎｅｓｓ，ｔｈｅｒｅｓｕｌｔｗｏｕｌｄｂｅｓｅｒｉｏｕｓｌｙｄａｍａｇｅｄｗｈｅｎｔｈｅｒｅｗｅｒｅｏｕｔｌｉｅｒｓｉｎｔｈｅｔｒａｉｎｉｎｇｄａｔａ．Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ， ｔｈｉｓｐａｐｅｒｄｅｒｉｖｅｄａｎｏｖｅｌａｐｐｒｏａｃｈｂａｓｅｄｏｎＭｅｓｔｉｍａｔｏｒｓｏｆｅｘｔｒｅｍｅｌｅａｒｎｉｎｇｍａｃｈｉｎｅｃａｌｌｅｄＲＢＥＬＭ．Ｓｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｉｎ ｄｉｃａｔｅｔｈａｔｔｈｅＲＢＥＬＭｐｒｏｐｏｓｅｄｃａｎｓｉｇｎｉｆｉｃａｎｔｌｙｒｏｂｕｓｔａｇａｉｎｓｔｄａｔａｎｏｉｓｅａｎｄｏｕｔｌｉｅｒｓ． Ｋｅｙｗｏｒｄｓ：ｅｘｔｒｅｍｅｌｅａｒｎｉｎｇｍａｃｈｉｎｅ（ＥＬＭ）；ｒｏｂｕｓｔｅｓｔｉｍａｔｉｏｎ；ｒｏｂｕｓｔｅｘｔｒｅｍｅｌｅａｒｎｉｎｇｍａｃｈｉｎｅ（ＲＥＬＭ）；Ｍｅｓｔｉｍａｔｏｒ；