不定最小二乘问题的参数块分裂预条件子-计算机科学-机器学习-算法.pdfVIP

不定最小二乘问题的参数块分裂预条件子

DavodKhojastehSalkuyeh∗

FacultyofMathematicalSciences,UniversityofGuilan,Rasht,Iran

khojasteh@guilan.ac.ir,salkuyeh@

摘要。我们提出了一种基于块分裂的定常迭代方法，适用于一类不定最小二乘问题。研

本究了所提方法的收敛性，并使用了涉及参数的最佳值。诱导出的预条件子被应用于加速

译GMRES方法求解该问题的收敛速度。我们还分析了预条件矩阵的特征对分布。给出了

中一些数值结果以展示预条件子的有效性。与其他知名方法进行了数值比较。

关键词:分块，分裂，最小二乘，不定，预条件，迭代。

1

vAMS主题分类:65F10,65F50,65F08..

8

3

9

6

1.1介绍

7

0我们关注的是求解不定最小二乘（ILS）问题

5

2

:min(1)

v

i

x

r

a其中和，

(2)

这类问题出现在各种应用中，包括全最小二乘问题[3,4,6]的求解以及被称为鲁棒

平滑[4]的优化领域。如果或，问题就简化为经典的最小二乘问题。

对应问题(1)的正规方程可以写为

(3)

从(3)可以看出，与最小二乘问题不同，ILS问题不一定有解。函数

的海森矩阵是。因此，最小化问题(1)具有唯一解当且仅当矩阵

是对称正定（SPD）的（参见[4,7]）。当问题规模较小时，Chandrasekaran等人在[4]中

∗Correspondingauthor.

2D.K.Salkuyeh

提出了一种基于QR分解和Cholesky分解的直接方法来求解该问题。然而，当问题较

大时，计算成本变得非常高。因此，建议使用迭代方法来求解该问题。

在[9]中，刘和刘提出了求解该问题的两种版本的块SOR方法。在[15]中，宋构

造了一种非对称SOR（USSOR）方法来求解该问题。孟等人在[12]中提出了一种变参

数Uzawa方法来求解不定最小二乘问题。孟等人在[11]中提出了带有动量加速的增强

Landweber方法，用于求解大规模不定最小二乘问题。最近，孟等人在[10]中陈述了交

替方向隐式迭代方法来解决该问题。

我们假设矩阵和向量可以写成

(4)

其中