稀疏和冗余-在信号和图像处理方面从理论到实际应用..doc

稀疏和冗余的表述 作者简介 迈克尔Elad是计算机科学部门——以色列理工学院的一名副教授。他感兴趣的研究领域包括信号处理、图像处理、计算机视觉、数值分析、数值线性代数和机器学习算法。 稀疏和冗余的表述 在信号和图像处理方面的从理论到应用 序 很久很久以前，自古以来，回波哲学与美学原则就已经存在，奥斯卡的威廉姆发表了精简原则:“实体不应该被复杂化。”如今，这个原则就像奥斯卡的剃须刀一样被大家所熟知。这一原则使科学家们能够选择最好的自然法则和理论来解释宇宙的工作方式并且继续引导科学家探索，通向更加美好的结果，如统计理论的最小长度描述方法和模式识别中的相关Kolmogorov复杂度的方法。 然而，当呈现构想及结果的时候，复杂性的观念与长度的描述都是主观的概念并且依靠语言来说。稀疏的表述领域，最近进行的一次Big-Bang-like扩张，明确的处理了描述的过度简洁与将“语言”或“字典”应用于他们之间的阴阳的相互作用，并且这成为了一个极度令人兴奋的研究区域。它已经产生了丰富的数学上的深远而美丽的令人愉快的结果，迅速转化为大量的实际工程应用。 你手中现在正持有稀疏领域的第一指导书，我相信你将会发现她既熟悉又有新的风景来看和赞美，它也是一个极其优秀的指标来帮助你发现更加有价值的宝贝。享受通往Sparseland的旅途吧！ 前言 这本书本来是写来给以色列技术学院一年级的工程研究生的材料，（十四个两个小时的课程）。它本来是以我和Alfred M. Bruckstein、David L. Donoho一起写的在2009年2月发表在SIAM Review的复习资料为基础的。这个论文的内容被大量的修改和扩张，使它成为先进的研究生课程的适合的材料。在这本书中，我介绍了稀疏和冗余的表述的主题，说明了在这个领域提出的问题和所得到的答案，和在这个领域进行研究的滋味，涉及到的人，以及更多。我的愿望就是向这本书的读者以及上这个课程的学生展示这个领域的美好，以及它在各个学科中所包含的潜能。 所以，这是什么呢？活跃在这一领域的数学家（他们当中的很多）会用他们的答案提及这一新兴领域与谐波分析、近似理论、和小波之间的深切关系。然而，这并不是我的答案。作为一个工程师，我大多的兴趣都在这一领域的实践方面，因此，我的研究稀疏和冗余的表述的全部热情都来源于它们在信号和图像处理方面的大量应用。这并不是说，我在稀疏和冗余的表述这一领域的理论方面一点也没有兴趣。然而，这些理论背景结果应该在更广泛的背景下被考虑。 在我看来，这个领域对信号资源来说是关于一个特定的数学模型。建模来源是信号与数字图象处理的关键。配备恰当的模式，一个人可以处理各种各样的任务，例如去噪、恢复、分离、插入和外推、压缩、抽样、分析与合成、检测、识别和更多。实际上，对信号和图像处理的文献的认真研究揭示了有这样一种进化模型，他们使用在应用程序。本课程就是关于这样一个模型，我简洁的称为Sparse-Land。这个特别的模型是有趣并且迷人的，因为它美丽的理论基础、它通向各种应用程序的优越性能、服务于各种数据资源的广泛性和灵活性、让上述所有信号处理任务清晰、简单的统一的观点。 这个模型的核心是一种在线性代数中长时间研究的简单的线性方程组。一个满秩矩阵（）生成一个欠定系统线性方程组有无穷多解。我们有兴趣寻找它的最少解，最少非零解。这样一个解永远是唯一的吗？如果能，什么时候？怎样在一个合理的时间里找到这个解？很难相信，但是这些问题以及更多的相似的问题形成了这个模型的核心工程和种植它的宽阔领域。近年来，对这些问题的积极性和创造性的答案显示了各种各样的惊人现象，这些给Sparse-Land创造了舞台，使它服务于实践。显然，这一领域的研究需要对知识的集中使用，包括线性代数、优化问题以及科学计算等更多。 这一领域还是相对比较年轻的。早起这个核心思想的标志出现在1993年Stephane Mallat和张志峰的创举中，并且介绍了取代了传统的批判性取样的小波变换融合算法的词典概念。他们的工作提出了一些核心思想，之后成为了这一领域的中心，比如贪婪的追求一个欠定线性方程组的近似稀疏解，通过他们一致的方法对词典的特性描述等更多。第二个主要的贡献，就是在1995年Scott Shaobing Chen、David Donoho和Michael Saunders介绍了另一个解决技术，就是用1-基准来评估稀疏。令人惊讶的是，他们所追求的稀疏解，能被作为一个图面程序任务被处理，经常引出合适的解决方案。 在这两个贡献下，对于更深入的分析这些算法和在实际应用程序中部署搭建好了舞台。这一目标关键的一步是在2001年实现