双重域最大互信息解码指数-计算机科学-机器学习-信道编码.pdfVIP

双重域最大

互信息解码指数

SeyedAmirPouyaMoeiniAlbertGuilléniFàbregas

UniversityofCambridgeUniversityofCambridge

sam297@cam.ac.ukUniversitatPolitècnicadeCatalunya

guillen@

摘要—本文提供了在常数构成码下，最大互信息（MMI）出随机编码界的关键方法是Gallager[3,Section5.6]和

译码的误差指数的双重域推导，表明其与离散无记忆信道的最大Poltyrev[4]的方法。对偶域推导提供了显著的优势，例

似然译码的误差指数相同。分析进一步扩展到联合源信道编码，如允许对于任何参数选择获得可实现的指数，并为任意

本证明广义MMI解码器达到了与最大后验概率解码器相同的随

字母表提供自然扩展。

译机编码误差指数。现有的MMI解码器的结果仅限于原始域，因为其

中I.介绍多字母性质使得对偶域分析变得困难。在这项工作中，

2随机编码误差指数定义为预期错误概率的负归一我们通过在对偶域中推导其随机编码错误指数来重新

v

4化对数的渐近极限，由审视MMI解码器在信道编码中的通用性。然后我们将

2

7分析扩展到联合源通道编码（JSCC），其中消息不是等

3limlog(1)

r概率的，通过解决Csiszár[5]引入的广义MMI解码器

1

.来进行。据我们所知，此类关于MMI解码器的对偶域

1给出，其中是编码速率，表示整个码本集上的平

0推导之前并未出现在文献中。

5均错误概率。

2当消息等概率时，Csiszár和Körner[1,TheoremII.符号约定

:

v

i10.2]（另见Gallager[2,Section6]）表明，对于离散无在本文中，标量随机变量用大写字母表示，它们的

x

r记忆信道(DMCs)且在恒定组成编码条件下，最大互信样本值用小写字母表示，它们的字母表用花体字母表

a

息(MMI)译码器实现了与最大似然(ML)译码器相同示。随机向量以黑体字表示。对于两个正序列和，

的随机编码错误指数。MMI译码器是一种次优的不匹

如果limlog，则我们写，如果我

配译码器，它不知道信道转移概率，却达到了与ML译

们写，则limsuplog。

码相同的误差指数。这种关于随机编码错误指数的最优