2信道及其容量.pdfVIP

编码理论 信道及其容量 2.1 熵速率 定义：信源在单位时间内输出的熵（平均信息量）称为信源的 熵速率，也称信息速率。 单位：bit/s, nat/s, hat/s ①、离散信源的熵速率： H (X ) p log p X 每秒发出： n个符号/秒 熵速率： H (X ) n H (X ) ② 、连续信源的熵速率： H (x)  p (x) log p (x)dx  带宽w→样点2w/s H (x) 2wp (x) log p (x)dx ① 、离散信道： K个符号的信源 H max (X ) log K n/s 符号/秒 C n log K ② 连续信道： 2 信道带宽为w 平均功率为：N （即， ）  H max (X ) log e 2eN C H max (X ) 2w 2w log e 2eN 噪声具有高斯分布，所以信号模拟成噪声具有最高的熵值— 伪噪声通信：对模拟信道与模拟通信来讲最合适 问题：在有噪信道中传输信息，收到的熵与发出的熵到底 差多少呢？———— 引出计算问题 2.2信道的数学模型和分类 信道:通信系统的组成部分，传递和存储信 息的通道或媒质,包括空间传输和时间 传输。 •空间传输:各种物理通道，如电缆、光缆、空 间等。 •时间传输:指将信息保存，然后在以后读取。 •狭义信道：电传播介质（电缆，自由空间） 通信设备（信息经过的通道） •广义信道：测量、观察设备（示波器） 存储、记忆设备（磁带，光盘，书 信等） 信源 编码器 信道 译码器 信宿 输 输 入 出 X Y 干扰源  输入输出关系：转移概率 p (y |x)  信道描述：1. 输入集合 2. 输出集合 3. 输入输出的转移概率分布 7  研究目标：从信道的输出了解信道的输入 • 按信道输入出符号分类 输入、输出空间＝状态集合＋时间集合   (X , Y取值集合) (T) 离散信道（数字信道）：输入输出空间为离散。 连续信道：状态集合连续，时间集合离散。