信息论与编码技术之实验.doc

前两个是别人的，后两个是自己的，学术交流，抛砖引玉。

信息论与编码实验报告样板

实验室名称：S1-306

实验一二维随机变量信息熵的计算教学实验报告

[实验目的]

掌握二变量多种信息量的计算方法。

[实验要求]

1．熟悉二变量多种信息量的计算方法，设计实验的数据结构和算法；

2．编写计算二维随机变量信息量的书面程序代码。

[实验内容]

离散二维随机变换熵的计算

说明：

（1）利用random函数和归一化方法构造一个二维离散随机变量（X，Y）；

（2）分别计算X与Y的熵、联合熵、条件熵：H（X）、H（Y）、H（X,Y）H（X|Y）、I（X|Y）；

（3）对测试通过的程序进行规范和优化；

（4）编写本次实验的实验报告。

[实验步骤]

实验过程中涉及的各种熵的主要公式（或定义式）：

1、离散信源熵(平均不确定度/平均信息量/平均自信息量)

2、在给定某个yj条件下，xi的条件自信息量为I(xi/yj)，X集合的条件熵H（X/yj）为

相应地，在给定X（即各个xi）的条件下，Y集合的条件熵H(Y/X)定义为:

3、联合熵是联合符号集合XY上的每个元素对xiyj的自信息量的概率加权统计平均值，表示X和Y同时发生的不确定度。

[实验体会]

通过本次实验，掌握了离散信源熵、条件熵、联合熵的概念和它们与信源统计分布或条件分布、联合分布之间的关系，并能进行计算。进一步加深了对各种信息熵的物理意义的理解。

附：计算信源熵、联合熵和条件熵的程序代码清单：（可写入实验报告也可不写入）

#includestdio.h

#includecmath

#includeiomanip

#includetime.h

#includeiostream

usingnamespacestd;

voidmain()

{

intk,n,t=0;

doublea[4][4],b=0,c=0;

srand((unsigned)time(NULL));

for(k=0;k4;k++)

{

for(n=0;n4;n++)

{

a[k][n]=rand()%100;

t+=a[k][n];

}

}

cout从0到100间随机取得行列的random函数：endl;

for(k=0;k4;k++)

{

for(n=0;n4;n++)

{

coutsetw(5)a[k][n];

}

coutendl;

}

cout函数归一化：endl;

for(k=0;k4;k++)

{

for(n=0;n4;n++)

{

coutsetw(12)a[k][n]/t;

}

coutendl;

}

coutH(Y)计算：setw(20)H(X)计算：endl;

inte=1;

for(k=0;k4;k++)

{

doublei=0,g=0;

for(n=0;n4;n++)

{

i+=(a[k][n]/t);

g+=(a[n][k]/t);

}

coutP(Yk+1)：isetw(8)P(Xe)：gendl;

++e;

b-=(i*log(i)/log(2.0));

c-=(g*log(g)/log(2.0));

}

coutH(Y)=-∑p(Y)logp(Y)=bendl;

coutH(X)=-∑p(X)logp(X)=cendl;

cout联合熵H（X,Y）计算：endl;

b=0;

intr,u,h=0;

for(k=0;k4;k++)

{

for(n=0;n4;n++)

{

if(a[k][n]!=0)

{

b-=((a[k][n]/t)*log(a[k][n]/t)/log(2.0));

}

else

{

r=k,u=n;

h=1;

break;

}

}

}

if(h==0)

coutH(X,Y)=-∑∑p(X,Y)logp(X,Y)=bendl;

elsecoutP(r+1,u+1)为零，中断,无值endl;

cout条件熵H（X|Y）计算：endl;

b=0,h=0;

for(k=0;k4;k++)

{

doublei=0;

for(n=0;n4;n++)

{

i+=(a[k][n]/t);

}

for(n=0;n4;n++)

{

if(a[k][n]!=0)

{

b-=((a[k][n]/t)*log((a[k][n]/t)/i)/log(2.0));

}

else{h=1;break;}

}

}