《信息论试卷》word版 本文关键词：信息论，试卷，word
《信息论试卷》word版 本文简介：信息论与编码总结试题:一填空题（共15分，每题1分）1单符号离散信源一般用随机变量描述，而多符号信源一般用随机矢量描述。2离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。3对于一阶马尔可夫信源，其状态空间共有个不同的状态。4根据输入输出的信号特点，可将信道分成离散信道、连续信道、半离
《信息论试卷》word版 本文内容：
信息论与编码总结
试
题:
一
填空题（共15
分，每题1
分）
1
单符号离散信源一般用随机变量描述，而多符号信源一般用随机矢量描述。
2
离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
3
对于一阶马尔可夫信源，其状态空间共有个不同的状态。
4
根据输入输出的信号特点，可将信道分成离散信道、连续信道、半离散或半连续信道
。
5
对于离散无记忆信道和信源的N次扩展，其信道容量=
NC
6
信道编码论定理是一个理想编码存在性理论，即：信道无失真传递信息的条件是
信息传输速率小于信道容量。
7
信源编码的目的是
提高通信的有效性
。
8
对于香农编码、费诺编码和哈夫曼编码，编码方法唯一的是
香农编码
。
9
在多符号的消息序列中，大量重复出现的，只起占时作用的符号称为
冗余位
。
10
若纠错码的最小距离为d,则可以纠错任意小于等于
个差错。
11
线性分组码是同时具有
分组特性和线性特性
的纠错码。
12
平均功率为P的高斯分布的连续信源，其信源熵为
13
当连续信源和连续信道都是无记忆时，则
14
信源编码与信道编码之间的最大区别是，信源编码需
减少
信源的剩余度，而信道编码需
增加
信源的剩余度。
15
离散信源的熵值H(X)越小，说明该信源消息之间的平均不确定性
减弱
。
二
选择题
（共15分，每题3分）
1
离散信源熵表示信源输出一个消息所给出的（
B
）。
A、实际信息量；B、统计平均信息量；C、最大信息量；D、最小信息量；
解：选择B。
2
下图给出了两个连续信源的概率密度函数，其熵值间满足（
A
）。
A、H(X)>
H(Y)；
p(x)
p(y)
B、H(X)2），所以不能直接连接
因为
所以，可以通过当编码在次信道中无失真的传输。可对信源的N词扩展信源进行无失真信源编码，只要N足够大取适当的编码就能与信道匹配。
四
计算题（共46分，第2
题13分，其他每题11分）
1、一个马尔可夫信源有3个符号，转移概率为：
解：由题可得马儿克夫状态图为
转移矩阵为：
设状态稳定后的概率分别为
由
2、设二元对称信道的传递矩阵为
2/3
00
1/3
2/31/3
11
（1）画出传递函数矩阵；
（2）若p(0)=3/4,p(1)=1/4,求H(X),H(X/Y)
（3）求I（X,Y）；
（4）求概率分布为何值时达到信道容量；
（5）求信道容量；
解：（1）由信道转移图可得
传递矩阵为
P=
（2）已知X的概率则熵的公式可知
所以
根据熵和平均互信息的表达式，可计算
（3）因为
（4）根据对称信道的性质可知，当P(0)=P(1)=1/2时，信道的传输率I(X;Y)达到信道容量。
（5）对于二元对称信道，信道容量为
3、一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。
（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；
（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？
解：（1）
（2）
所以
（3）
又因为
所以计算可得
所以SNR=120
4
设有信源两种符号a、b，它们出现的概率分别是P(a)=0.3,P(b)=0.7。当信源输出符号序列是ababba，对其进行算术编码。
解：首先按照概率分布将区间分割成两个区间和，分别代表a、b。
由于信源输出的第一个符号是a，那么取区间，再对该区间按照概率分步进行划分，得到区间和
由于信源输出的第二个符号是b，那么取区间，再对该区间按照概率分布进行划分，得到区间和
由于信源输出的第三个符号是a，那么取区间，再对该区间按照概率分布进行划分，得到区间和
由于信源输出地第四个符号是b,那么取区间，再对该区间按照该概率分布进行划分，得到区间和
由于信源输出地第五个符号是b,那么取区间，再对该区间按照概率分布进行划分，得到区间和
由于信源输出的第六个符号是a，那么取区间
即为符号序列对应的编码区间，在该区间内任选一实数代表该区间，现去该区间中间的数字0.1268，将其转换为二进制。
则信源输出的符号序列为ababba，则其算术编码的二进制码长为
所以0.1268的二进制数去7为是0010000