《信息论试卷》word版 本文关键词:信息论,试卷,word
《信息论试卷》word版 本文简介:信息论与编码总结试题:一填空题(共15分,每题1分)1单符号离散信源一般用随机变量描述,而多符号信源一般用随机矢量描述。2离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。3对于一阶马尔可夫信源,其状态空间共有个不同的状态。4根据输入输出的信号特点,可将信道分成离散信道、连续信道、半离
《信息论试卷》word版 本文内容:
信息论与编码总结
试
题:
一
填空题(共15
分,每题1
分)
1
单符号离散信源一般用随机变量描述,而多符号信源一般用随机矢量描述。
2
离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
3
对于一阶马尔可夫信源,其状态空间共有个不同的状态。
4
根据输入输出的信号特点,可将信道分成离散信道、连续信道、半离散或半连续信道
。
5
对于离散无记忆信道和信源的N次扩展,其信道容量=
NC
6
信道编码论定理是一个理想编码存在性理论,即:信道无失真传递信息的条件是
信息传输速率小于信道容量。
7
信源编码的目的是
提高通信的有效性
。
8
对于香农编码、费诺编码和哈夫曼编码,编码方法唯一的是
香农编码
。
9
在多符号的消息序列中,大量重复出现的,只起占时作用的符号称为
冗余位
。
10
若纠错码的最小距离为d,则可以纠错任意小于等于
个差错。
11
线性分组码是同时具有
分组特性和线性特性
的纠错码。
12
平均功率为P的高斯分布的连续信源,其信源熵为
13
当连续信源和连续信道都是无记忆时,则
14
信源编码与信道编码之间的最大区别是,信源编码需
减少
信源的剩余度,而信道编码需
增加
信源的剩余度。
15
离散信源的熵值H(X)越小,说明该信源消息之间的平均不确定性
减弱
。
二
选择题
(共15分,每题3分)
1
离散信源熵表示信源输出一个消息所给出的(
B
)。
A、实际信息量;B、统计平均信息量;C、最大信息量;D、最小信息量;
解:选择B。
2
下图给出了两个连续信源的概率密度函数,其熵值间满足(
A
)。
A、H(X)>
H(Y);
p(x)
p(y)
B、H(X)2),所以不能直接连接
因为
所以,可以通过当编码在次信道中无失真的传输。可对信源的N词扩展信源进行无失真信源编码,只要N足够大取适当的编码就能与信道匹配。
四
计算题(共46分,第2
题13分,其他每题11分)
1、一个马尔可夫信源有3个符号,转移概率为:
解:由题可得马儿克夫状态图为
转移矩阵为:
设状态稳定后的概率分别为
由
2、设二元对称信道的传递矩阵为
2/3
00
1/3
2/31/3
11
(1)画出传递函数矩阵;
(2)若p(0)=3/4,p(1)=1/4,求H(X),H(X/Y)
(3)求I(X,Y);
(4)求概率分布为何值时达到信道容量;
(5)求信道容量;
解:(1)由信道转移图可得
传递矩阵为
P=
(2)已知X的概率则熵的公式可知
所以
根据熵和平均互信息的表达式,可计算
(3)因为
(4)根据对称信道的性质可知,当P(0)=P(1)=1/2时,信道的传输率I(X;Y)达到信道容量。
(5)对于二元对称信道,信道容量为
3、一个平均功率受限制的连续信道,其通频带为1MHZ,信道上存在白色高斯噪声。
(1)已知信道上的信号与噪声的平均功率比值为10,求该信道的信道容量;
(2)信道上的信号与噪声的平均功率比值降至5,要达到相同的信道容量,信道通频带应为多大?
(3)若信道通频带减小为0.5MHZ时,要保持相同的信道容量,信道上的信号与噪声的平均功率比值应等于多大?
解:(1)
(2)
所以
(3)
又因为
所以计算可得
所以SNR=120
4
设有信源两种符号a、b,它们出现的概率分别是P(a)=0.3,P(b)=0.7。当信源输出符号序列是ababba,对其进行算术编码。
解:首先按照概率分布将区间分割成两个区间和,分别代表a、b。
由于信源输出的第一个符号是a,那么取区间,再对该区间按照概率分步进行划分,得到区间和
由于信源输出的第二个符号是b,那么取区间,再对该区间按照概率分布进行划分,得到区间和
由于信源输出的第三个符号是a,那么取区间,再对该区间按照概率分布进行划分,得到区间和
由于信源输出地第四个符号是b,那么取区间,再对该区间按照该概率分布进行划分,得到区间和
由于信源输出地第五个符号是b,那么取区间,再对该区间按照概率分布进行划分,得到区间和
由于信源输出的第六个符号是a,那么取区间
即为符号序列对应的编码区间,在该区间内任选一实数代表该区间,现去该区间中间的数字0.1268,将其转换为二进制。
则信源输出的符号序列为ababba,则其算术编码的二进制码长为
所以0.1268的二进制数去7为是0010000