信息论习题解答 本文关键词：信息论，习题，解答
信息论习题解答 本文简介：第二章信息量和熵2.2八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为2=23=6bit因此，信息速率为61000=6000bit/s2.3掷一对无偏骰子，告诉你得到的总的点数为：(a)7;(b)12。问各得到多少信
信息论习题解答 本文内容：
第二章
信息量和熵
2.2
八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此
每个码字的信息量为
2=23=6
bit
因此，信息速率为
61000=6000
bit/s
2.3
掷一对无偏骰子，告诉你得到的总的点数为：(a)
7;
(b)
12。问各得到多少信息量。
解：(1)
可能的组合为
{1，6},{2，5},{3，4},{4，3},{5，2},{6，1}
==
得到的信息量
===2.585
bit
(2)
可能的唯一，为
{6，6}
=
得到的信息量===5.17
bit
2.4
经过充分洗牌后的一副扑克（52张），问：
(a)
任何一种特定的排列所给出的信息量是多少？
(b)
若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：(a)
=
信息量===225.58
bit
(b)
==
信息量==13.208
bit
2.9
随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、、、、。
解：令第一第二第三颗骰子的结果分别为，，，相互独立，则，，
==6=2.585
bit
==
=2(36+18+12+9+)+6
=3.2744
bit
=-=-[-]
而=，所以=
2-=1.8955
bit
或=-=+-
而=
，所以=2-=1.8955
bit
===2.585
bit
=+=1.8955+2.585=4.4805
bit
2.10
设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。
解：
=-
因为输入等概，由信道条件可知，
即输出等概，则=10
=
=-
=0-
=
--
=25+845
==1
bit
=-=10
-1=5=2.3219
bit
2.11
令{}为一等概消息集，各消息相应被编成下述二元码字
=0000，=0011，=0101，=0110，
=1001，=1010，=1100，=1111
通过转移概率为p的BSC传送。求：
(a)接收到的第一个数字0与之间的互信息量。
(b)接收到的前二个数字00与之间的互信息量。
(c)接收到的前三个数字000与之间的互信息量。
(d)接收到的前四个数字0000与之间的互信息量。
解：
即，，，
=+=
===1+
bit
==
===
bit
==
=3[1+]
bit
=
=
bit
2.12
计算习题2.9中、、、、。
解：根据题2.9分析
=2(++++
+++)
=3.5993
bit
=-=-=1.0143
bit
=-=-=0.3249
bit
=-=-=1.0143
bit
=-=-=0.6894
bit
=-=-=0
bit
2.14
对于任意概率事件集X,Y,Z，证明下述关系式成立
(a)+，给出等号成立的条件
(b)=+
(c)
证明：(b)
=-
=-
=--
=+
(c)
=-
=[-]
[-]
=-
=
当=，即X给定条件下，Y与Z相互独立时等号成立
(a)
上式(c)左右两边加上，可得
++
于是+
2.28
令概率空间，令Y是连续随机变量。已知条件概率密度为
，求：
(a)Y的概率密度
(b)
(c)
若对Y做如下硬判决
求，并对结果进行解释。
解：(a)
由已知，可得
=
=
=+
=
(b)
==2.5
bit
=
=
=2
bit
=-=0.5
bit
(c)
由可得到V的分布律
V
-1
0
1
p
1/4
1/2
1/4
再由可知
V
-1
0
1
p(V|x=-1)
1/2
1/2
0
p(V|x=1)
0
1/2
1/2
bit
=1
bit
==
0.5
bit
2.29
令和是同一事件集U上的两个概率分布，相应的熵分别为和。
(a)对于，证明=+是概率分布
(b)是相应于分布的熵，试证明+
证明：(a)
由于和是同一事件集U上的两个概率分布，于是
0，0
=1，=1
又，则
=+0
=+=1
因此，是概率分布。
(b)
=
=
（引理2）
=+
第三章
信源编码——离散信源无失真编码
3.1
试证明长为的元等长码至多有个码字。
证：①在元码树上，第一点节点有个，第二级有，每个节点对应一个码字，若最长码有，则函数有==，此时，所有码字对应码树中的所有节点。
②码长为1的个；码长为2的个，…，码长为的个
∴总共=个
3.2
设有一离散无记忆信源。若对其输出的长为100的事件序列中含有两个或者少于两个的序列提供不同的码字。
(a)
在等长编码下，求二元码的最短码长。
(b)
求错误概率（误组率）。
解:
(a)不含的序列
1个
长为100的序列中含有1个的序列
=100个
长为100的序列中含有2个的序列
=4950个
∴所需提供码的总数M=1+100+4950=5051
于是采用二元等长编码
=12.3，故取=13
(b)当长度为100的序列中含有两个或更多的时出现错误，
因此错误概率为
=-
=
3.3
设有一离散无记忆信源，U=，其熵为。考察其长为的输出序列，当时满足下式
(a)在=0.05，=0.1下求
(b)在=，=下求
(c)令是序列的集合，其中
试求L=时情况(a)(b)下，T中元素个数的上下限。
解：===0.81
bit
=
==-
=
=0.471
则根据契比雪夫大数定理
(a)
===1884
(b)
==4.71
(c)
由条件可知为典型序列，若设元素个数为，则根据定理
其中，，可知
(i)
，，
下边界：
上边界：=
故
(ii)
，，
=
故
3.4
对于有4字母的离散无记忆信源有两个码A和码B，参看题表。
字母
概率
码A
码B
a1
0.4
1
1
a2
0.3
01
10
a3
0.2
001
100
a4
0.1
0001
1000
(a)
各码是否满足异字头条件？是否为唯一可译码？
(b)
当收到1时得到多少关于字母a的信息？
(c)
当收到1时得到多少关于信源的平均信息？
解：①码A是异头字码，而B为逗点码，都是唯一可译码。
②码A
bit
码B
bit
③码A
U=｛｝
==1.32
bit
码B
=0
bit
（收到1后，只知道它是码字开头，不能得到关于U的信息。）
3.5
令离散无记忆信源
(a)
求最佳二元码,计算平均码长和编码效率。
(b)
求最佳三元码,计算平均码长和编码效率。
解：(a)
=3.234
bit
平均码长
=3.26=
效率
(b)
平均码长
=2.11
=3.344
效率
3.6
令离散无记忆信源
(a)
求对U的最佳二元码、平均码长和编码效率。
(b)
求对U的最佳二元码、平均码长和编码效率。
(c)
求对U的最佳二元码、平均码长和编码效率。
解：(a)
=0.5×1+0.3×2+2×0.2=1.5
bit
(b)
∵离散无记忆
∴H(UU)=2H(U)=2.97
bit
p(aa)=0.25,p(aa)=0.15,p(aa)=0.1,p(aa)=0.15,p(aa)=0.09
p(aa)=0.06,p(aa)=0.1,p(aa)=0.06,p(aa)=0.04
==0.99
(c)
有关最佳二元类似
略
3.7
令离散无记忆信源
且0≤P(a)≤P(a)≤….
≤P(a)1，而Q1=0，今按下述方法进行二元编码。消息a的码字为实数Q的二元数字表示序列的截短（例如1/2的二元数字表示序列为1/2→10000…，1/4→0100…）,保留的截短序列长度n是大于或等于I(a)的最小整数。
(a)
对信源构造码。
(b)
证明上述编码法得到的码满足异字头条件，且平均码长满足
H(U)≤≤H(U)+1。
解：(a)
符号
Qi
L
C
0
4
0000
4
0001
4
0010
4
0011
4
0100
3
011
2
10
2
11
(b)
反证法证明异字头条件
令k 又由可知， 从而得 这与假设是的字头（即）相矛盾，故满足异字头条件。 由已知可得 对不等号两边取概率平均可得 即 3.8 扩展源DMC， (a)求对U的最佳二元码、平均码长和编码效率。 (b)求对U的最佳二元码、平均码长和编码效率。 (c)求对U的最佳二元码、平均码长和编码效率。 (d)求对U的最佳二元码、平均码长和编码效率。 解：(a) ，=1，=1 bit (b) DMC信道 ，， (c) =2.944 =0.981 =98.85% (d) 略 3.9 设离散无记忆信源 试求其二元和三元Huffman编码。 解： 3.11 设信源有K个等概的字母,其中K=,12。今用Huffman编码法进行二元编码。 （a）是否存在有长度不为j或j+1的码字，为什么？ （b）利用和j表示长为j+1的码字数目。 （c）码的平均长度是多少？ 解：Huffman思想：将概率小的用长码，大的用短码，保证↓，当等概时，趋于等长码。 a) 对时，K=2j，则用长度为j码表示；当时，用K=2j+1，用长度为j+1码表示。平均码长最短，则当12时，则介于两者之间，即只存在j，j+1长的码字。 b) 设长为j的码字个数为Nj，长度为j+1的码字数目为Nj+1，根据二元Huffman编码思想（必定占满整个码树），即 从而， c） = 3.12 设二元信源的字母概率为，。若信源输出序列为 1011 0111 1011 0111 (a) 对其进行算术编码并进行计算编码效率。 (b) 对其进行LZ编码并计算编码效率。 解： (a) 根据递推公式 可得如下表格 其中，F(1)=0， F(1)= ， p(0)=， p(1)= 1 0 1 0 1 1 0 1 1 1 1 0 1 1 0 1 1 1 从而 C = 0101100111101 (b) 首先对信源序列进行分段： 1 0 11 01 111 011 0111 然后对其进行编码，编码字典如下所示 段号 短语 i j 编码 1 1 0 1 0001 2 0 0 0 0000 3 11 1 1 0011 4 01 2 1 0101 5 111 3 1 0111 6 011 4 1 1001 7 0111 6 1 1101 bit 3.13 设DMS为U=，各a相应编成码字0、10、110和1110。 试证明对足够长的信源输出序列，相应的码序列中0和1出现的概率相等。 解： 概率 信源符号 码字 1/2 0 1/4 10 1/8 110 1/8 1110 设信源序列长为N，则相应码字长为（条件是N要足够长） 相应码序列中0出现的次数 ∴ p(0)= = p(1)=1-p(0)= 3.14 设有一DMS,U= 采用如下表的串长编码法进行编码 信源输出序列 0串长度（或中间数字） 输出二元码字 1 01 001 … 00000001 00000000 0 1 2 … 7 8 0000 0001 0010 … 0111 1 (a)求H(U)。 (b)求对于每个中间数字相应的信源数字的平均长度。 (c)求每个中间数字对应的平均长度。 (d)说明码的唯一可译性。 解： (a) bit 由已知可得下表 先验 概率 信源输出 序列 0串长度 （或中间数字） 输出二元码字 0.1 1 0 0000 0.09 01 1 0001 0.081 001 2 0010 0.0729 0001 3 0011 0.0656 00001 4 0100 0.059 000001 5 0101 0.0531 0000001 6 0110 0.0478 00000001 7 0111 0.4305 000000001 8 1 (b) bit (c) bit (d) 异字码头 第四章 信道及信道容量 4.1 计算由下述转移概率矩阵给定的DMC的容量。 (a) 它是一对称信道，达到C需要输入等概，即= ∴C bit/符号 (b) 它是一对称信道 ∴ bit/符号 （c） 它是分信道和的和信道 由，可知 bit/符号 4.3求图中DMC的容量及最佳输入分布 （a） (b) 解：（a）由图知 发送符号1时等概率收到0,1,2,∴传对与传错概率完全相同，即不携带任何信息量，于是信道简化为二元纯删除信道 bit/符号 （b）由图知 为准对称 ∴当输入等概，即时达到信道容量C 此时 ∴ = bit/符号 4.5 N个相同的BSC级联如图。 各信道的转移概率矩阵。令，且为已知。 (a) 求的表达式。 (b) 证明时有，且与取值无关，从而证明时的级联信道容量 解：N个信道级联后BSC可表示为 N个级联可以看成N-1个级联后与第N个级联 ∴ 同理可得 从而 (a) (b) 因此与无关。 由于 与无关，因此，C=0。 4.8 一PCM语音通信系统，已知信号带宽W=4000 Hz，采样频率为2W，且采用8级幅度量化，各级出现的概率为1/2，1/4，1/8，1/16，1/32，1/32，1/32，1/32。试求所需的信息速率. 解： bit ∴信息速率 bit/s 4.9 在数字电视编码中，若每帧为500行，每行划分成600个像素，每个像素采用8电平量化，且每秒传送30帧时，试求所需的信息速率。 解：每个像素信息量为3 bit 每秒传输30帧，即个像素 ∴ bit/s 4.10 带宽为3 kHZ，信噪比为30 dB的电话系统，若传送时间为3分钟，试估计可能传送话音信息的数目。 解：=30dB==1000 则R bit/s=29.9 Kb/s 又传送时间t=30分钟=180 s ∴信息量为29.9180=5.382 Mbit 4.12 若要以R=的速率通过一个带宽为8 kHz、信噪比为31的连续信道传送，可否实现？ 解：根据SHANNON公式 40 Kb/s 当连续信道为高斯信道时，C 第五章 离散信道编码定理 5.1 设有一DMC，其转移概率矩阵为 若=1/2，=1/4，试求两种译码准则下的译码规则，并计算误码率。 解： （1）最大后验概率译码准则 首先计算 ∴译码规则为 ∴ （2）最大似然准则译码 计算 ∴译码规则 ∴ 显然它不是最佳。 第六章 线性分组码 6.1 设有4个消息和被编成长为5的二元码00000，01101，10111，11010。试给出码的一致校验关系。若通过转移概率为p<1/2的BSC传送，试给出最佳译码表及相应的译码错误概率表示式。 解： （1） 从而构造出 （2） 根据最小距离译码准则，可得伴随式与错误图样的对应关系如下 00100100 10110100 01001000 11000010 01100001 11100110 10010000 00000000 （3） 6.4 设二元(6,3)码的生成矩阵为 试给出它的一致校验矩阵为。 解： H＝