信息论编码与基础课后题 本文关键词：信息论，课后，编码，基础
信息论编码与基础课后题 本文简介：第二章习题解答2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四
信息论编码与基础课后题 本文内容：
第二章习题解答
2-1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？
解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}
八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}
二进制脉冲可以表示2个不同的消息，例如：{0,1}
假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量
八进制脉冲的平均信息量
二进制脉冲的平均信息量
所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2、
设某班学生在一次考试中获优（A）、良（B）、中（C）、及格（D）和不及格（E）的人数相等。当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？
解：根据题意，“没有不及格”或“pass”的概率为
因此当教师通知某甲“没有不及格”后，甲获得信息
在已知“pass”后，成绩为“优”（A），“良”（B），“中”（C）和“及格”（D）
的概率相同：
为确定自己的成绩，甲还需信息
3、中国国家标准局所规定的二级汉字共6763个。设每字使用的频度相等，求一个汉字所含的信息量。设每个汉字用一个的二元点阵显示，试计算显示方阵所能表示的最大信息。显示方阵的利用率是多少？
解：由于每个汉字的使用频度相同，它们有相同的出现概率，即
因此每个汉字所含的信息量为
每个显示方阵能显示种不同的状态，等概分布时信息墒最大，
所以一个显示方阵所能显示的最大信息量是
显示方阵的利用率或显示效率为
4、两个信源和均有两种输出：和，概率分别为，，。试计算和。设发出序列0101，发出0111，如传输过程无误，第一个字符传送结束后，相应的两个信宿分别收到多少信息量？当整个序列传送结束后，收到的总信息量及平均每次发送的信息量又各是多少？（设信源先后发出的数字相互独立。）
解：X和Y的信息熵分别为
因传输无误，信宿收到的信息等于发送信息。因此当第一个字符传送结束后，两信宿收到信息量等于发送的信息量，即
整个序列发送结束后，由于符号间独立，两信宿收到的总信息量是
平均每次（每个符号）发送（携带）的信息为
5、从普通的52张扑克牌中随机地抽出一张
(a)
当告知你抽到的那张牌是：红桃；人头；红桃人头时，你所得的信息各是多少？
(b)
如果已知那张牌是红人头，为确切地知道是哪张牌，还需要多少信息？
解：(a)
根据扑克牌的构成，抽到“红桃”、“人头”、“红桃人头”的概率分别为13/52=1/4、12/52=3/13和3/52，所以当告知抽到的那张牌是：“红桃”、“人头”和“红桃人头”时，由信息量定义式（1-5），所得到的信息各是
(b)
在52张扑克牌中，共有红人头6张（3张红桃，3张方块），因此在已知那张牌是红人头，为确切地知道是哪张牌，还需要
信息。
6、
同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：
(1)
“3和5同时出现”这事件的自信息；
(2)
“两个1同时出现”这事件的自信息；
(3)
两个点数的各种组合（无序）对的熵；
(4)
两个点数之和（即2,3,…,12构成的子集）的熵；
(5)
两个点数中至少有一个是1的自信息量。
解：(1)，
(2)
(3)两个点数的排列如下：
11
12
13
14
15
16
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合：
其中11，22，33，44，55，66的概率是
其他15个组合的概率是
(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
(5)
7、
某一无记忆信源的符号集为{0,1}，已知P(0)
=
1/4，P(1)
=
3/4。
(1)
求信源熵；
(2)
有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100
-
m）个“1”）的自信息量的表达式；
(3)
计算(2)中序列的熵。
解：(1)
(2)
(3)
8、某地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？
解：设A为女大学生，B为1.6米以上的女孩，则依题意有:，，，，
所以信息量为=1.415比特
9、设离散无记忆信源=，其发出的消息为
（202120130213001203210110321010021032
011223210），求：
（1）此消息的自信息是多少？
（2）在此消息中平均每个符号携带的信息量是多少？
解：(1)
因为离散信源是无记忆的，所以发出的消息序列中各符号是无依赖且统计独立的。因此，此消息的自信息就为该消息中各符号自信息之和。
I（）=
?log
P（）
=
?log=
1.415
比特
I（）=
?
log
P（）=
?log=2比特
I（）=
?log
P（）=
?log=2比特
I（）=
?log
P（）=
?log=3比特
则此消息的自信息是：
I=18I（）+
13I（）+12
I（）+
6I（）
181.415+132+122+6393.47比特
(2)此消息中平均每个符号携带的信息量是：
I=93.47491.91比特/符号
10、从大量统计资料知道，男性中红绿色盲的发病率为7％，女性发病率为0.5
％，如果你问一位男同志：“你是否是红绿色盲？”他的回答可能是“是”，可
能是“否”，问这二个答案中各含多少信息量？平均每个回答中含有多少信息
量？如果你问一位女同志，则答案中含有的平均自信息量是多少？
解：（1）
若男同志回答“是”：I＝log(1/7%)＝3.84
bit
回答“否”：I＝log(1/93%)＝0.1
bit
平均信息量为：I＝－7%log7%－93%log93%＝0.36
bit
（2）
若问女同志，平均信息量为：I＝－0.5%log0.5%－99.5%log99.5%＝0.045
bit
11、设信源求这信源的熵，并解释为什么，不满足信源熵的极值性。
解：信源的熵为：
bit/符号
是因为此信息的，不满足信息熵极值性的条件。
12、设离散无记忆信源，其符号集为，已知其相应的概率分布为。设另一离散无记忆信源，
其符号数为信源符号数的两倍：，并且各符号的概率分布满足：
试求信源的信息熵与信源的信息熵的关系式。
解：
13、设有一概率空间，其概率分布为{,,…,}，并有>。若取=，=，其中，其他概率不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义加以解释。
证明:
令a=>0，
1-a=，
展开
a+(1-a)=
+=+ε
(1-a)+a=+=-ε
因为f(x)=-xlogx是∩型凸函数，根据∩型函数的性质有：
f(a+(1-a))≥af()+(1-a)f()
即:
f(+ε)
≥af()+(1-a)f()
-(+ε)log(+ε)
≥-[log+log]
同理有：
-(+ε)log(+ε)
≥-[log+log]
两式相加，得：
-(+ε)log(+ε)-(+ε)log(+ε)
≥-log-log
H()>H(X)
物理意义：当信源部分符号趋于等概分布时，信源的熵是增加的。
14、（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和10个不同的亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有像素独立变化，且所有亮度电平等概率出现。
（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率约是黑白系统的信息率的2.5倍。
解：（1）因为每帧图象可以看成是离散的数字图象，每个像素的亮度是随机而且等概率出现的，则每个像素亮度信源的概率空间为：
=
=1
每个像素亮度含有的信息量为：
H(X)=log2103.32比特/像素=1哈特/像素
现在，所有的像素是独立变化的，则每帧图象可以看成是离散亮度信源的无记忆N次扩展信源。故，每帧图象含有的信息量是：
H(XN)=NH(X)=5105log10=5105哈特/帧1.66106比特/帧
而每秒传送30帧图象，则传递这个图象所需要的信息率为
R1=30H(XN)=1.
5106哈特/秒4.98107比特/秒
（2）证明：每个像素具有10个不同的亮度和30个色彩度。由上面的计算得亮度等概率出现的情况下，每个像素含有的信息量是：H(X)=log2103.32比特/像素。每个像素的色彩度也是等概率出现的，则色彩度信源的概率空间为：
=
=1
每个像素色彩度含有的信息量：
H(Y)=log2304.91比特/像素
而亮度和色彩度是相互独立的，所以亮度和色彩度同时出现，每像素含有的信息量：H(XY)=H(X)+H(Y)=log10+log30=log3008.23比特/像素
如果每帧所用的像素数和每秒传送的帧数都相同的情况下，传输这彩色系统的信息率与传输黑白系统的信息率之比就等于彩色系统每像素含有的信息量与黑白系统每像素含有的信息量之比：
=2.5
证毕。
15、每帧电视图像可以认为是由5×105个像素组成，所有像素均是独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量?现有一广播员在约10000个汉字的字汇中选1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)?若要恰当地描述此图像，广播员在口述中至少需要多少汉字?
解:
∵亮度电平等概率出现
∴每个像素所含的信息量为
H(X)=log
128=7
bit/像素。
而每个像素均是独立变化的
∴每帧电视图像所包含的信息量为
H(X)=
5×105H(X)=
3.5×106bit
∵假设汉字字汇是等概率分布
∴每个汉字出现的概率均为
从而每个汉字携带的信息量为log
10000=13.2877
bit/字
∵汉字间彼此无依赖，
广播员口述的1000个汉字所广播的信息量为
1000×13.2877=13287.7
bit
若要恰当地描述图像，广播员在口述中至少需要的汉字数为≈2.63*10^5个汉字。
16、为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D。每个二元脉冲宽度为5ms。
（1）不同字母等概率出现时，计算传输的平均信息速率；
（2）若每个字母出现的概率分别为，试计算传输的平均信息速率。
解：（1）由题可知，当不同字母等概率出现时，平均自信息量为：
H(x)=log4=2(比特/字母)
又因为每个二元脉冲宽度为5ms，故一个字母的脉冲宽度为10ms
则字母的传输速率为
100字母/秒
故传输的平均信息速率为：200
比特/秒
(2)
当每个字母分别以题中的概率出现时，平均自信息量为：
H(x)=－∑P(ai)logP(ai)
=(1/2)*log2+
(1/4)*log4+2*(1/8)*log8=1.75(比特/字母)
同样字母的传输速率为
100个/秒
故传输的平均信息速率为：175比特/秒
17、证明：。答案略。
18、设有一个信源，它产生0，1序列的消息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6的概率发出符号。
(1)
试问这个信源是否是平稳的？
(2)
试计算，及；
(3)
试计算并写出信源中可能有的所有符号。
解：(1)
因为信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无依赖的。所以这个信源是平稳信源，是离散无记忆信源。
(2)
＝，计算H(X)≈0.971
bit/符号
因为信源是平稳无记忆信源，所以H(X2)=2H(X)≈1.942
bit/两个符号
H(X3|X1X2)=H(X3)=H(X)≈0.971
比特/符号
===H(X)≈0.97
bit/符号
(3)
H(X4)=4H(X)≈3.884
bit/四个符号
可能的所有16个符号:0000
0001
0010
0011
0100
0101
0110
0111
1000
1001
1010
1011
1100
1101
1110
1111
19、有一个二元无记忆信源，其发0的概率为，而约等于1，所以在发出的二元序列中经常出现的是那些一串为0的序列（称为高概率序列）。对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。这时新信源，共有n+1个符号，它与高概率的二元序列的对应关系如下：
二元序列：
1,01,001,0001,…,00…01(n位),00…000(n位)
新信源符号：
（1）
求；
（2）
当
时求信源的熵。
解：依题意，因为是二元无记忆信源，在发出的二元序列中符号之间彼此是无依赖的，统计独立的，所以有：
1,2
由此可得新信源Sn为：
证明满足完备性：
因为
所以，则：
20、有一信源，它在开始时以，，的概率发出。如果为时，则为的概率为1/3；如果为，为的概率为1/3；如果为，为的概率为1/2，为的概率为0，而且后面发出的概率只与有关，又，。试利用马尔可夫信源的图示法画出状态转移图，并计算信源熵。
解：由题可得，状态转移图为：
a:0.6
b:0.3
c:0.1
b:1/2
a:1/2
c:1/3
a:1/3
c:1/3
a:1/3
b:1/3
b:1/3
a
b
c
a
b
c
a
b
c
a
E0
E1
E2
E3
E4
E5
E6
E7
E8
E9
E10
E11
b
可见，状态E1和E4、E7、E10的功能是完全相同的，
状态E2和E5、E8、E11的功能是完全相同的，
状态E3和E6、E12的功能是完全相同的。
其中E0是过渡状态，而E1、E2、E3组成一个不可约闭集，具有遍历性。故有如下的状态转移图A;由于此马尔可夫信源的状态必然会进入这个不可约闭集，所以计算信源熵时，可以不考虑过渡状态和过渡过程。由此，可得状态E1、E2、E3的极限概率：
Q(E1)=1/3Q(E1)+1/3Q(E2)+1/2Q(E3)
Q(E2)=1/3Q(E1)+1/3Q(E2)+1/2Q(E3)
Q(E3)=1/3Q(E1)+1/3Q(E2)
Q(E1)+Q(E2)+Q(E3)=1
可得：
Q(E1)=Q(E2)=3/8，
Q(E3)=1/4
c:1/3
c:1/3
b:1/2
b:1/3
c:0.1
b:0.3
a:0.6
c:1/3
b:1/2
a:1/3
E2
E3
E0
E1
a:1/3
图A
所以H∞=H2=Q(E1)H(1/3,1/3,1/3)+Q(E2)H(1/3,1/3,1/3)+Q(E3)H(1/2,1/2)
=1.4388(比特/符号)
21、一阶马尔可夫信源的状态图如题图2-21所示，信源的符号集为并定义。
(1)
求信源平稳后的概率分布；
(2)
求此信源的熵；
(3)
近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵并与进行比较；
(4)
对一阶马尔可夫信源，取何值时取最大值？又当时结果如何？
解：（1），由图可得
于是得到
整理计算得
即
（2）
据一阶马尔可夫信源的熵的表达式可得
（3）
信源近似为无记忆信源，符号的概率分布等于平稳分布，则此信源
得到：
由此计算结果可知
（4）
求一阶马尔可夫信源的最大值。因为
求其对p的一阶导数
令，得，所以，所以时，达到最大值；的最大值等。
当时
当时
由此可以看出上面的结论是正确的。
2-22
一阶马尔可夫信源的状态图如题图2-22所示，信源的符号集为{0,1,2}。
（1）
求平稳后信源的概率分布；
（2）
求信源的熵；
（3）
求当=0和=1时信源的熵，并说明其理由。
解：（1）由图可知一阶马尔可夫信源的状态空间E=A={0,1,2}。平稳后信源的概率分布就等于一阶马尔可夫信源状态的极限分布，即
Q(Ei)＝P(ai)
i＝1,2,3
Ei∈E,ai∈A,而E＝A
从状态图中分析可知，这三个状态都是正规常返态，所以此马尔可夫链具有各态历经性，平稳后状态的极限分布存在。可得状态一步转移矩阵
，
得Q(0)＝Q(1)＝Q(2)＝1/3
则可得P(0)＝P(1)＝P(2)＝1/3
(2)
一阶马尔可夫信源的熵
H∞＝H2＝∑I=13Q(Ei)H(X∣Ei)
＝P(0)H(X∣E)+P(1)H(X∣1)+P(2)H(X∣2)
＝1/3H(P1,0,P)+1/3H(P,P1,0)+1/3H(0,P,P1)
＝-P1㏒P1-P㏒P
＝H(P)
(3)
当P＝0,H∞＝0
当P＝1,H∞＝1
因为信息熵是表示信源的平均不确定性，题中当P=1或P=0时表明信源从某一状态出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。当P=1时，从0状态一定转移到2状态，2状态一定转移到1状态，1状态一定转移到0状态。所以不论从何状态起信源输出的序列一定是021021序列，完全确定的。当P=0时，0状态永远处于0状态，1状态永远处于1状态，2状态用于处于2状态。信源输出的符号序列也是确定的。所以当P=1或P=0时，信源输出什么符号不存在不确定性，完全是确定的，因此确定信源的信息熵等于零。
23、设有一个马尔可夫信源，它的状态集为，符号集为，其在某状态下发出符号的概率为，，如题图2-23所示。
题图
2-23
（1）
求出图中马尔可夫信源的状态极限概率并找出符号的极限概率。
（2）
计算信源处在某一状态下输出符号的条件熵，。
（3）
求出马尔可夫信源熵。
解:
(1)
此信源的状态集不等于符号集，从状态转移图可知
状态转移矩阵:
P=
从图可知
此状态马尔可夫链是时齐的，状态数有限的和是不可约闭集，所以其具有各态历经性，平稳后状态的极限概率分布存在。
得到如下方程组：
Q(s1)=
Q(s3)
Q(s2)=3/4
Q(s1)+1/2
Q(s2)
Q(s3)=1/4
Q(s1)+1/2
Q(s2)
Q(s1)+
Q(s2)+
Q(s3)=1
解得：
Q(s1)=2/7，
Q(s2)=2/7，
Q(s3)=3/7
符号的极限概率
P(ak)
=
所以P(a1)=Q(s1)P(a1|s1)+
Q(s2)P(a1|s2)+
Q(s3)P(a1|s3)=3/7，P(a2)=2/7，
P(a3)=2/7
(2)
信源处于某一状态下的输出符号的条件熵
H(X|sj)=
-
j=1,2,3
H(X|s1)=
-
P(a1|s1)log
P(a1|s1)
-
P(a2|s1)log
P(a2|s1)
-
P(a3|s1)log
P(a3|s1)
=-1/2log21/2-1/4log21/4-1/4log21/4
=1.5
比特/符号
H(X|s2)=H(0,1/2,1/2)=1比特/符号
H(X|s2)=H(1,0,0)=
0比特/符号
（3）马尔可夫信源熵
H∞=
=
Q(s1)H(X|s1)+
Q(s2)H(X|s2)+
Q(s3)H(X|s3)
=2/7×1.5+3/7×1+0
=6/7比特/符号
≈0.857比特/符号
2-24
黑白气象传真图的消息只有黑色和白色两种，即信源＝{黑，白}，设黑色出现的概率为P（黑）＝0.3，白色出现的概率为P（白）＝0.7。
（1）
假设图上黑白消息出现前后没有关联，求熵；
（2）
假设消息前后有关联，其依赖关系为P（白|白）＝0.9，P（黑|白）＝0.1，P（白|黑）＝0.2，P（黑|黑）＝0.8，求此一阶马尔可夫信源的熵；
（3）
分别求出上述两种信源的剩余度，比较和的大小，并说明其物理意义。
解：（1）如果图上黑白消息出现没有关联，则熵为：
H（X）=H（0.7，0.3）=0.881bit/符号
（2）设白为w，黑为b
那么对应两种状态Sw和Sb
那么转移概率为
Sw
à
Sb
0.1
Sw
à
Sw
0.9
Sb
à
Sw
0.2
Sb
à
Sb
0.8
则
Q（Sw）=0.9
Q（Sw）+0.2
Q（Sb）
Q（Sb）=0.8
Q（Sb）+0.1
Q（Sw）
Q（Sb）+
Q（Sw）=1
由以上三式可得出Q（Sw）=2/3，Q（Sb）=1/3
所以P（w）=
Q（Sw）*0.9+
Q（Sb）*0.2=2/3
P（B）=
Q（Sw）*0.1+
Q（Sb）*0.8=1/3
由以上可得到：
H2=H（0.9，0.1）*2/3+
H（0.8，0.2）*1/3
=0.554bit/符号
（3）最大熵H0=H（0.5，0.5）=1，则信源一的剩余度为
1-0.881=0.118
信源二的剩余度为1-0.554=0.446
推出H（x）>H2
这说明消息前后有关联的熵小于信息前后没有关联的熵，即传送相同符号数后消息前后无关联所获得的信息量大于前后有关联的信息量。
2-25
给定语音信号样值的概率密度为拉普拉斯分布，求，并证明它小于同样方差的正态变量的连续熵。
解：
2-26
连续随机变量和的联合概率密度为：，求，，和。（提示：）
2-27
设是离散平稳有记忆信源，试证明：
。
2-28
设是N维高斯分布的连续信源，且的方差分别是，它们之间的相关系数。试证明：N维高斯分布的连续信源熵为：
。
证明：
相关系数，说明是相互独立的。
2-29
设有一连续信源，其概率密度函数为：
(1)
试求信源的熵；
(2)
试求
()的熵；
(3)
试求的熵。
解：
1)
2)
3)
篇2：信息论与编码实验指导书
信息论与编码实验指导书 本文关键词：信息论，指导书，编码，实验
信息论与编码实验指导书 本文简介：《信息论与编码》实验指导书信息与通信工程学院信息工程系2012年11月目录实验一绘制信源熵函数曲线4实验二哈夫曼编解码7实验三离散信道容量131实验一绘制信源熵函数曲线一、实验目的1.掌握离散信源熵的原理和计算方法。2.熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制
信息论与编码实验指导书 本文内容：
《信息论与编码》实验指导书
信息与通信工程学院
信息工程系
2012年11月
目
录
实验一
绘制信源熵函数曲线4
实验二
哈夫曼编解码7
实验三
离散信道容量13
1
实验一
绘制信源熵函数曲线
一、实验目的
1.
掌握离散信源熵的原理和计算方法。
2.
熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制。
3.
理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。
二、实验原理
1.
离散信源相关的基本概念、原理和计算公式
产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。
假定X是一个离散随机变量，即它的取值范围R={x1，x2，x3，…}是有限或可数的。设第i个变量xi发生的概率为pi=P{X=xi}。则：
定义一个随机事件的自信息量I（xi）为其对应的随机变量xi出现概率对数的负值。即：
I（xi）=
-log2
p(xi)
定义随机事件X的平均不确定度H（X）为离散随机变量xi出现概率的数学期望，即：
单位为
比特/符号
或
比特/符号序列。
平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H（X）称为信源X的信源熵。
必须注意一下几点：
a)
某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定值，一般写成H（X），X是指随机变量的整体（包括概率分布）。
b)
信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给与信息者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。
c)
熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度，平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说获得这么大的信息量后，信源不确定度就被消除了。信源熵和平均自信息量两者在数值上相等，但含义不同。
d)
当某一符号xi的概率p(xi)为零时，p(xi)log
p(xi)
在熵公式中无意义，为此规定这时的
p(xi)log
p(xi)
也为零。当信源X中只含有一个符号x时，必有p(x)=1，此时信源熵H（X）为零。
例1-1，设信源符号集X={0，1}，每个符号发生的概率分别为p(0)=p，p(1)=q，p+
q=1，即信源的概率空间为
则该二元信源的信源熵为：
H(X)
=
-
p
log
p
–
q
log
q
=
-
p
log
p
–
(1-
p)
log
(1-
p)
即：H
(p)
=
-
p
log
p
–
(1-
p)
log
(1-
p)
其中0
≤
p
≤1
P=0时，H(0)
=
0
P=1时，H(1)
=
0
2.
MATLAB二维绘图
例对函数y=
f(x)进行绘图，则用matlab中的命令plot(x,y)就可以自动绘制出二维图来。如果打开过图形窗口，则在最近打开的图形窗口上绘制此图；如果未打开图形窗口，则开一个新的图形窗口绘图。
例1-2，在matlab上绘制余弦曲线图，y
=
cos
x，其中0
≤
x
≤
2p。
>>x=0:0.1:2*pi；
%生成横坐标向量，使其为0，0.1，0.2，…，6.2
>>y=cos(x)；
%计算余弦向量
>>plot(x,y)
%绘制图形
三、实验内容
用matlab软件绘制二源信源熵函数曲线。根据曲线说明信源熵的物理意义。
四、实验要求
1.
提前预习实验，认真阅读实验原理以及相应的参考书。
2.
认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的管理。
3.
认真填写实验报告。
2
实验二
哈夫曼编码
一、实验目的
1.
掌握哈夫曼编码的原理及编码步骤
2.
练习matlab中哈夫曼编码函数的调用及通信工具箱的使用
二、实验原理
通信的根本问题是如何将信源输出的信息在接收端的信宿精确或近似的复制出来。为了有效地复制信号，就通过对信源进行编码，使通信系统与信源的统计特性相匹配。
若接收端要求无失真地精确地复制信源输出的信息，这样的信源编码即为无失真编码。即使对于一个小的时间段内，连续信源输出的信息量也可以是无限大的，所以对其是无法实现无失真编码的；而离散信源输出的信息量却可以看成是有限的，所以只有离散信源才可能实现无失真编码。
凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合都可以称为最佳码。为此必须将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。
变字长编码的最佳编码定理：在变字长码中，对于概率大的信息符号编以短字长的码；对于概率小的信息符号编以长字长的码。如果码字长度严格按照符号概率的大小顺序排列，则平均码字长度一定小于俺任何顺序排列方式得到的码字长度。
哈夫曼编码就是利用了这个定理，讲等长分组的信源符号，根据其概率分布采用不等长编码。概率大的分组，使用短的码字编码；概率小的分组，使用长的码字编码。哈夫曼编码把信源按概率大小顺序排列，并设法按逆次序分配码字的长度。在分配码字的长度时，首先将出现概率最小的两个符号相加，合成一个概率；第二步把这个合成的概率看成是一个新组合符号的概率，重复上述做法，直到最后只剩下两个符号的概率为止。完成以上概率相加顺序排列后，再反过来逐步向前进行编码。每一步有两个分支，各赋予一个二进制码，可以对概率大的编为0码，概率小的编为1码。反之亦然。
哈夫曼编码的具体步骤归纳如下：
1.
统计n个信源消息符号，得到n个不同概率的信息符号。
2.
将这n个信源信息符号按其概率大小依次排序：
p(x1)
≥
p(x2)≥
…≥
p(xn)
3.
取两个概率最小的信息符号分别配以0和1两个码元，并将这两个概率相加作为一个新的信息符号的概率，和未分配的信息符号构成新的信息符号序列。
4.
将剩余的信息符号，按概率大小重新进行排序。
5.
重复步骤3，将排序后的最后两个小概论相加，相加和与其他概率再排序。
6.
如此反复重复n-2次，最后只剩下两个概率。
7.
从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字，构成霍夫曼编码字。编码结束。
哈夫曼编码产生最佳整数前缀码，即没有一个码字是另一个码字的前缀，因此哈夫曼编码是唯一码。
编码之后，哈夫曼编码的平均码长为：
哈夫曼编码的效率为：
例2-1
设信源共7个符号消息，其概率如下表所示
信源消息符号xi
x1
x2
x3
x4
x5
x6
x7
符号概率P（
xi
）
0.20
0.19
0.18
0.17
0.15
0.10
0.01
其编码过程如下所示：
该哈夫曼码的平均码长为
编码效率为：
三、实验内容
为某一信源进行哈夫曼编码。该信源的字符集为X={x1,x2,…
x6
}，相应的概率矢量为：P=(0.30,0.25,0.21,0.10,0.09,0.05)，即X，P的概率空间为：
根据哈夫曼编码算法对该信源进行哈夫曼编码。并计算其平均码长和编码效率。
调用matlab哈夫曼编码函数进行哈夫曼编码，与人工编码结果做比较。
1.
huffmandict函数：
为已知概率分布的信源模型生成哈夫曼编解码索引表。
调用方法如下：
[dict，avglen]
=
huffmandict
(symbols,p)
[dict，avglen]
=
huffmandict
(symbols,p,N)
[dict，avglen]
=
huffmandict
(symbols,p,N,variance)
四、实验要求
1.
提前预习实验，认真阅读实验原理以及相应的参考书。
2.
认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的管理。
3.
认真填写实验报告。
3
实验三
离散信道容量
一、实验目的
1.
掌握离散信道容量的计算。
2.
理解离散信道容量的物理意义。
3.
练习应用matlab软件进行二元对称离散信道容量的函数曲线的绘制，并从曲线上理解其物理意义。
二、实验原理
信道是传送信息的载体—信号所通过的通道。
信息是抽象的，而信道则是具体的。比如二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。
研究信道的目的：在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。
二元对称信道BSC（Binary
Symmetric
Channel）
二进制离散信道模型有一个允许输入值的集合X={0，1}和可能输出值的集合Y={0，1}，以及一组表示输入和输出关系的条件概率（转移概率）组成。如果信道噪声和其他干扰导致传输的二进序列发生统计独立的差错，且条件概率对称，即
这种对称的二进制输入、二进制输出信道称做二元对称信道（或二进制对称信道，简称BSC信道），如下图所示：
信道容量公式：
三、实验内容
BSC信道是DMC信道对称信道的特例，对于转移概率为P(0/1)=P(1/0)=p，P(0/0)=P(1/01)=1-p，求出其信道容量公式，并在matlab上绘制信道容量C与p的曲线。
根据曲线说明其物理意义。
四、实验要求
1.
提前预习实验，认真阅读实验原理以及相应的参考书。
2.
认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的管理。
3.
认真填写实验报告
篇3：《信息论与编码技术》复习提纲复习题
《信息论与编码技术》复习提纲复习题 本文关键词：信息论，复习题，提纲，复习，编码
《信息论与编码技术》复习提纲复习题 本文简介：《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素
《信息论与编码技术》复习提纲复习题 本文内容：
《信息论与编码技术》复习提纲
复习题纲
第0章
绪论
题纲：
I.
什么是信息？
II.
什么是信息论？
III.
什么是信息的通信模型？
IV.
什么是信息的测度？
V.
自信息量的定义、含义、性质
需掌握的问题：
1.
信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）
2.
Shannon信息论中信息的三要素是什么？
3.
通信系统模型图是什么？每一部分的作用的是什么？
4.
什么是信息测度？
5.
什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？
6.
自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？
第1章
信息论基础
㈠《离散信源》题纲：
I.
信源的定义、分类
II.
离散信源的数学模型
III.
熵的定义、含义、性质，联合熵、条件熵
IV.
离散无记忆信源的特性、熵
V.
离散有记忆信源的熵、平均符号熵、极限熵
VI.
马尔科夫信源的定义、状态转移图
VII.
信源的相对信息率和冗余度
需掌握的问题：
1.
信源的定义、分类是什么？
2.
离散信源的数学模型是什么？
3.
信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？
4.
单符号离散信源最大熵是多少？信源概率如何分布时能达到？
5.
信源的码率和信息率是什么，如何计算？
6.
什么是离散无记忆信源？什么是离散有记忆信源？
7.
离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？
8.
离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？
9.
什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？
10.
马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？
11.
马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？
12.
信源的相对信息率和冗余度是什么？如何计算？
㈡《离散信道》题纲：
I.
信道的数学模型及分类
II.
典型离散信道的数学模型
III.
先验熵和后验熵
IV.
互信息的定义、性质
V.
平均互信息的定义、含义、性质、维拉图
VI.
信道容量的定义
VII.
特殊离散信道的信道容量
需掌握的问题：
1.
信道的定义是什么？信道如何分类？信道的数学模型是什么？
2.
二元对称信道和二元删除信道的信道传输概率矩阵是什么？
3.
对称信道的信道传输概率矩阵有什么特点？
4.
根据信道的转移特性图，写出信道传输概率矩阵。
5.
先验熵、后验熵的区别？
6.
联合熵、条件熵和信息熵的关系。
7.
互信息的大小如何计算？互信息的性质是什么？
8.
联合互信息、条件互信息、互信息之间的关系是什么？
9.
平均互信息的定义是什么？平均互信息的含义？平均互信息的性质？
10.
联合平均互信息、条件平均互信息和平均互信息的关系？
11.
损失熵和噪声熵的含义是什么？维拉图表示了哪些关系式？
12.
信道的传码率和传信率（信息率）的计算方法是什么？
13.
信道容量的定义是什么？信道容量的含义如何理解？
14.
无噪无损信道、有噪无损信道、无噪有损信道、对称信道的信道容量如何计算？
㈢《连续信源和波形信道》
题纲：
I.
连续信源的定义、数学模型、绝对熵、相对熵
II.
给定条件下，连续信源的最大熵
III.
熵功率
IV.
连续信道和波形信道的信道容量
需掌握的问题：
1.
连续信源定义、数学模型是什么？
2.
连续信源熵的表达式是什么？相对熵和绝对熵的区别是什么？
3.
如何计算均匀分布、正态分布连续信源的最大熵？
4.
什么是波形信道？了解波形信道互信息、信道容量的求解思路。
5.
香农公式是什么？物理意义是什么？
第2章
无失真信源编码
题纲：
I.
基本概念
1.
编码
2.
二元码
3.
等长码
4.
变长码
5.
码的N次扩展码
6.
唯一可译码
II.
等长码
III.
变长码
IV.
无失真信源编码定理
V.
编码方法
1.
香农编码
2.
费诺编码
3.
霍夫曼编码
需掌握的问题：
1.
编码的定义及编码相关术语。
2.
信源编码的定义及目的是什么？
3.
解释二元码、等长码、变长码、唯一可译码。
4.
变长码和定长码的区别是什么？用码树描述二者的差异，能够说明变长码和定长码各自的优劣。
5.
描述香农第一定理及意义。
6.
掌握香农编码、费诺编码、霍夫曼编码的步骤及特点，会计算编码效率。
7.
了解游程编码和算术编码的思路。
第3章
信道编码
题纲：
I.
检错、纠错原理及方法、能力
II.
差错控制理论
1.
译码规则
2.
2种准则下的错误概率
III.
信道编码定理
IV.
编码方法
1.
简单的检错、纠错码
2.
线性分组码
3.
循环码
需掌握的问题：
1.
信道编码的定义及目的是什么？
2.
检错原理是什么？
3.
差错控制方法有哪些？
4.
如何确定一种编码的检错、纠错能力？
5.
汉明距离是什么？汉明重量是什么？最小码距是什么？
6.
信道编码的效率如何确定？
7.
奇偶校验码的编码规则是什么？检错、纠错能力如何？
8.
译码规则的定义是什么？
9.
最大后验准则是什么？极大似然准则是什么？这两种准则下如何计算错误概率？
10.
错误概率与损失熵之间的关系是什么？
11.
描述香农第二定理及意义。
12.
线性分组码的编码原理和校验原理是什么？
13.
循环码的编码原理和校验原理是什么？
14.
了解循环冗余校验码和卷积码的编码思路。
第4章
信息率失真函数
题纲：
V.
失真度
VI.
平均失真度
VII.
信息率失真函数
VIII.
信息率失真函数的性质
IX.
限失真信源编码定理
需掌握的问题：
1.
失真度如何表示？
2.
四种常见失真度的形式分别是什么？分别用于什么场合？
3.
平均失真度如何计算？
4.
什么是保真度准则？
5.
什么是试验信道？
6.
信息率失真函数的定义是什么？
7.
信息率失真函数和信道容量的区别和联系是什么？
8.
信息率失真函数的性质是什么？
9.
定义域Dmin,Dmax，以及相应的R(Dmin),R(Dmax)如何计算？
10.
描述香农第三定理及意义。
11.
了解预测编码和变换编码的思路。
1、
填空题
1.
设信源X包含4个不同离散消息，当且仅当X中各个消息出现的概率为___1/4___时，信源熵达到最大值，为__2__，此时各个消息的自信息量为__2
__。
2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3____个随机错，最多能
纠正__1____个随机错。
3.克劳夫特不等式是唯一可译码___存在___的充要条件。
4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是___(X;Y)=H(X)-H(X/Y)___。
5.
_信源___提高通信的有效性，_信道____目的是提高通信的可靠性，_加密__编码的目的是保证通信的安全性。
6.信源编码的目的是提高通信的
有效性
，信道编码的目的是提高通信的
可靠性
，加密编码的目的是保证通信的
安全性
。
7.设信源X包含8个不同离散消息，当且仅当X中各个消息出现的概率为__1/8__时，信
源熵达到最大值，为___3____。
8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_小___。
9.信源的冗余度来自两个方面，一是信源符号之间的__相关性__，二是信源符号分布的
__不均匀性__。
10.最大后验概率译码指的是
译码器要在已知r的条件下找出可能性最大的发码
作为译码估值
，即令
=maxP(
|r)_
__。
11.常用的检纠错方法有__前向纠错___、反馈重发和混合纠错三种。
2、
单项选择题
1.下面表达式中正确的是（A
）。
A.
B.
C.
D.
2.彩色电视显像管的屏幕上有5×105
个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。每秒传送25帧图像所需要的信道容量（C
）。
A.
50′106
B.
75′106
C.
125′106
D.
250′106
3.已知某无记忆三符号信源a,b,c等概分布，接收端为二符号集，其失真矩阵为d=,则信源的最大平均失真度为（
D
）。
A.
1/3
B.
2/3
C.
3/3
D.
4/3
4.线性分组码不具有的性质是（
C
）。
A.任意多个码字的线性组合仍是码字
B.最小汉明距离等于最小非0重量
C.最小汉明距离为3
D.任一码字和其校验矩阵的乘积cmHT=0
5.率失真函数的下限为（
B）。
A
.H(U)
B.0
C.I(U;
V)
D.没有下限
6.纠错编码中，下列哪种措施不能减小差错概率（
D
）。
A.
增大信道容量
B.
增大码长
C.
减小码率
D.
减小带宽
7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（
A
）。
A.
0bit
B.
log6bit
C.
6bit
D.
log240bit
8.下列陈述中，不正确的是（
D
）。
A.离散无记忆信道中，H（Y）是输入概率向量的凸函数
B.满足格拉夫特不等式的码字为惟一可译码
C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、
纠错能力越强
D.满足格拉夫特不等式的信源是惟一可译码
9.一个随即变量x的概率密度函数P(x)=
x
/2，，则信源的相对熵为（
C
）。
A
.
0.5bit
B.
0.72bit
C.
1bit
D.
1.44bit
10.下列离散信源，熵最大的是（
D
）。
A.
H（1/3,1/3,1/3）；
B.
H（1/2,1/2）；
C.
H（0.9,0.1）；
D.
H（1/2,1/4,1/8,1/8)
11.下列不属于消息的是（
B
）。
A.文字
B.信号
C.图像
D.语言
12.为提高通信系统传输消息有效性，信源编码采用的方法是（
A
）。
A.压缩信源的冗余度
B.在信息比特中适当加入冗余比特
C.研究码的生成矩阵
D.对多组信息进行交织处理
13.最大似然译码等价于最大后验概率译码的条件是（
D
）。
A.离散无记忆信道
B.无错编码
C.无扰信道
D.消息先验等概
14.下列说法正确的是（
C
）。
A.等重码是线性码
B.码的生成矩阵唯一
C.码的最小汉明距离等于码的最小非0重量
D.线性分组码中包含一个全0码字
15.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0发出
u1:一个1发出
v0
:一个0收到
v1:一个1收到
则已知收到的符号，被告知发出的符号能得到的信息量是（
A
）。
A.
H(U/V)
B.
H(V/U)
C.
H(U,V)
D.
H(UV)
16.
同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（
B
）。
A.
－log36bit
B.
log36bit
C.
－log
(11/36)bit
D.
log
(11/36)bit
17.下列组合中不属于即时码的是（
A
）。
A.
{
0，01，011}
B.
{0，10，110}
C.
{00，10，11}
D.
{1，01，00}
18.已知某（6，3）线性分组码的生成矩阵，则不用计算就可判断出下列码中不是该码集里的码是（
D
）。
A.
000000
B.
110001
C.
011101
D.
111111
19.一个随即变量x的概率密度函数P(x)=
x
/2，，则信源的相对熵为（
C
）。
A.
0.5bit/符号
B.
0.72bit/符号
C.
1bit/符号
D.
1.44bit/符号
20.设有一个无记忆信源发出符号A和B，已知，发出二重符号序列消息的信源，无记忆信源熵
为（
A
）。
A.0.81bit/二重符号
B.1.62bit/二重符号
C.0.93
bit/二重符号
D
.1.86
bit/二重符号
3、
判断题
1.确定性信源的熵H(0,0,0,1)=1。
（
错
）
2.信源X的概率分布为P(X)={1/2,1/3,1/6}，对其进行哈夫曼编码得到的码是唯一的。
（
错
）
3.
离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。
（
对
）
4.非奇异的定长码一定是唯一可译码。
（
错
）
5.信息率失真函数R(D)是在平均失真不超过给定失真限度D的条件下，信息率容许压缩的最小值。
（
对
）
6.信源X的概率分布为P(X)={1/2,1/3,1/6}，信源Y的概率分布为P(Y)={1/3,1/2,1/6}，则
信源X和Y的熵相等。
（
对
）
7.互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。
（
对
）
8.对信源符号X={a1,a2,a3,a4}进行二元信源编码，4个信源符号对应码字的码长分别为K1=1，K2=2，K3=3，K3=3，满足这种码长组合的码一定是唯一可译码。
（
错
）
9.DMC信道转移概率矩阵为，则此信道在其输入端的信源分布为P(X)={1/2,1/2}时传输的信息量达到最大值。
（
错
）
10.设C
=
{000000,001011,010110,011101,100111,101100,110001,111010}是一个二元线性分组码，则该码最多能检测出3个随机错误。
（错
）
四、名词解释
1.极限熵:
2.信道容量:
3.平均自信息量:
五、计算题
1.设离散无记忆信源
其发生的消息为（202120130213001203210110321010020320011223210），
（1）
根据“离散无记忆信源发出的消息序列的自信息等于消息中各个符号的自信息之
和”，求此消息的自信息量；
（2）在此消息中平均每个符号携带的信息量是多少？
2.已知一个二元信源连接一个二元信道，如图所示。其中，。
试求：I(X,Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
3.
设输入信号的概率分布为P=(1/2,1/2)，失真矩阵为。试求Dmin，Dmax，R(Dmin)，R(Dmax)。
4.信源共有6个符号消息，其概率分布为={0.37，0.25，0.18，0.10，0.07，0.03}。
（1）对这6个符号进行二进制哈夫曼编码（给出编码过程），写出相应码字，并求出平均码长和编码效率。
（2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。
5.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件。
x0：一个0发出；x1：一个1发出
y0：一个0收到；y1：一个1收到
给定下列概率：p(x0)=1/2，p(y0/x0)=3/4，p(y0/x1)=1/2。
（1）求信源的熵H(X)；
（2）已知发出的符号，求收到符号后得到的信息量H(Y/X)；
（3）已知发出和收到的符号，求能得到的信息量H(X,Y)。
6.设DMC信道的传输情况如下图所示。
（1）试写出该信道的转移概率矩阵；
（2）求该信道的信道容量。
7.设输入信号的概率分布为P=(1/2,1/2)，失真矩阵为。试求，，，。
8.设有离散无记忆信源共有5个符号消息，其概率分布为={0.4，0.2，0.2，0.1，0.1}。
（1）对这5个符号进行二进制哈夫曼编码（给出编码过程），写出相应码字，并求出平均码长和编码效率；
（2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。
复习－15