信息论与编码答案 本文关键词：信息论，编码，答案
信息论与编码答案 本文简介：第二章信源及信源熵2-1(4)2-22-32-42-5(1,2)(2,1)共两种(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)共六种2-60—14个1---13个2----12个3---6个P=I=2-72-8“－”用三个脉冲“●”用一个脉冲(1)I(●)=I(－)＝(2)H=2.9(
信息论与编码答案 本文内容：
第二章
信源及信源熵
2-1
(4)
2-2
2-3
2-4
2-5
(1,2)
(2,1)
共两种
(1,6)
(6,1)
(2,5)
(5,2)
(3,4)
(4,3)
共六种
2-6
0—14个
1---13个
2----12个
3---6个
P=
I=
2-7
2-8
“－”
用三个脉冲
“●”用一个脉冲
(1)
I(●)=
I(－)＝
(2)
H=
2.9
(2)
P(黑/黑)=
P(白/黑)=
H(Y/黑)=
(3)
P(黑/白)=
P(白/白)=
H(Y/白)=
(4)
P(黑)=
P(白)=
H(Y)=
2-10
(1)
H(色)=
(2)
P(色数)=
H(色数)=
(3)
H(数/色)=
H(色数)-
H(色)=
2-11
(1)
H(XY)=
(2)
P=
得到
H(Y)=
(3)
H(X/Y)=H(XY)-H(Y)=
2-12
(1)
(2)
(3)
2-13
P(i)=
P(ij)=
H(IJ)=
2-14
(1)
P(ij)=
P(i/j)=
(2)
方法1:
=
方法2:
2-15
P(j/i)=
2-16
(1)
白
黑
1
1
(2)
设最后平稳概率为W1,W2
得W1=07
W2=0.3
H(Y/黑)=
H(Y/白)=
H(Y/X)=W1
H(Y/黑)+
W2
H(Y/白)=
白
黑
2-17
(1)
(2)
2-24
(1)
H(X)=
(2)
=
(3)
2-25
解方程组
即
解得
W1=0.4
W2=0.6
2-26
P(j/i)=
解方程组
求得W=
1/2
S1
1/3
1/3
1/2
2/3
S3
S2
2/3
2-27
求平稳概率
符号条件概率
状态转移概率
解方程组
得到
W=
2-28
(1)
求平稳概率
P(j/i)=
解方程组
得到
(2)
信源熵为:
2-29
P(j/i)=
解方程组
得到W1=,W2=,W3=
2-30
P(i/j)=
解方程组
得W1=W2=W3=
信源熵为
2-31
P(X1)=
P(j/i)=
P(X1X2)=
（1）
a.
b.
求H(X2/X1)有两种方法：
方法1：
方法2：H(X2/X1)=∑P(x1x2)log(x2/x1)
=
c.
求H(X3/X2)
P(X2)=
则
方法1：
P(X3/X2)=
)
+
+
=
方法2：P(X3/X2)=
d.
最后
＝
（2）首先求解稳定情况下的概率
解方程组
得到
W1
）＋W2
＋W3
=
(3)
不做
2-32
(1)
P(j/i)=
求解方程组
得p(0)=p(1)=p(2)=
(2)
(3)
H(X)=log(3)=1.58
(4)
=
P=
当p=时达到最大值1.58
当
时
当
时
2-33
(1)
解方程组:
得p(0)=p(1)=p(2)=
(2)
(3)
当p=0或p=1时
信源熵为0
第三章
无失真信源编码
3-1
3-2
(1)
因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms,所以每个字母用10ms
当信源等概率分布时,信源熵为H(X)=log(4)=2
平均信息传递速率为bit/ms=200bit/s
(2)
信源熵为
H(X)=
=0.198bit/ms=198bit/s
3-3
与上题相同
3-5
(1)
H(U)=
(2)
每个信源使用3个二进制符号,出现0的次数为
出现1的次数为
P(0)=
P(1)=
(3)
(4)
相应的香农编码
信源符号xi
符号概率pi
累加概率Pi
-Logp(xi)
码长Ki
码字
x1
1/2
0
1
1
0
x2
1/4
0.5
2
2
10
x3
1/8
0.75
3
3
110
x4
1/16
0.875
4
4
1110
x5
1/32
0.938
5
5
11110
x6
1/64
0.969
6
6
111110
x7
1/128
0.984
7
7
1111110
x8
1/128
0.992
7
7
11111110
相应的费诺码
信源符号xi
符号概率pi
第一次分组
第二次分组
第三次分组
第四次分组
第五次分组
第六次分组
第七次分组
二元码
x1
1/2
0
0
x2
1/4
1
0
10
x3
1/8
1
0
110
x4
1/16
1
0
1110
x5
1/32
1
0
11110
x6
1/64
1
0
111110
x7
1/128
1
0
1111110
x8
1/128
1
11111110
（5）香农码和费诺码相同
平均码长为
编码效率为：
3-7
（1）
pi=
累加概率为
Pi=
累加概率分别为
符号
x1
x1
x2
x3
x4
x5
x6
x7
…
概率
1/2
1/4
1/8
1/16
1/32
1/64
1/128
1/256
…
累加概率
0
0.5
0.75
0.875
0.938
0.969
0.984
0.992
…
码长
1
2
3
4
5
6
7
8
二元码
0
10
110
1110
11110
111110
1111110
11111110
…
（2）信源的信息量为
平均码长为：
码字的平均信息传输率为
R＝bit/码
（3）编码效率
R＝100％
3-10
（1）H(X)＝
（2）
信源符号xi
符号概率pi
编码过程
编码
码长
x1
0.37
0.37
0.37
0.38
0.62
1
00
2
x2
0.25
0.25
0.25
0.37
0.38
01
2
x3
0.18
0.18
0.20
0.25
11
2
x4
0.10
0.10
0.18
100
3
x5
0.07
0.10
1010
4
x6
0.03
1011
4
3-11
（1）信源熵
（2）香农编码：
信源符号xi
符号概率pi
累加概率Pi
-Logp(xi)
码长Ki
码字
x1
0.32
0
1.644
2
00
x2
0.22
0.32
2.184
3
010
x3
0.18
0.54
2.474
3
100
x4
0.16
0.72
2.644
3
101
x5
0.08
0.88
3.644
4
1110
x6
0.04
0.96
4.644
5
11110
平均码长：
编码效率为
（3）
费诺编码为
信源符号xi
符号概率pi
1
2
3
4
编码
码长
x1
0.32
0
0
00
2
x2
0.22
1
01
2
x3
0.18
1
0
10
2
x4
0.16
1
0
110
3
x5
0.08
1
0
1110
4
x6
0.04
1
1111
4
平均码长为：
编码效率：
（4）哈夫曼编码
信源符号xi
符号概率pi
编码过程
编码
码长
x1
0.32
0.32
0.38
0.40
0.60
1
01
2
x2
0.22
0.22
0.32
0.38
0.40
10
2
x3
0.18
0.18
0.22
0.32
11
2
x4
0.16
0.16
0.18
000
3
x5
0.08
0.12
0010
4
x6
0.04
0011
4
平均码长为：
编码效率：
3-12
（1）
信源熵
信息传输速率2.552bit/s
(2)
信源符号xi
符号概率pi
编码过程
编码
码长
x1
0.4
0.4
0.4
0.4
0.4
0.4
0.6
1
1
x2
0.18
0.18
0.18
0.19
0.23
0.27
0.4
001
3
x3
0.1
0.1
0.13
0.18
0.19
0.23
011
3
x4
0.1
0.1
0.1
0.13
0.18
0000
4
x5
0.07
0.09
0.1
0.1
0100
4
x6
0.06
0.07
0.09
0101
4
x7
0.05
0.06
00010
5
x8
0.04
00011
5
(3)
香农编码
信源符号xi
符号概率pi
累加概率Pi
-Logp(xi)
码长Ki
码字
x1
0.4
0
1.322
2
00
x2
0.18
0.4
2.474
3
011
x3
0.1
0.58
3.322
4
1001
x4
0.1
0.68
3.322
4
1010
x5
0.07
0.78
3.837
4
1100
x6
0.06
0.85
4.059
5
11011
x7
0.05
0.91
4.322
5
11101
x8
0.04
0.96
4.644
5
11110
平均码长:
(4)
费诺编码：
信源符号xi
符号概率pi
码
码长
x1
0.4
0
0
00
2
x2
0.18
1
01
2
x3
0.1
1
0
0
100
3
x4
0.1
1
101
3
x5
0.07
1
0
0
1100
4
x6
0.06
1
1101
4
x7
0.05
1
0
1110
4
x8
0.04
1
1111
4
3-14
信源符号xi
符号概率pi
编码过程
编码
码长
x1
1/3
1/3
1/3
1/3
1/3
2/3
00
2
x2
1/3
1/3
1/3
1/3
1/3
1/3
01
2
x3
1/9
1/9
1/9
2/9
1/3
100
3
x4
1/9
1/9
1/9
1/9
101
3
x5
1/27
2/27
1/9
111
3
x6
1/27
1/27
1100
4
x7
1/27
1101
4
第四章
限失真信源编码
4-1
失真矩阵为
4-2
信源熵为
Dmax
=min{,,,}
R(Dmax)=0
Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2
只要满足p(y1)+p(y2)+p(y3)+p(y4)=1在[0,1]区间可以任意取值。
第五章
信道编码
5-1
5-2
(1)
接收端的不确定度为:
(2)
H(Y/X)=
=
(3)
=0
得到
得
5-3
0919*1000=919bit/s
5-5
(1)
5-6
(1)
条件概率
，联合概率，后验概率
，
，
（2）
H(Y/X)=
（3）
当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为：
P(x1/y2)=，P(x2/y2)=，P(x3/y2)=
其中错误概率为：
Pe=P(x1/y2)+P(x3/y2)=
（4）平均错误概率为
（5）仍为0.733
（6）此信道不好
原因是信源等概率分布，从转移信道来看
正确发送的概率x1-y1的概率0.5有一半失真
x2-y2的概率0.3有失真严重
x3-y3的概率0
完全失真
（7）
H(X/Y)=
――――――――――――――――――――――――――
课外习题
1．
设某信道，其信道矩阵为
若信道的输入符号a1,a2,a3先验等概，
（1）
若使平均错误译码概率最小,请选择译码函数。
（2）
求出此错误译码概率Pemin。
解：(1)
因为先验等概,所以选择最大似然译码准则
F(b1)=a1
F(b2)=a3
F(b3)=a2
(2)
Pemin=
2.
有二进制对称信道
p=0.01
=0.99
(1)
采用最大似然译码准则确定译码函数,(2)
求出最小平均错误译码概率。
(3)
对该信道进行扩展,采用简单重复编码，000,111,采用最大似然译码准则确定译码规则。
(4)
求出扩展后的最小平均错误译码概率。
(5)
求出扩展后的信道传输率
解：
（1）P(j/i)=
译码函数为F(b1)=a1，F(b2)=a2
(2)
Pemin=(0.01+0.01)/2=0.01
(3)
译码函数
F(β1)=
F(β2)=
F(β3)=
F(β4)=000=α1
F(β5)=
F(β6)=
F(β7)=
F(β8)=000=α2
（4）平均错误最小概率为
（5）R==
3．
αi，βj是两个码符号{0,1}组成的符号序列
，求αi，βj
之间的汉明距离
解：D(αi，βj)=
4．
W:{000,001,010,100,011,110,101,111}的最小汉明距离
解：Dmin=1
5．
设有一离散信道，其信道矩阵为
(1)
当信源X的概率分布为p(a1)=2/3，p(a2)=p(a3)=1/6时，按最大后验概率准则选择译码函数，并计算其平均错误译码概率Pemin
(2)
当信源是等概率是分布时，选择最大似然译码准则选择译码函数，并计算其平均错误译码概率Pemin。
解：
(1)
联合概率：
后验概率
根据最大后验概率准则
F(b1)=a1，F(b2)=a1，F(b3)=a1
最小错误译码概率为
(2)
当信源是等概率分布时
采用最大似然译码准则F(b1)=a1，F(b2)=a2，F(b3)=a3
6．
设离散无记忆信道的输入符号集X:{0,1}，输出符号集Y:{0,1,2}，信道矩阵为
P=
若某信源输出两个等该消息x1，x2，现在用信道输入符号集对x1，x2进行编码，W1=00，W2=11代表x1，x2。按最大似然准则写出译码函数，并求出最小平均错误译码概率Pemin。
解：
(1)
选择译码函数
F(b1)=F(b2)=F(b3)=F(b4)=F(b7)=x1
F(b5)=F(b6)=F(b8)=F(b9)=x2
(3)
7．
设分组码（n,k）中，n=6，n=3，并按下列方程选取字中的码字。
求信息序列(a1a2a3)变换成六位的八个码字，并求出编码效率。
解：
信息序列
码字
(a1a2a3)
(c1c2
c3c4c5c6)
000
000000
001
001011
010
010101
100
100110
011
011110
101
101101
110
110011
111
111000
编码效率