《信息论与编码技术》复习提纲复习题 本文关键词：信息论，复习题，提纲，复习，编码
《信息论与编码技术》复习提纲复习题 本文简介：《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素
《信息论与编码技术》复习提纲复习题 本文内容：
《信息论与编码技术》复习提纲
复习题纲
第0章
绪论
题纲：
I.
什么是信息？
II.
什么是信息论？
III.
什么是信息的通信模型？
IV.
什么是信息的测度？
V.
自信息量的定义、含义、性质
需掌握的问题：
1.
信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）
2.
Shannon信息论中信息的三要素是什么？
3.
通信系统模型图是什么？每一部分的作用的是什么？
4.
什么是信息测度？
5.
什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？
6.
自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？
第1章
信息论基础
㈠《离散信源》题纲：
I.
信源的定义、分类
II.
离散信源的数学模型
III.
熵的定义、含义、性质，联合熵、条件熵
IV.
离散无记忆信源的特性、熵
V.
离散有记忆信源的熵、平均符号熵、极限熵
VI.
马尔科夫信源的定义、状态转移图
VII.
信源的相对信息率和冗余度
需掌握的问题：
1.
信源的定义、分类是什么？
2.
离散信源的数学模型是什么？
3.
信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？
4.
单符号离散信源最大熵是多少？信源概率如何分布时能达到？
5.
信源的码率和信息率是什么，如何计算？
6.
什么是离散无记忆信源？什么是离散有记忆信源？
7.
离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？
8.
离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？
9.
什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？
10.
马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？
11.
马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？
12.
信源的相对信息率和冗余度是什么？如何计算？
㈡《离散信道》题纲：
I.
信道的数学模型及分类
II.
典型离散信道的数学模型
III.
先验熵和后验熵
IV.
互信息的定义、性质
V.
平均互信息的定义、含义、性质、维拉图
VI.
信道容量的定义
VII.
特殊离散信道的信道容量
需掌握的问题：
1.
信道的定义是什么？信道如何分类？信道的数学模型是什么？
2.
二元对称信道和二元删除信道的信道传输概率矩阵是什么？
3.
对称信道的信道传输概率矩阵有什么特点？
4.
根据信道的转移特性图，写出信道传输概率矩阵。
5.
先验熵、后验熵的区别？
6.
联合熵、条件熵和信息熵的关系。
7.
互信息的大小如何计算？互信息的性质是什么？
8.
联合互信息、条件互信息、互信息之间的关系是什么？
9.
平均互信息的定义是什么？平均互信息的含义？平均互信息的性质？
10.
联合平均互信息、条件平均互信息和平均互信息的关系？
11.
损失熵和噪声熵的含义是什么？维拉图表示了哪些关系式？
12.
信道的传码率和传信率（信息率）的计算方法是什么？
13.
信道容量的定义是什么？信道容量的含义如何理解？
14.
无噪无损信道、有噪无损信道、无噪有损信道、对称信道的信道容量如何计算？
㈢《连续信源和波形信道》
题纲：
I.
连续信源的定义、数学模型、绝对熵、相对熵
II.
给定条件下，连续信源的最大熵
III.
熵功率
IV.
连续信道和波形信道的信道容量
需掌握的问题：
1.
连续信源定义、数学模型是什么？
2.
连续信源熵的表达式是什么？相对熵和绝对熵的区别是什么？
3.
如何计算均匀分布、正态分布连续信源的最大熵？
4.
什么是波形信道？了解波形信道互信息、信道容量的求解思路。
5.
香农公式是什么？物理意义是什么？
第2章
无失真信源编码
题纲：
I.
基本概念
1.
编码
2.
二元码
3.
等长码
4.
变长码
5.
码的N次扩展码
6.
唯一可译码
II.
等长码
III.
变长码
IV.
无失真信源编码定理
V.
编码方法
1.
香农编码
2.
费诺编码
3.
霍夫曼编码
需掌握的问题：
1.
编码的定义及编码相关术语。
2.
信源编码的定义及目的是什么？
3.
解释二元码、等长码、变长码、唯一可译码。
4.
变长码和定长码的区别是什么？用码树描述二者的差异，能够说明变长码和定长码各自的优劣。
5.
描述香农第一定理及意义。
6.
掌握香农编码、费诺编码、霍夫曼编码的步骤及特点，会计算编码效率。
7.
了解游程编码和算术编码的思路。
第3章
信道编码
题纲：
I.
检错、纠错原理及方法、能力
II.
差错控制理论
1.
译码规则
2.
2种准则下的错误概率
III.
信道编码定理
IV.
编码方法
1.
简单的检错、纠错码
2.
线性分组码
3.
循环码
需掌握的问题：
1.
信道编码的定义及目的是什么？
2.
检错原理是什么？
3.
差错控制方法有哪些？
4.
如何确定一种编码的检错、纠错能力？
5.
汉明距离是什么？汉明重量是什么？最小码距是什么？
6.
信道编码的效率如何确定？
7.
奇偶校验码的编码规则是什么？检错、纠错能力如何？
8.
译码规则的定义是什么？
9.
最大后验准则是什么？极大似然准则是什么？这两种准则下如何计算错误概率？
10.
错误概率与损失熵之间的关系是什么？
11.
描述香农第二定理及意义。
12.
线性分组码的编码原理和校验原理是什么？
13.
循环码的编码原理和校验原理是什么？
14.
了解循环冗余校验码和卷积码的编码思路。
第4章
信息率失真函数
题纲：
V.
失真度
VI.
平均失真度
VII.
信息率失真函数
VIII.
信息率失真函数的性质
IX.
限失真信源编码定理
需掌握的问题：
1.
失真度如何表示？
2.
四种常见失真度的形式分别是什么？分别用于什么场合？
3.
平均失真度如何计算？
4.
什么是保真度准则？
5.
什么是试验信道？
6.
信息率失真函数的定义是什么？
7.
信息率失真函数和信道容量的区别和联系是什么？
8.
信息率失真函数的性质是什么？
9.
定义域Dmin,Dmax，以及相应的R(Dmin),R(Dmax)如何计算？
10.
描述香农第三定理及意义。
11.
了解预测编码和变换编码的思路。
1、
填空题
1.
设信源X包含4个不同离散消息，当且仅当X中各个消息出现的概率为___1/4___时，信源熵达到最大值，为__2__，此时各个消息的自信息量为__2
__。
2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3____个随机错，最多能
纠正__1____个随机错。
3.克劳夫特不等式是唯一可译码___存在___的充要条件。
4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是___(X;Y)=H(X)-H(X/Y)___。
5.
_信源___提高通信的有效性，_信道____目的是提高通信的可靠性，_加密__编码的目的是保证通信的安全性。
6.信源编码的目的是提高通信的
有效性
，信道编码的目的是提高通信的
可靠性
，加密编码的目的是保证通信的
安全性
。
7.设信源X包含8个不同离散消息，当且仅当X中各个消息出现的概率为__1/8__时，信
源熵达到最大值，为___3____。
8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_小___。
9.信源的冗余度来自两个方面，一是信源符号之间的__相关性__，二是信源符号分布的
__不均匀性__。
10.最大后验概率译码指的是
译码器要在已知r的条件下找出可能性最大的发码
作为译码估值
，即令
=maxP(
|r)_
__。
11.常用的检纠错方法有__前向纠错___、反馈重发和混合纠错三种。
2、
单项选择题
1.下面表达式中正确的是（A
）。
A.
B.
C.
D.
2.彩色电视显像管的屏幕上有5×105
个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。每秒传送25帧图像所需要的信道容量（C
）。
A.
50′106
B.
75′106
C.
125′106
D.
250′106
3.已知某无记忆三符号信源a,b,c等概分布，接收端为二符号集，其失真矩阵为d=,则信源的最大平均失真度为（
D
）。
A.
1/3
B.
2/3
C.
3/3
D.
4/3
4.线性分组码不具有的性质是（
C
）。
A.任意多个码字的线性组合仍是码字
B.最小汉明距离等于最小非0重量
C.最小汉明距离为3
D.任一码字和其校验矩阵的乘积cmHT=0
5.率失真函数的下限为（
B）。
A
.H(U)
B.0
C.I(U;
V)
D.没有下限
6.纠错编码中，下列哪种措施不能减小差错概率（
D
）。
A.
增大信道容量
B.
增大码长
C.
减小码率
D.
减小带宽
7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（
A
）。
A.
0bit
B.
log6bit
C.
6bit
D.
log240bit
8.下列陈述中，不正确的是（
D
）。
A.离散无记忆信道中，H（Y）是输入概率向量的凸函数
B.满足格拉夫特不等式的码字为惟一可译码
C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、
纠错能力越强
D.满足格拉夫特不等式的信源是惟一可译码
9.一个随即变量x的概率密度函数P(x)=
x
/2，，则信源的相对熵为（
C
）。
A
.
0.5bit
B.
0.72bit
C.
1bit
D.
1.44bit
10.下列离散信源，熵最大的是（
D
）。
A.
H（1/3,1/3,1/3）；
B.
H（1/2,1/2）；
C.
H（0.9,0.1）；
D.
H（1/2,1/4,1/8,1/8)
11.下列不属于消息的是（
B
）。
A.文字
B.信号
C.图像
D.语言
12.为提高通信系统传输消息有效性，信源编码采用的方法是（
A
）。
A.压缩信源的冗余度
B.在信息比特中适当加入冗余比特
C.研究码的生成矩阵
D.对多组信息进行交织处理
13.最大似然译码等价于最大后验概率译码的条件是（
D
）。
A.离散无记忆信道
B.无错编码
C.无扰信道
D.消息先验等概
14.下列说法正确的是（
C
）。
A.等重码是线性码
B.码的生成矩阵唯一
C.码的最小汉明距离等于码的最小非0重量
D.线性分组码中包含一个全0码字
15.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0发出
u1:一个1发出
v0
:一个0收到
v1:一个1收到
则已知收到的符号，被告知发出的符号能得到的信息量是（
A
）。
A.
H(U/V)
B.
H(V/U)
C.
H(U,V)
D.
H(UV)
16.
同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（
B
）。
A.
－log36bit
B.
log36bit
C.
－log
(11/36)bit
D.
log
(11/36)bit
17.下列组合中不属于即时码的是（
A
）。
A.
{
0，01，011}
B.
{0，10，110}
C.
{00，10，11}
D.
{1，01，00}
18.已知某（6，3）线性分组码的生成矩阵，则不用计算就可判断出下列码中不是该码集里的码是（
D
）。
A.
000000
B.
110001
C.
011101
D.
111111
19.一个随即变量x的概率密度函数P(x)=
x
/2，，则信源的相对熵为（
C
）。
A.
0.5bit/符号
B.
0.72bit/符号
C.
1bit/符号
D.
1.44bit/符号
20.设有一个无记忆信源发出符号A和B，已知，发出二重符号序列消息的信源，无记忆信源熵
为（
A
）。
A.0.81bit/二重符号
B.1.62bit/二重符号
C.0.93
bit/二重符号
D
.1.86
bit/二重符号
3、
判断题
1.确定性信源的熵H(0,0,0,1)=1。
（
错
）
2.信源X的概率分布为P(X)={1/2,1/3,1/6}，对其进行哈夫曼编码得到的码是唯一的。
（
错
）
3.
离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。
（
对
）
4.非奇异的定长码一定是唯一可译码。
（
错
）
5.信息率失真函数R(D)是在平均失真不超过给定失真限度D的条件下，信息率容许压缩的最小值。
（
对
）
6.信源X的概率分布为P(X)={1/2,1/3,1/6}，信源Y的概率分布为P(Y)={1/3,1/2,1/6}，则
信源X和Y的熵相等。
（
对
）
7.互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。
（
对
）
8.对信源符号X={a1,a2,a3,a4}进行二元信源编码，4个信源符号对应码字的码长分别为K1=1，K2=2，K3=3，K3=3，满足这种码长组合的码一定是唯一可译码。
（
错
）
9.DMC信道转移概率矩阵为，则此信道在其输入端的信源分布为P(X)={1/2,1/2}时传输的信息量达到最大值。
（
错
）
10.设C
=
{000000,001011,010110,011101,100111,101100,110001,111010}是一个二元线性分组码，则该码最多能检测出3个随机错误。
（错
）
四、名词解释
1.极限熵:
2.信道容量:
3.平均自信息量:
五、计算题
1.设离散无记忆信源
其发生的消息为（202120130213001203210110321010020320011223210），
（1）
根据“离散无记忆信源发出的消息序列的自信息等于消息中各个符号的自信息之
和”，求此消息的自信息量；
（2）在此消息中平均每个符号携带的信息量是多少？
2.已知一个二元信源连接一个二元信道，如图所示。其中，。
试求：I(X,Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
3.
设输入信号的概率分布为P=(1/2,1/2)，失真矩阵为。试求Dmin，Dmax，R(Dmin)，R(Dmax)。
4.信源共有6个符号消息，其概率分布为={0.37，0.25，0.18，0.10，0.07，0.03}。
（1）对这6个符号进行二进制哈夫曼编码（给出编码过程），写出相应码字，并求出平均码长和编码效率。
（2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。
5.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件。
x0：一个0发出；x1：一个1发出
y0：一个0收到；y1：一个1收到
给定下列概率：p(x0)=1/2，p(y0/x0)=3/4，p(y0/x1)=1/2。
（1）求信源的熵H(X)；
（2）已知发出的符号，求收到符号后得到的信息量H(Y/X)；
（3）已知发出和收到的符号，求能得到的信息量H(X,Y)。
6.设DMC信道的传输情况如下图所示。
（1）试写出该信道的转移概率矩阵；
（2）求该信道的信道容量。
7.设输入信号的概率分布为P=(1/2,1/2)，失真矩阵为。试求，，，。
8.设有离散无记忆信源共有5个符号消息，其概率分布为={0.4，0.2，0.2，0.1，0.1}。
（1）对这5个符号进行二进制哈夫曼编码（给出编码过程），写出相应码字，并求出平均码长和编码效率；
（2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。
复习－15
篇2：信息论与编码基础知识点20XX下
信息论与编码基础知识点2015下 本文关键词：信息论，知识点，编码，基础
信息论与编码基础知识点2015下 本文简介：信息论与编码基础知识点（仅供复习参考，不作为出卷依据）1．当代文明的三大科学支柱2．信息论发展的过程3．信息论的奠基人,代表作?4．信息理论中度量信息的基本观点5．一个通信系统中常用的编码有哪些?其目标是什么？6．信源符号自信息量的含义与计算7．信源符号间互信息量与平均互信息量的三个含义(对应公式)
信息论与编码基础知识点2015下 本文内容：
信息论与编码基础知识点
（仅供复习参考，不作为出卷依据）
1．
当代文明的三大科学支柱
2．
信息论发展的过程
3．
信息论的奠基人,代表作?
4．
信息理论中度量信息的基本观点
5．
一个通信系统中常用的编码有哪些?其目标是什么？
6．
信源符号自信息量的含义与计算
7．
信源符号间互信息量与平均互信息量的三个含义(对应公式)
8．
信源熵的三种物理含义。
9．
离散信源的联合熵、条件熵、平均互信息量的含义及相互之间的关系。
10．
平均互信息量的三种物理含义、性质及相应的公式，与信道容量、信息率失真函数的关系
11．
信源的平稳性和无记忆性的含义
12．
离散无记忆信源的信源熵、N次扩展的信源熵计算。
13．
N阶马尔科夫信源的定义
14．
低阶（1、2）马尔科夫信源的状态转移图、各状态的稳态分布概率(状态极限概率)、极限熵H∞=Hn+1
15．
信道容量的含义
16．
常见信道（无噪信道、强对称、对称、准对称）容量的计算，达到信道容量时对应信源的概率分布情况。
17．
二进制香农编码、费诺编码、哈夫曼编码方法及步骤，其编码效率的计算
18．
信息率失真函数的含义
19．
Dmax的含义
20．
二、三元离散信源的Rmax
Rmin
Dmin、Dmax计算，及等概率信源分布信息率失真函数R(D)的计算
21．
在信道编码中检错与纠错的含意是什么？
22．
最小码距?最小码距与检错、纠错的能力关系
理解相关基本概念（定理、性质）多练习课后习题（作业和讲解）
篇3：信息论与编码技术之实验
信息论与编码技术之实验 本文关键词：信息论，编码，实验，技术
信息论与编码技术之实验 本文简介：前两个是别人的，后两个是自己的，学术交流，抛砖引玉。信息论与编码实验报告样板实验室名称：S1-306实验一二维随机变量信息熵的计算教学实验报告[实验目的]掌握二变量多种信息量的计算方法。[实验要求]1．熟悉二变量多种信息量的计算方法，设计实验的数据结构和算法；2．编写计算二维随机变量信息量的书面程序
信息论与编码技术之实验 本文内容：
前两个是别人的，后两个是自己的，学术交流，抛砖引玉。
信息论与编码
实验报告样板
实验室名称：S1-306
实验一
二维随机变量信息熵的计算
教学实验报告
[实验目的]
掌握二变量多种信息量的计算方法。
[实验要求]
1．熟悉二变量多种信息量的计算方法，设计实验的数据结构和算法；
2．编写计算二维随机变量信息量的书面程序代码。
[实验内容]
离散二维随机变换熵的计算
说明：
（1）利用random函数和归一化方法构造一个二维离散随机变量（X，Y）；
（2）分别计算X与Y的熵、联合熵、条件熵：H（X）、H（Y）、H（X,Y）H（X|Y）、I（X|Y）；
（3）对测试通过的程序进行规范和优化；
（4）编写本次实验的实验报告。
[实验步骤]
实验过程中涉及的各种熵的主要公式（或定义式）：
1、离散信源熵(平均不确定度/平均信息量/平均自信息量)
2、在给定某个yj条件下，xi的条件自信息量为I(xi/yj)，X
集合的条件熵H（X/yj）为
相应地，在给定X（即各个xi）的条件下，Y集合的条件熵H(Y/X)定义为:
3、联合熵是联合符号集合
XY上的每个元素对xiyj的自信息量的概率加权统计平均值，表示X和Y同时发生的不确定度。
[实验体会]
通过本次实验，掌握了离散信源熵、条件熵、联合熵的概念和它们与信源统计分布或条件分布、联合分布之间的关系，并能进行计算。进一步加深了对各种信息熵的物理意义的理解。
附：计算信源熵、联合熵和条件熵的程序代码清单：（可写入实验报告也可不写入）
#include
#include
#include
#include
#include
using
namespace
std;
void
main()
{
int
k,n,t=0;
double
a[4][4],b=0,c=0;
srand((unsigned)time(NULL));
for(k=0;kn;
c=new
string[n];
aa(n);
huffman(a,c,n);
cout(p+right)
);
{
tmp
=(p+right);(p+right)
=(p+left);(p+left)
=
tmp;
}
while(
m_flag
<
p[left])
{
left++;
}
if(m_flag
<
p[left])
{
tmp
=(p+right);(p+right)
=(p+left);(p+left)
=
tmp;
}
}(p+left)
=
m_flag;
return
left;
}
void
myQuickSort(doublep,int
left,int
right)
{
int
mid;
if(left { mid = mySortBase(p,left,right); myQuickSort(p,left,mid-1); myQuickSort(p,mid+1,right); } } （4） main #include #include “myQuickSort.h“#include “myRand.h“#include “myLength.h“#define N 7 int main() { double p[N] = {0.20,0.19,0.18,0.17,0.15,0.10,0.01}; double q[N]; int i,j; int k; //编码 长度 double b_c; // 二 进制 数 // 生成 随机数 puts(“Rand:/n“); myRand(p,N); for(i=0; i i++) { printf(“%4.2lf/t“,p[i]); } puts(“/n“); // 排序 puts(“Sort:/n“); myQuickSort(p,0,N-1); for(i=0; i i++) { printf(“%4.2lf/t“,p[i]); } puts(“/n“); //累加 概率 puts(“Q:“); q[0] = 0; for(i=1; i i++) { q[i] = q[i-1] + p[i-1]; } for(i=0; i i++) { printf(“%4.2lf/t“,q[i]); } puts(“/n“); //输出 编码 for(i=0; i i++) { printf(“P[%d]: %4.2lf/t“,i+1,p[i]); printf(“Q[%d]: %4.2lf/t“,i+1,q[i]); k = myLength(p[i]); b_c = 2*q[i]; for(j=0; j= 1) { putchar( 1 ); b_c -= 1; } else { putchar( 0 ); } b_c= 2; } puts(“/n“); } return 0; }