信息论与编码

信息论的基本问题—信息的度量 无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 限失真信源编码定理—香农第三定理 信源编码 信道编码 加密编码 1、信息论的奠基人香农及其重要著作； 2、信息、消息、信号的区别和联系 3、通信系统的模型各主要功能模块（包括信源、信道、信宿、信源编译码器、信道编译码器）及其作用 4.重点理解信息的定义 5.信息论的分类：狭义信息论和广义信息论。 （一） 信息论的形成与发展 信息论的奠基人：香农 信息时代的里程碑： 1948年 香农《通信的数学理论》(A mathematical theory of communication)。第一次提出了信息量的概念，并应用数理统计的方法来研究通信系统，创立了信息论。 三大定理 无失真信源编码定理（第一极限定理） 信道编码定理（第二极限定理） 限失真信源编定理（第三极限定理） （二）信息、消息和信号的区别与联系信息 是事物运动状态或存在方式。消除不确定性的东西。 消息 是指包含有信息的语言、文字和图像等 信号 是消息的物理体现。 信号是信息的载荷子或载体，是物理性的。 同一信息，可以采用不同的信号形式 (比如文字、语言、图象等）来载荷； 同一信号形式，比如 “0”与 “1”可以表达不同形式的信息，比如无与有、断与通、低与高 (电平) 等。 在通信系统中，实际传输的是信号，但本质内容的是信息。信息包含在信号之中，信号是信息的载体。通信的结果是消除或部分消除不确定性，从而获得信息。 信源：向通信系统提供消息u的人和机器。发送消息的源 信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。 信道：传输信息的物理媒介 信源编码器与译码器 信源编码器 符号转换； 压缩信源的冗余度,提高通信系统传输效率； 包括无失真信源编码、限失真信源编码。 信源译码器 把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程 信道编码器与译码器 信道编码 提高信息传送的可靠性。 在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力 信道译码器 具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。 熟练掌握：各种信源的分类及其定义；自信息量、离散信源熵、互信息、信息不增性的定义概念、并能进行相关计算 熵的性质(非负性、对称性、确定性、香农辅助定理、最大熵定理、条件熵小于无条件熵)  p28 掌握互信息量和熵之间的关系. 离散平稳无记忆信源X的N次扩展信源的熵等于信源X的熵的N倍 冗余度 熵的理解 猜测一个事件需要的信息量 事件本身的不确定性 知道某事件后消除的不确定性：知道前，具有不确定性H(X),知道后不确定性为0，所以消除的不确定性即为H(X)。 告诉我们某事件后提供的信息量,解释同上。 要告诉我们这个事件，需要发送的信息长度。 条件熵的理解 注意：条件熵H(X|Y), H(X|yi),在知道事件的前后，均已知该条件（这个条件可以是具体的yi，也可以是随机变量Y。） 事件本身的不确定性H(X),但是知道事件Y或yi后，X的不确定性减少为H(X|Y), 所以在知道Y的情况下，告诉你关于X的信息，获得的信息量减少为H(X|Y) 。 知道前，具有不确定性为H(X|Y),知道后不确定性为0，所以消除的不确定性即为为H(X|Y)。 对应可以参考对熵的解读来解读一些其他的提问，比如猜测的时候的信息量。 平均互信息量的理解 已知事件Y后，X的不确定性由H(X)减少为H(X|Y), 所以在知道Y的情况下，告诉你关于X的信息量为H(X)-H(X|Y), 这个量即为平均互信息量。 对应可以参考对熵的解读来解读一些其他的提问，比如猜测的时候的信息量。 信道容量 信道容量： 假定信道固定的前提下,选择一种试验信源使信息传输率最大。 它所反映的是信道传输信息的能力,是信道可靠传送的最大信息传输率。 一旦找到了信道容量,它就与信源不再有关,而是信道特性的参量,随信道特性的变化而变化 不同的信道其信道容量不同。 信息率失真函数 假定信源给定的情况下,用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。 它反映的是信源可以压缩的程度,是在满足一定失真度要求下信源可压缩的最低值。 率失真函数一旦找到,就与求极值过程中选择的试验信道不再有关,而只是信源特性的参量 不同的信源其R(D)不同。 研究信道容量： 充分利用已给信道,使传输的信息量最大,而发生错误的概率任意小。 研究信息率失真函数： 解决在已知信源和允许失真度D的条件下,使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息,以提高通信的 有效性。 第五章 信源编码 1、编码的定义和分类：信源编码、信道编码、安全编码 2、信源编码的目的 3、唯一可译码的特殊结论 4、熟练掌握三种能获得最佳变长编码的方法：香农编码、费诺编码、哈夫曼编码，并且能够进行相关计算，求平均码长，编码效率等； 5.香农第一，第三定理 第六章 信道编码 1、信道编码的目的 2、纠错码的分类：不同的分类标准，得到不同的分类，3、从编码定理的公式出发分析使得差错概率尽可能小可以采取的措施，纠错编码的基本思路 4、掌握两种译码方法：最优译码和最大似然译码方法 5、了解如下线性分组码的相关概念：线性分组码的生成矩阵、校验矩阵、伴随式和标准阵列译码，能够求生成矩阵、校验矩阵，最小距离。 6.码距相关概念、纠错能力相关定理、汉明码。 第七章 加密编码 1、加密编码的基本概念，基本分类 2、加密编码中的熵概念，以及由此引出的结论。香农信息论对于加密编码的启示。 复习方法 1、作业 2、创新题-创新，思考与理解 3、对于关键内容需要有自己的理解 4、计算要亲自动手，不要手高眼低 5、每一章前面的概念、定义和分类要掌握 6、三大定理 可能的题型 填空 选择题 名词解释与理解 计算题 论述题 创新题