一、 参考书《数据压缩导论（第4版）》 Page 66
2（a）（b），4，5
2.利用程序huff_enc和huff_dec进行以下操作（在每种情况下，利用由被压缩图像生成的码本）。
(a)对Sena、Sinan和Omaha图像进行编码。
(b)编写一段程序，得到相邻像素之差，然后利用huffman对差值图像进行编码。
| 图像名 | 压缩前文件大小 | 压缩后文件大小 | 压缩比 |
| Sena | 64KB | 56.1KB | 87.66% |
| Sinan | 64KB | 60.2KB | 94.1% |
| Omaha | 64KB | 57.0KB | 89.1% |
4.一个信源从符号集A={a1,a2,a3,a4,a5}中选择字母，概率为P(a1)=0.15,P(a2)=0.04,P(a3)=0.26,P(a4)=0.05,P(a5)=0.50。
(a)计算这个信源的熵。
(b)求这个信源的霍夫曼码。
(c)求(b)中代码的平均长度及其冗余度。
解：(a)H=-0.15*log20.15-0.04*log20.04-0.26*log20.26-0.05*log20.05-0.50*log20.50
=0.547(bits)
(b)a1,a2,a3,a4,a5的霍夫曼码分别为:a1=110,a2=1111,a3=10,a4=1110,a5=1
(c)平均长度：L=0.15*3+0.04*4+0.26*2+0.05*4+0.50*1
=1.83(bits)
冗余度：L-H=1.282(bits)
5.一个符号集A={a1, a2, a3, a4,}，其概率为P（a1）=0.1，P（a2）=0.3，P（a3）=0.25，P（a4）=0.35，使用以下过程找出一种霍夫曼码：
（a）本章概述的第一种过程：
（b）最小方差过程。
解释这两种霍夫曼码的区别。
解：(a) (1)将信源信号按出现概率的大小从大到小进行排列。
(2)将两个最小的概率组合相加，并继续这一步骤，始终将较高的概率分支放在上部，直到概率达到1为止。
(3)对每对组合中的上边一个指定为1，下边一个指定为0（或相反：对上边一个指定为0，下边一个指定为1），
但必须指定要一致，就是全部上边为1，下边为0，或者全部上边为0，下边全部为1;
(4)画出由概率1处到每个信源符号概率的路径，顺序记下沿路径的1和0，所得即为该符号的霍夫曼码字。
所以霍夫曼码为：
| 符号 | 编码 |
| a1 | 000 |
| a2 | 01 |
| a3 | 001 |
| a4 | 1 |
平均码长为：L=0.1*3+0.3*2+0.25*3+0.35*1
=2bits/symbol
最小方差为：S2=0.1*(3-2)2+0.3*(2-2)2+0.25*(3-2)2+0.35*(1-2)2
=0.70
(b)同(a)，选择方差小的进行编码，所以霍夫曼码为：
| 符号 | 编码 |
| a1 | 00 |
| a2 | 10 |
| a3 | 01 |
| a4 | 11 |
平均码长为：L=0.1*2+0.3*2+0.25*2+0.35*2
=2bits/symbol
最小方差为：S2=0.1*(2-2)2+0.3*(2-2)2+0.25*(2-2)2+0.35*(2-2)2
=0
在码长相同的情况下，方差小的更好一些，因此，第二种更加好一些。
二、参考书《数据压缩导论（第4版）》Page 30
6.在本书配套的数据中有几个图像和语音文件。
(a) 编写一段程序，计算其中一些图像和语音文件的一阶熵。
(b) 选择一个图像文件，计算其二阶熵。试解释一阶熵与二阶熵的差别。
(c) 对于(b)中所有的图像文件，计算其相邻像素之差的熵，试解释你的发现。
解：(a)一些图像和语音文件的一阶熵如下图所示：
| 文件名 | 一阶熵 | 二阶熵 | 差分熵 |
| BERK | 7.151537 | 6.705169 | 8.976150 |
| EARTH | 4.770801 | 2.568358 | 3.962697 |
| GABE | 7.116338 | 6.654578 | 8.978236 |
| OMAHA | 6.942426 | 4.488626 | 6.286834 |
| SENA | 6.834299 | 3.625204 | 3.856899 |
| SENSIN | 7.317944 | 4.301673 | 4.541547 |
(b)我看了SENA这个图像，可以看出它的二阶熵比一阶熵小。
(c)从上图可以看出二阶熵比一阶熵小，差分熵则在二者之间。