信息熵很有用，就拿我的老本行反病毒来说，它是静态病毒特征的常见组成部分。信息熵的计算公式很简单：
$ Entropy=-sum_{i=1}^{n}P(X_{i})log_{2}P(X_{i}) $
其中，$ P(X_{i}) $是随机变量$X_{i}$出现的概率，这里熵的单位是bit。通常，我们用$C(X_{i})$表示$X_{i}$出现的次数，$T=sum_{i=1}^{n}C(X_{i})$表示观察次数的总和，那么：
$ Entropy=-sum_{i=1}^{n}frac{C(X_{i})}{T}log_{2}frac{C(X_{i})}{T} $
根据这个公式，最直接也是最常见的求熵程序类似于：
double entropy(int *counts, int n, int total) { double sum = 0; double p; for(int i = 0; i < n; i++){ if(counts[i] > 0){ p = (double) counts[i] / total; sum -= p * log(p); } } return sum / log(2.0); }
比如，要计算某段内存数据的熵，一般是这样调用entropy函数的：
double entropy_data(unsigned char *data, int size) { int counts[256]; memset(counts, 0, sizeof(int) * 256); for(int i = 0; i < size; i++) counts[data[i]]++; return entropy(counts, 256, size); }
如果内存数据里的字节是均匀分布的（比如随机字节序列），那么熵值接近于8。反之，某几个字节大量重复出现时，熵值接近于0。在病毒特征中，特定文件数据的熵值是判断文件是否经过压缩加密的重要指标。
在实际应用中，我们对熵的精度要求并不高，15个有效位的double乃至7个有效位的float都显得有些“浪费”，而浮点运算又使得熵的计算速度不敢恭维。那么，是否可以在牺牲部分精度的前提下，快速计算近似熵值呢？答案是肯定的。经过几天的琢磨，终于写了一个出来。
在贴出代码之前，先看一下计算100万次熵值的用时对比数据（单位：ms）。测试环境：i7-3520M @2.9GHz, 8GB RAM, Win7 SP1 64-bit。
| x86 编译 | x64 编译 | |
| entropy | 4575.6 | 9851.5 |
| fast_entropy | 677.1 | 405.6 |
x86版本的fast_entropy速度大约是entropy的6倍，x64版本的fast_entropy速度是entropy的24倍。结果精度方面，fast_entropy一般可以精确至小数点后3到4位，严格的误差分析还没有做，有时间会补上。
fast_entropy用了整数运算来替代浮点运算，并应用了IEEE浮点数存储格式的技巧，得以用整数运算近似Log运算。之所以在x64下表现更好，是因为64-bit整数操作在x64上更快。
好了，上代码！
static int _u[256] = { 0xc0801c36, 0xc0805429, 0xc0808b65, 0xc080c1eb, 0xc080f7bf, 0xc0812cdf, 0xc081614f, 0xc081950f, 0xc081c821, 0xc081fa86, 0xc0822c3f, 0xc0825d4d, 0xc0828db3, 0xc082bd71, 0xc082ec88, 0xc0831af9, 0xc08348c7, 0xc08375f1, 0xc083a27a, 0xc083ce62, 0xc083f9ab, 0xc0842455, 0xc0844e63, 0xc08477d4, 0xc084a0aa, 0xc084c8e6, 0xc084f08a, 0xc0851796, 0xc0853e0c, 0xc08563ec, 0xc0858937, 0xc085adef, 0xc085d215, 0xc085f5a9, 0xc08618ad, 0xc0863b21, 0xc0865d07, 0xc0867e60, 0xc0869f2c, 0xc086bf6c, 0xc086df22, 0xc086fe4e, 0xc0871cf2, 0xc0873b0e, 0xc08758a2, 0xc08775b1, 0xc087923b, 0xc087ae40, 0xc087c9c2, 0xc087e4c1, 0xc087ff3f, 0xc088193c, 0xc08832b9, 0xc0884bb7, 0xc0886436, 0xc0887c38, 0xc08893bd, 0xc088aac6, 0xc088c155, 0xc088d768, 0xc088ed03, 0xc0890224, 0xc08916cd, 0xc0892aff, 0xc0893ebb, 0xc0895200, 0xc08964d1, 0xc089772d, 0xc0898916, 0xc0899a8b, 0xc089ab8e, 0xc089bc20, 0xc089cc41, 0xc089dbf2, 0xc089eb34, 0xc089fa06, 0xc08a086b, 0xc08a1662, 0xc08a23ec, 0xc08a310a, 0xc08a3dbc, 0xc08a4a04, 0xc08a55e1, 0xc08a6155, 0xc08a6c60, 0xc08a7702, 0xc08a813d, 0xc08a8b10, 0xc08a947d, 0xc08a9d84, 0xc08aa626, 0xc08aae62, 0xc08ab63b, 0xc08abdb0, 0xc08ac4c2, 0xc08acb71, 0xc08ad1be, 0xc08ad7aa, 0xc08add35, 0xc08ae260, 0xc08ae72b, 0xc08aeb97, 0xc08aefa4, 0xc08af353, 0xc08af6a4, 0xc08af998, 0xc08afc30, 0xc08afe6b, 0xc08b004b, 0xc08b01d0, 0xc08b02fa, 0xc08b03ca, 0xc08b0440, 0xc08b045e, 0xc08b0422, 0xc08b038f, 0xc08b02a4, 0xc08b0161, 0xc08affc8, 0xc08afdd9, 0xc08afb94, 0xc08af8f9, 0xc08af609, 0xc08af2c5, 0xc08aef2d, 0xc08aeb42, 0xc08ae703, 0xc08ae271, 0xc08add8e, 0xc08ad858, 0xc08ad2d1, 0xc08accf9, 0xc08ac6d0, 0xc08ac057, 0xc08ab98e, 0xc08ab276, 0xc08aab0f, 0xc08aa35a, 0xc08a9b56, 0xc08a9305, 0xc08a8a66, 0xc08a817a, 0xc08a7841, 0xc08a6ebd, 0xc08a64ec, 0xc08a5ad0, 0xc08a5069, 0xc08a45b8, 0xc08a3abc, 0xc08a2f76, 0xc08a23e6, 0xc08a180d, 0xc08a0bec, 0xc089ff81, 0xc089f2cf, 0xc089e5d5, 0xc089d893, 0xc089cb0a, 0xc089bd3b, 0xc089af25, 0xc089a0c8, 0xc0899227, 0xc089833f, 0xc0897413, 0xc08964a2, 0xc08954ec, 0xc08944f2, 0xc08934b5, 0xc0892434, 0xc089136f, 0xc0890268, 0xc088f11f, 0xc088df93, 0xc088cdc5, 0xc088bbb6, 0xc088a965, 0xc08896d4, 0xc0888401, 0xc08870ef, 0xc0885d9c, 0xc0884a09, 0xc0883637, 0xc0882226, 0xc0880dd5, 0xc087f946, 0xc087e479, 0xc087cf6e, 0xc087ba24, 0xc087a49e, 0xc0878eda, 0xc08778d9, 0xc087629b, 0xc0874c21, 0xc087356b, 0xc0871e78, 0xc087074b, 0xc086efe1, 0xc086d83d, 0xc086c05e, 0xc086a844, 0xc0868ff0, 0xc0867762, 0xc0865e9a, 0xc0864598, 0xc0862c5e, 0xc08612ea, 0xc085f93d, 0xc085df58, 0xc085c53a, 0xc085aae4, 0xc0859057, 0xc0857592, 0xc0855a95, 0xc0853f61, 0xc08523f7, 0xc0850855, 0xc084ec7e, 0xc084d070, 0xc084b42c, 0xc08497b2, 0xc0847b03, 0xc0845e1e, 0xc0844105, 0xc08423b6, 0xc0840633, 0xc083e87c, 0xc083ca90, 0xc083ac71, 0xc0838e1d, 0xc0836f96, 0xc08350dc, 0xc08331ee, 0xc08312ce, 0xc082f37b, 0xc082d3f5, 0xc082b43d, 0xc0829453, 0xc0827437, 0xc08253ea, 0xc082336b, 0xc08212ba, 0xc081f1d9, 0xc081d0c7, 0xc081af83, 0xc0818e10, 0xc0816c6c, 0xc0814a98, 0xc0812894, 0xc0810660, 0xc080e3fd, 0xc080c16b, 0xc0809ea9, 0xc0807bb8, 0xc0805899, 0xc080354a, 0xc08011ce, }; static inline long long _lxlogx(int x) { float f = (float)x; int i = *(int *)&f; i += _u[(i & 0x007F8000) >> 15]; return (long long)i * x; } double fast_entropy(int *counts, int n, int total) { long long s = 0; int i, c; for(i = 0; i < n; i++) { if(c = counts[i]) s -= _lxlogx(c); } s += _lxlogx(total); s /= total; return 0.00000011920929 * s; }