吉布斯不等式是由约西亚·吉布斯在19世纪提出的重要不等式。在信息论和概率论中，它是法诺不等式和讯号源编码定理证明的基础。吉布斯不等式表明，对于任意两个概率分布P和Q，若它们的概率值均在(0,1]区间内且总和为1，则它们的满足特定的不等式关系。
详解
吉布斯不等式说明：若概率分布P和Q满足条件，且，则有：
，
等号成立当且仅当。这个不等式也可以用来衡量两个概率分布之间的差异，即相对熵或KL散度。
证明
吉布斯不等式等价于：
，
其中表示P和Q之间的相对熵。证明最右的项小于或等于0的方法有几种，其中一种是利用对数函数的性质：已知，等号成立当且仅当。因此，我们有：
。
。
引理
吉布斯不等式的一个重要应用是在熵的最大化问题中。对于n个变数的概率分布P，其熵的最大值是：
。
这表明，在所有可能的概率分布中，均匀分布的熵是最大的。