信息熵是怎么来的？——从“问问题”到香农公式的直觉推导
为什么需要一把“信息尺子”
我们每天都说“这条消息信息量很大”“那句话啥也没说”，但“信息”到底有多少？能不能像称体重、量身高那样，给信息一个确切的数字？
1948年，克劳德·香农给出了答案——信息熵。但这不是拍脑袋想出来的公式，而是从几个几乎“废话”般的直觉出发，一步步推导出来的。这篇文章就带你走一遍这条推导之路，让你不仅知道公式长什么样，更知道它为什么长这样。
第1步：从“猜卡片”获得原始直觉
想象你有一堆编号卡片（1~8），要找出某一张，每次只能问“是/否”问题。怎样问最快？
答案很朴素：每次把剩余可能性对半分。8张卡，问3次；16张卡，问4次。每问一次，不确定性减半，你就获得了1个单位的“信息”。
这个例子告诉我们：
信息的价值 = 它消除了多少不确定性。
但“不确定性”怎么量化？总不能说“这条消息有5斤信息”吧。我们需要一个数学公式。