信息熵是衡量信息不确定性的一个度量，其计算公式为：
H（X） = -∑（p（x） * log2（p（x）））
其中：
`H（X）` 表示随机变量 `X` 的信息熵。
`p（x）` 表示随机变量 `X` 取某个特定值 `x` 的概率。
`log2` 表示以2为底的对数。
`∑` 表示对所有可能的 `x` 值进行求和。
信息熵的值越大，表示随机变量 `X` 的不确定性越高，需要更多的信息来描述其状态。
例如，如果有一个事件发生的概率是 `1/3`，则其信息熵可以这样计算：
H（x） = （1/3） * log2（3） ≈ 1.585 bits
这意味着，为了描述这个事件，平均需要约1.585比特的信息