笔记汇总

概念

信息论，是一种估算 每单位能传送的最大信息量 的方法。

其核心就是 概率 及 信息熵 的动态计算以及动态更新的答案，

为了让 信息量的表示 更加直观，所以我们用 对数 来表达信息熵的值。

$I = log_2(\frac{1}{p})$

注意 $p$ 是指概率，及符合要求的数占所有数的比例。

而取它的倒数，可以理解成 一个数正确的可能 变成了 多少个中有一个正确

所以，这个公式表达的是 可能性减半了多少次，而这个每次的单位，用 $bit$ 表示。

注意的是，我们通常对熵的运用都是 动态的，

所以我们需要在 不断缩小的状态空间 中选 熵最大的。

同时，实际运用中我们还需要按要求 增加权重，以 避免 不合理的结果。

发现了吗，我们还可以得出 剩余可能性 或者说 不确定性。

最后一点，就是期望值了。

在每一步操作中，我们都有一个期望值，而这个期望值的存在正是为了剪去不合理结果。

通常我们都是选择最大化信息熵和最可能为答案的权值之和最大的一个。

同时，我们也可以估计在非答案时，它可以带来的最大期望值（非信息熵）效应是多少。

这是可以打表处理的。

以上就是最基础的信息论的内容了。