寒夜雨 - 【数学】从熵到互信息量 的评论
引子在最近的工作中，用到了互信息量，但是我对这些知识已经忘记了，这次就来一个比较系统的梳理。熵信息论中的熵，和我们中学学的热力学的熵不是一个概念。在热力学中，熵用于衡量「系统的混乱程度」，比如过...