文章插图
两种抛硬币试验都有相同的熵，即H(0.8, 0.2) = H(0.2, 0.8) 。
更通用的形式，对于个结果的试验，我们有：
实际上这对于有任何数量结果的试验都适用 。我们可以以任意的方式调整参数的顺序，而所有的结果都是一样的 。
总结回顾一下，香农熵是一种不确定性的度量 。
它被广泛的适用，因为它满足了我们想要的一些标准（同时也是因为我们生活中充满了不确定性） 。唯一性定理告诉我们，只有一个函数族具有我们想要的四种基本性质 。香农熵是这个函数族的一个很自然的选择 。
熵的性质有（1）对于均匀分布有更大的熵；（2）对于独立事件熵是可加的；（3）具有非零概率的结果数量增加，熵也会增加；（4）连续性；（5）非负性；（6）确定事件的熵为0；（7）参数排列不变性 。
【熵增熵】via TowardsDatascience，雷锋网 AI 科技评论编译
推荐阅读
- 2021年3月5日学雷锋志愿服务四个100先进典型事迹材料
- 学雷锋的精神名言
- 关于雷锋的名言有哪些
- 雷锋助人为乐的语录
- 有关赞美雷锋的格言
- 写雷锋叔叔作文300字
- 人教版小学二年级下册语文第6课《雷锋叔叔，你在哪里》特级教师辅导教学视频
- 雷锋叔叔你在哪里板书如何设计？
- 《雷锋叔叔,你在哪里》朗读技巧
- 我身边的活雷锋 好人好事演讲稿