文章插图
热力体系中，不能利用来做功的热能可以用热能的变化量除以温度所得的商来表示，这个商叫做熵 。熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量 。
熵的大小与体系的微观状态Ω有关，即S=klnΩ，其中k为玻尔兹曼常量，k=1.3807x10-23J·K-1 。体系微观状态Ω是大量质点的体系经统计规律而得到的热力学概率，因此熵有统计意义，对只有几个、几十或几百分子的体系就无所谓熵 。
扩展资料
性质：
1，状态函数
熵S是状态函数，具有加和（容量）性质，是广度量非守恒量，因为其定义式中的热量与物质的量成正比，但确定的状态有确定量 。其变化量ΔS只决定于体系的始终态而与过程可逆与否无关 。由于体系熵的变化值等于可逆过程热温商δQ/T之和，所以只能通过可逆过程求的体系的熵变 。,
2，宏观量
熵是宏观量，是构成体系的大量微观离子集体表现出来的性质 。它包括分子的平动、振动、转动、电子运动及核自旋运动所贡献的熵，谈论个别微观粒子的熵无意义 。
3，绝对值
熵的绝对值不能由热力学第二定律确定 。可根据量热数据由第三定律确定熵的绝对值，叫规定熵或量热法 。还可由分子的微观结构数据用统计热力学的方法计算出熵的绝对值，叫统计熵或光谱熵 。
参考资料来源：百度百科-熵
熵（Entropy）原本是一个热力学概念，用来描述物质的混乱程度 。熵越大，物质越混乱 。
香浓借鉴了热力学中的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式 。
通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量 。概率大，出现机会多，不确定性小；反之不确定性就大 。不确定性函数f是概率P的减函数；两个独立符号所产生的不确定性应等于各自不确定性之和，即f(P 1, P 2 )=f(P 1 )+f(P 2 )，这称为可加性 。同时满足这两个条件的函数f是对数函数，即
当0和1各占50%时，发射的信号0和1各占50%，此时信号最为混乱；当0或1出现概率为100%时，信号中只有一个值，此时所包含的信息非常“整洁”，所以信息熵时0 。
已知男女所占比率各为50%，所有人群中抽烟占40%，不抽烟占60%，而在抽烟人群中95%都是男性，不抽烟人群中80%是女性 。如果我们已知一个人抽烟，那么我们可以很有信心的说该烟民为男性，但是我们如何去度量这种信心呢？因此，我们引入了熵，熵是用来度量该系统的不确定性，我们有多大的把握说出该烟民为男性。试想一下，当烟民中男女比例各占50%的时候，这是最不容易确定该烟民性别的情况，所以这个时候熵很高（信息很混乱） 。
当男女烟民各占50%时，熵的计算过程为(以2为底)：
我们令事件X不抽烟为a，抽烟为b，则X：{a=No-smoking, b=smoking} 。
则不抽烟的人的熵为：
抽烟的人的熵为为：
可以看到烟民中性别分布要比非烟民更加不均衡，在这种情况下如果我们知道ta抽烟，则我们对ta的性别的判断更加准确 。
抽烟事件整体的熵为：
我们在知道了烟民和非烟民中男女比例后要比瞎猜要准确多少如何度量呢，这时候引入新的概念，信息增益：
参考：
【“熵”是什么意思？】1. 百度百科-信息熵
推荐阅读
- “cat”用英语怎么读?
- “沉浮中以为，情深缘浅”是出自哪首歌？
- 古代女人生孩子难产生不出来 古代女人怎么生孩子
- 寻一篇“圣斗士的双子文”，请各位亲帮忙
- 0能表示什么？
- 速食米饭怎么做的
- “x”是什么意思？
- 日语谢谢的中文谐音
- “懒懒散散”是什么意思？
- 在传统文化里“情人”的理解是老婆之外的人，大家怎么理解情人这个词？