熵（entropy）指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。熵由鲁道夫·克劳修斯（Rudolf Clausius）提出，并应用在热力学中。后来在，克劳德·艾尔伍德·香农（Claude Elwood Shannon）第一次将熵的概念引入到信息论中来。
熵 shang
释义
1：物理学上指热能除以温度所得的商，标志热量转化为功的程度。
2: 科学技术上用来描述、表征体系混乱度的函数。亦被社会科学用以借喻人类社会某些状态的程度。
3：熵是生物亲序，是行为携灵现象。科学家已经发明了测量无序的量，它称作熵，熵也是混沌度，是内部无序结构的总量。
历史
1850年，德国物理学家鲁道夫·克劳修斯首次提出熵的概念，用来表示任何一种能量在空间中分布的均匀程度，能量分布得越均匀，熵就越大。一个体系的能量完全均匀分布时，这个系统的熵就达到最大值。 在克劳修斯看来，在一个系统中，如果听任它自然发展，那么，能量差总是倾向于消除的。让一个热物体同一个冷物体相接触，热就会以下面所说的方式流动：热物体将冷却，冷物体将变热，直到两个物体达到相同的温度为止。克劳修斯在研究卡诺热机时，根据卡诺定理得出了对任意循环过程都都适用的一个公式 ：dS=（dQ/T）。
对于绝热过程Q＝0，故S≥0，即系统的熵在可逆绝热过程中不变，在不可逆绝热过程中单调增大。这就是熵增加原理。由于孤立系统内部的一切变化与外界无关，必然是绝热过程，所以熵增加原理也可表为：一个孤立系统的熵永远不会减少。它表明随着孤立系统由非平衡态趋于平衡态，其熵单调增大，当系统达到平衡态时，熵达到最大值。熵的变化和最大值确定了孤立系统过程进行的方向和限度，熵增加原理就是热力学第二定律。
1948年，香农在Bell System Technical Journal上发表了《通信的数学原理》（A Mathematical Theory of Communication）一文，将熵的概念引入信息论中。
熵函数的来历
热力学第一定律就是能量守恒与转换定律，但是它并未涉及能量转换的过程能否自发地进行以及可进行到何种程度。热力学第二定律就是判断自发过程进行的方向和限度的定律，它有不同的表述方法：热量不可能自发地从低温物体传到高温物体；热量不可能从低温物体传到高温物体而不引起其他变化；不可能从单一热源取出热量使之全部转化为功而不发生其他变化；第二类永动机是不可能造成的。热力学第二定律是人类经验的总结，它不能从其他更普遍的定律推导出来，但是迄今为止没有一个实验事实与之相违背，它是基本的自然法则之一。
由于一切热力学变化（包括相变化和化学变化）的方向和限度都可归结为热和功之间的相互转化及其转化限度的问题，那么就一定能找到一个普遍的热力学函数来判别自发过程的方向和限度。可以设想，这种函数是一种状态函数，又是一个判别性函数（有符号差异），它能定量说明自发过程的趋势大小，这种状态函数就是熵函数。
如果把任意的可逆循环分割成许多小的卡诺循环，可得出
∑(δＱi/Ｔi)r＝０ (1)
即任意的可逆循环过程的热温商之和为零。其中，δＱi为任意无限小可逆循环中系统与环境的热交换量；Ｔi为任意无限小可逆循环中系统的温度。上式也可写成
∮(δＱr/Ｔ)＝０ (2)
克劳修斯总结了这一规律，称这个状态函数为“熵”，用Ｓ来表示，即
ｄＳ＝δＱr/Ｔ (3)
对于不可逆过程，则可得
ｄＳ＞δＱr/Ｔ (4)
或 ｄＳ－δＱr/Ｔ＞０ (5)
这就是克劳修斯不等式，表明了一个隔离系统在经历了一个微小不可逆变化后，系统的熵变大于过程中的热温商。对于任一过程（包括可逆与不可逆过程），则有
ｄＳ－δＱ/Ｔ≥０ (6)
式中：不等号适用于不可逆过程，等号适用于可逆过程。由于不可逆过程是所有自发过程之共同特征，而可逆过程的每一步微小变化，都无限接近于平衡状态，因此这一平衡状态正是不可逆过程所能达到的限度。因此，上式也可作为判断这一过程自发与否的判据，称为“熵判据”。
对于绝热过程，δＱ＝０，代入上式，则
ｄＳj≥０ (7)
由此可见，在绝热过程中，系统的熵值永不减少。其中，对于可逆的绝热过程，ｄＳj＝０，即系统的熵值不变；对于不可逆的绝热过程，ｄＳj＞０，即系统的熵值增加。这就是“熵增原理”，是热力学第二定律的数学表述，即在隔离或绝热条件下，系统进行自发过程的方向总是熵值增大的方向，直到熵值达到最大值，此时系统达到平衡状态。
熵函数的统计学意义
玻尔兹曼在研究分子运动统计现象的基础上提出来了公式：
Ｓ＝ｋ×ＬｎΩ (8)
其中，Ω为系统分子的状态数，ｋ为玻尔兹曼常数。
这个公式反映了熵函数的统计学意义，它将系统的宏观物理量Ｓ与微观物理量Ω联系起来，成为联系宏观与微观的重要桥梁之一。基于上述熵与热力学几率之间的关系，可以得出结论：系统的熵值直接反映了它所处状态的均匀程度，系统的熵值越小，它所处的状态越是有序，越不均匀；系统的熵值越大，它所处的状态越是无序，越均匀。系统总是力图自发地从熵值较小的状态向熵值较大（即从有序走向无序）的状态转变，这就是隔离系统“熵值增大原理”的微观物理意义。
基本特性
·熵均大于等于零，即，H_s \ge 0。
·设N是系统S内的事件总数，则熵H_s \le log_2N。当且仅当p1=p2=...=pn时，等号成立，此时熵最大。
·联合熵：H(X,Y) \le H(X) + H(Y)，当且仅当X，Y在统计学上相互独立时等号成立。
·条件熵：H(X|Y) = H(X,Y) - H(Y) \le H(X)，当且仅当X，Y在统计学上相互独立时等号成立。
·社会学意义：从宏观上表示世界和社会在进化过程中的混乱程度。
应用
熵在热力学中是表征物质状态的参量之一，通常用符号S表示。在经典热力学中，可用增量定义为dS＝(dQ/T)，式中T为物质的热力学温度；dQ为熵增过程中加入物质的热量。下标“可逆”表示加热过程所引起的变化过程是可逆的。若过程是不可逆的，则dS＞(dQ/T)不可逆。从微观上说，熵是组成系统的大量微观粒子无序度的量度，系统越无序、越混乱，熵就越大。热力学过程不可逆性的微观本质和统计意义就是系统从有序趋于无序，从概率较小的状态趋于概率较大的状态。
单位质量物质的熵称为比熵，记为s。熵最初是根据热力学第二定律引出的一个反映自发过程不可逆性的物质状态参量。
热力学第二定律是根据大量观察结果总结出来的规律，有下述表述方式：
①热量总是从高温物体传到低温物体，不可能作相反的传递而不引起其他的变化；
②功可以全部转化为热，但任何热机不能全部地、连续不断地把所接受的热量转变为功（即无法制造第二类永动机）；
③在孤立系统中，实际发生的过程总使整个系统的熵值增大，此即熵增原理。摩擦使一部分机械能不可逆地转变为热，使熵增加。热量dQ由高温(T1)物体传至低温(T2)物体，高温物体的熵减少dS1=dQ/T1，低温物体的熵增加dS2=dQ/T2，把两个物体合起来当成一个系统来看，熵的变化是dS＝dS2+dS1＞0，即熵是增加的。
物理学家玻尔兹曼将熵定义为一种特殊状态的概率：原子聚集方式的数量。可精确表示为：
S=K㏑W
K是比例常数，现在称为玻尔兹曼常数。
科学哲学
科学技术上泛指某些物质系统状态的一种量（liàng）度，某些物质系统状态可能出现的程度。亦被社会科学用以借喻人类社会某些状态的程度。熵是不能再被转化做功的能量的总和的测定单位。这个名称是由德国物理学家鲁道尔夫·克劳修斯〔鲁道尔夫·克劳修斯(1822—1888)〕德国物理学家，热力学的奠基人之一。于1868年第一次造出来的。但是年轻的法国军官沙迪·迦诺〔沙迪·迦诺(1796—1832)〕一般译作“卡诺”，法国物理学家、工程师，在研究热机效率的过程中，提出了“卡诺循环”定理。却比克劳修斯早41年发现了熵的原理。迦诺在研究蒸汽机工作原理时发现，蒸汽机之所以能做功，是因为蒸汽机系统里的一部分很冷，而另一部分却很热。换一句话说，要把能量转化为功，一个系统的不同部分之间就必须有能量集中程度的差异(即温差)。当能量从一个较高的集中程度转化到一个较低的集中程度(或由较高温度变为较低温度)时，它就做了功。更重要的是每一次能量从一个水平转化到另一个水平，都意味着下一次能再做功的能量就减少了。比如河水越过水坝流入湖泊。当河水下落时，它可被用来发电，驱动水轮，或做其他形式的功。然而水一旦落到坝底，就处于不能再做功的状态了。在水平面上没有任何势能的水是连最小的轮子也带不动的。这两种不同的能量状态分别被称为“有效的”或“自由的”能量，和“无效的”或“封闭的”能量。
熵的增加就意味着有效能量的减少。每当自然界发生任何事情，一定的能量就被转化成了不能再做功的无效能量。被转化成了无效状态的能量构成了我们所说的污染。许多人以为污染是生产的副产品，但实际上它只是世界上转化成无效能量的全部有效能量的总和。耗散了的能量就是污染。既然根据热力学第一定律，能量既不能被产生又不能被消灭，而根据热力学第二定律，能量只能沿着一个方向——即耗散的方向——转化，那么污染就是熵的同义词。它是某一系统中存在的一定单位的无效能量。
信息论
在信息论中，熵表示的是不确定性的量度。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。
熵在信息论中的定义如下：
如果有一个系统S内存在多个事件S = {E1,...,En}, 每个事件的机率分布 P = {p1, ..., pn}，则每个事件本身的讯息为
Ie = − log2pi
（对数以2为底，单位是位元(bit)）
Ie = − lnpi
（对数以e为底，单位是纳特/nats）
如英语有26个字母，假如每个字母在文章中出现次数平均的话，每个字母的讯息量为
I_e = -\log_2 {1\over 26} = 4.7
；而汉字常用的有2500个，假如每个汉字在文章中出现次数平均的话，每个汉字的信息量为
I_e = -\log_2 {1\over 2500} = 11.3
整个系统的平均消息量为
H_s = \sum_{i=1}^n p_i I_e = -\sum_{i=1}^n p_i \log_2 p_i
这个平均消息量就是消息熵。因为和热力学中描述热力学熵的玻耳兹曼公式形式一样，所以也称为“熵”。
如果两个系统具有同样大的消息量，如一篇用不同文字写的同一文章，由于是所有元素消息量的加和，那么中文文章应用的汉字就比英文文章使用的字母要少。所以汉字印刷的文章要比其他应用总体数量少的字母印刷的文章要短。即使一个汉字占用两个字母的空间，汉字印刷的文章也要比英文字母印刷的用纸少。
实际上每个字母和每个汉字在文章中出现的次数并不平均，因此实际数值并不如同上述，但上述计算是一个总体概念。使用书写单元越多的文字，每个单元所包含的讯息量越大。
I(A)度量事件A发生所提供的信息量，称之为事件A的自信息，P(A)为事件A发生的概率。如果一个随机试验有N个可能的结果或一个随机消息有N个可能值，若它们出现的概率分别为p1,p2,…，pN,则这些事件的自信息的和：[H=-SUM(pi*log(pi)),i=1,2…N]称为熵。
|