什么是信息熵【转】

发布网友发布时间：2022-04-30 14:24

共1个回答

热心网友时间：2022-06-23 02:40

“熵”是德国物理学家克劳修斯在１８５０年创造的一个术语，他用它来表示任何一种能量在空间中分布的均匀程度。能量分布得越均匀，熵就越大。如果对于我们所考虑的那个系统来说，能量完全均匀地分布，那么，这个系统的熵就达到最大值。　　在克劳修斯看来，在一个系统中，如果听任它自然发展，那么，能量差总是倾向于消除的。让一个热物体同一个冷物体相接触，热就会以下面所说的方式流动：热物体将冷却，冷物体将变热，直到两个物体达到相同的温度为止。如果把两个水库连接起来，并且其中一个水库的水平面高于另一个水库，那么，万有引力就会使一个水库的水面降低，而使另一个水面升高，直到两个水库的水面均等，而势能也取平为止。　　因此，克劳修斯说，自然界中的一个普遍规律是：能量密度的差异倾向于变成均等。换句话说，“熵将随着时间而增大”。　　对于能量从密度较高的地方向密度较低的地方流动的研究，过去主要是对于热这种能量形态进行的。因此，关于能量流动和功－能转换的科学就被称为“热力学”，这是从希腊文“热运动”一词变来的。　　人们早已断定，能量既不能创造，也不能消灭。这是一条最基本的定律；所以人们把它称为“热力学第一定律”。　　克劳修斯所提出的熵随时间而增大的说法，看来差不多也是非常基本的一条普遍规律，所以它被称为“热力学第二定律”。　　举例来讲果我们能看到橡皮筋的分子结构，我们会发现它的结构在拉紧和放松的状态时是不一样的。放松的时候它的分子结构像一团乱麻交织在一起。而在把橡皮筋拉长的时候，那些如同链状的分子就会沿着拉伸的方向比较整齐地排列起来。于是我们可以看到两种状态：一种是自然，或者自发的状态。在这种状态下结构呈“混乱”或 “无序”状。而另一种是在外界的拉力下规则地排列起来的状态。这种“无序” 的状态还可以从分子的扩散中观察到。用一个密封的箱子，中间放一个隔板。在隔板的左边空间注入烟。我们把隔板去掉，左边的烟就会自然 (自发)地向右边扩散，最后均匀地占满整个箱体。这种状态称为“无序”。　　在物理学里我们可以用“熵”的概念来描述某一种状态自发变化的方向。比如把有规则排列的状态称为“低熵”而混乱的状态对应于“高熵”。而熵则是无序性的定量量度。热力学第二定律的结论是：“一个孤立系统的熵永不减少。”换句话说，物质世界的状态总是自发地转变成无序；“从低熵”变到“高熵”。比如，当外力去除之后，整齐排列的分子就会自然地向紊乱的状态转变；而箱子左边的烟一定会自发地向右边扩散。这就是著名的“熵增定律”。　　信息熵的定义与熵的定义相似，我们说的信息熵一般是指信息论的香农理论。在日常生活中，信息是指“消息”，“情况”等。看电视、看报纸、看书、打电话、听广播、上网浏览，乃至聊天、开会，人们都获得了“消息”。消息通过“消息传递系统”传递，各种系统可以抽象为通讯系统模型。这一模型并不只限于通信系统，对于生物神经系统，遗传系统，市场的经济信号感知反馈系统，管理系统，都可以运用这个模型。在消息传递系统中，其传输的是消息；但消息传递过程中，最普通，却容易被忽视的一点是：收信人在收到消息以前是不知道消息的具体内容的。消息的传递过程，对收信人来说，是一个从不知到知的过程，或者说是一个从不确定到确定的过程。从通信过程来看，收信者的所谓“不知”就是不知道发送端将发送描述何种运动状态的消息。例如，看天气预报前，不清楚天气的将出现何种状态；看天气预报后，这种不确定性就大大缩小了。所以通信过程是一种从不确定到确定的过程。不确定性消除了，收信者就获得了信息。所以香农认为，信息是不定性的减少或消除。即I = S(Q/X)-S(Q/X')I代表信息，Q 代表对某件事的疑问，S 代表不定性，X为收到消息前关于Q的知识，X' 为收到消息后关于Q 的知识。信息熵并不是负熵，它描述的是信源不确定性而不是不确定性的减少。信息熵大表示信源的不确定程度较大，同样是一种无序性。香农的信息概念是人们对事物了解的不确定性的减少或消除，这一定义关注的是通信中的信息问题，所以香农信息是一种与信道相关的“信息”。信源、信道是信宿成了认识过程的不可分割的部分，主客体是不可分的；香农的概率，是主体对客体（信宿对信源）的一种先验主观认识，这本身就加入了主体的因素。因此，作为“通信中的数学理论”，信源与信宿在信道联系下的“互信息”，才是香农的“信息”。信道的任务是以信号方传输和存贮信息，通过信息处理后，一般只会增加信息的损失，不可能增加原来获得的信息。这意味着，在任何信息传输系统中，最后获得的信息至多是信源所提供的信息；信息一旦丢失，如不触及信源，就不能再恢复。这就是信息不增原理，又称数据处理定理，熵只是平均不确定性的描述，而不确定性的消除才是接受端获得的信息量，信息量不应该与不确定性混为一谈。信息论并不是香农一个人建立的，实际上它是由好几位科学家差不多在同一时候提出来的。香农从通信编码方面，维纳从滤波理论方面，统计学家费希尔（Fisher ）从古典统计理论方面，研究了信息的理论问题。但维纳与香农在信息概念的理解上有些不同信息论并不是香农一个人建立的，实际上它是由好几位科学家差不多在同一时候提出来的。香农从通信编码方面，维纳从滤波理论方面，统计学家费希尔（Fisher ）从古典统计理论方面，研究了信息的理论问题。但维纳与香农在信息概念的理解上有些不同信息熵并不是负熵，它描述的是信源不确定性而不是不确定性的减少。信息熵大表示信源的不确定程度较大，同样是一种无序性。香农的信息概念是人们对事物了解的不确定性的叫少或消除，实际上是“互信息”；因为这一定义关注的是通信中的信息问题，所以香农信息是一种与信道相关的“信息”。