条件熵为什么小于信源熵

发布网友发布时间：2023-01-11 18:00

共2个回答

热心网友时间：2023-10-29 08:13

条件熵为什么小于信源熵
信源熵被的定义是这样的：一个随机变量的概率空间中，所包含的所有随机事件自信息量的数学期望。通俗来说，信源熵是概率空间中所有随机事件自信息量的一个平均值，能够反映平均情况。通常用来表示随机变量所拥有的不确定性。条件熵表示在已知信源的条件下，随机变量的不确定度，称为损失熵；为噪声熵。

热心网友时间：2023-10-29 08:13

因为越随机的信源的熵越大。
信源熵的物理含义：信源熵反映了信源随机变量的不确定性，也可以反映其中每个消息所能提供的平均信息量。
条件熵：熵是对事件结果不确定性的度量，但在某些条件下，这个不确定性会变小。条件熵衡量的就是在某个条件 X 下，事件 Y 的不确定性，记作 H(Y|X) 。