信息论的知识

组成客观世界并促进社会发展的最基本的三大要素是：物质，信息，能量，其中物质是基础，是实体。

信息的传输过程如下：

信源–编码–信道–译码–信宿

单符号离散信源可用离散随机变量X来表示。

随机变量的状态空间和概率空间是构成信源空间的两个基本要素。其中概率空间是决定性要素。

接收者获取的信息量，等于通信前后不确定性的消除。

不确定性的消除=同信前的不确定性-通信后仍然存在的不确定性

信源a所含有的全部信息量，则称为自信量记为I（a）

而不确定性是与可能性（概率）相关的，因而I(ai)应该是p(ai)的函数

I(ai)＝f[p(ai)]

能作为信源整体信息测度的确定量应是信源发每一个符号的平均信息量，

信息熵等于各个符号自信量在自己的概率空间上的加权平均

信息熵的特性：

熵是随机变量的随机性的描述

变量Y、Z等概，随机性大，变量X不等概，则随机性小

等概情况下，可取值越多，随机性越大

熵H（）是描述随机变量所需的比特数

熵是随机变量平均不确定性的描述，其大小不取决于个别取值的信息量大小

X试验中发生a1,获得的自信息为-log0.01=6.64(bit)

Y试验中发生a1,获得的自信息为-log0.5=2.32(bit)

H（）反映的是平均的不确定性