信息论与编码之求平均自信息量

信息论与编码中经常要求的就是平均自信息量,它是一个随机变量,不能用来作为整个信源的信息测度,但是能够反应一个事件平均所需的信息量。下面小编就来跟大家介绍一下它的求法,希望对大家有所帮助。

信息论与编码之求平均自信息量

操作方法

(01)首先要理解题意,要求的就是信息熵。

信息论与编码之求平均自信息量 第2张

(02)然后可以得出质点落入任一格的概率空间,如下图所示。

信息论与编码之求平均自信息量 第3张

(03)接着可以求出信源的平均自信息量。

信息论与编码之求平均自信息量 第4张

(04)第二问要求的当质点A落入后,B落入的平均自信息量,即为H(B|A)。

信息论与编码之求平均自信息量 第5张

(05)因为A已落入,则B落入的格可能有47个,可以写出条件概率,如图所示。

信息论与编码之求平均自信息量 第6张

(06)然后求出此题的平均自信息量。

信息论与编码之求平均自信息量 第7张

(07)A和B同时落入的平均自信息量也可以求出,如图所示。

信息论与编码之求平均自信息量 第8张