信息量②的名词解释

【信息量②名词解释如下】

信息量名词解释：
信息接收者收到信源发出的消息后,不确定性减少的量。维纳曾说过,信息量是一个可以看作几率的量的对数的负数。若假设x是一个具有概率p的消息,我们要找出一个测度I,来表示收到x时不确定性减少的量,即获得的信息量。假若消息息出现的概率不等,即p₁,p₂,……,pn均不相等。第i的序列中,这个消息应出现n×pi次。当无干扰时,从信源收到一个消息所获平均信息量则为
而定。此式即为计算信息量的公式。H称为信息的熵。它表示通信系统中,终端对信源端发出消息的不确定性或不肯定程度。H是概率的函数,与消息xi发出的次序无关。这里我们涉及的是离散信源,即发出有限数量的离散消息的信源。最简单的信源是发出0,1两个符号形式的信息。信息量的提出,把信息的研究推向了定量化,从而使通信理论由定性阶段进入到定量阶段,成为一门更为完善的科学,并为信息论的进一步研究与发展奠定了初步的理论基础。

相关阅读：