离散型随机变量的平均自信息量(熵)讲义(ppt 14页)
所属分类:文体教育
文件大小:224 KB
下载要求:10 学币或VIP
点击下载离散型随机变量的平均自信息量(熵)讲义内容提要:
离散型随机变量X有两个事件x1和x2,
P(X=x1)=p,P(X=x2)=1-p。
则X的平均自信息量(熵)为
H(X)=ploga(1/p)+(1-p)loga(1/(1-p)) 。
观察H(X)(它是p的函数,图2.2.1给出了函数图象,该图象具有某种对称性),有
当p=0或p=1时,H(X)=0。(随机变量X退化为常数时,熵为0)
当0<p<1时,H(X)>0。p越靠近1/2, H(X)越大。 (X是真正的随机变量时,总有正的熵。随机性越大,熵越大)
当p=1/2时,H(X)达到最大。(随机变量X的随机性最大时,熵最大。特别如果底数a=2,则H(X)=1比特)
熵、条件熵、联合熵之间的关系:
(1)H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)。(由定义容易证明)
(2)当X与Y相互独立时,H(Y|X)=H(Y),因此此时H(XY)=H(X)+H(Y)。
…………
..............................
精品资料网 m.cnshu.cn
Copyright © 2004- 粤ICP备10098620号-1