篇一：信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源
1.1同时掷一对均匀的子，试求：
(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；
(5)“两个点数中至少有一个是1”的自信息量。 解：
11
样本空间：N?c6c6?6?6?36
n12
??I(a)??logP1?log18?4.17bitN36n1
(2)P2?2??I(a)??logP2?log36?5.17bit
N36(1)P1?
(3)信源空间：
?log?6??log36?4.32bit 36236
?H(x)?15?
?H(x)?
2436636836
?log36＋?log??log??log36362363364 1036636
??log＋?log?3.71bit
365366
(5) P3?
n31136??I(a)??logP3?log?1.17bit N3611
1.2如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）, （Xb，Yb）,但A，B不能同时落入同一方格内。 （1） 若仅有质点A，求A落入任一方格的平均信息量； （2） 若已知A已落入，求B落入的平均信息量； （3） 若A，B是可辨认的，求A，B落入的平均信息量。 解：
1
(1)?A落入任一格的概率:P(ai)??I(ai)??logP(ai)?log48
48
?H(a)???P(ai)logP(ai)?log48?5.58bit
i?1
48
(2)?在已知A落入任一格的情况下,B落入任一格的概率是:P(bi)??I(bi)??logP(bi)?log47
?H(b)???P(bi)logP(bi)?log47?5.55bit
i?148
1
47
(3)AB同时落入某两格的概率是P(ABi)??I(ABi)??logP(ABi)
48?47i?1
11
?4847
H(ABi)???P(ABi)logP(ABi)?log(48?47)?11.14bit
1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解：
对于男士:
回答“是”的信息量：I(my)??logP(my)??log7%?3.84bit回答“不是”的信息量：I(mn)??logP(mn)??log93%?0.105bit平均每个回答信息量：H(m)??P(my)?logP(my)?P(mn)?logP(mn) ?-7%?log7%-93%?log93%?0.366bit对于女：
回答“是”的信息量：I(wy)??logP(wy)??log0.5%回答“不是”的信息量：I(mn)??logP(mn)??log99.5%
平均每个回答信息量：H(m)??P(wy)?logP(wy)?P(wn)?logP(wn) ?-0.5%?log0.5%-99.5%?log99.5%?0.0454bit
1.4某一无记忆信源的符号集为｛0，1｝，已知p0?
13
，p1?
23
。
（1） 求符号的平均信息量；
（2） 由1000个符号构成的序列，求某一特定序列（例如有m个“0”,（1000-m）个“1”）
的自信量的表达式；
（3） 计算（2）中序列的熵。 解：
1122
（1）H(x)??p0logp0?p1logp1???log??log?0.918bit/symble
3333
12
（2）I(A)??mlogp0?(1000?m)logp??mlog?(1000?m)logbit
33
（3）H(A)?1000H(X)?1000?0.918?918bit/sequence H(A)???p0logp0?
i?1m
1000?m
?
i?1
p1logp1??
m12(1000?m)2log?log3333
1.5设信源X的信源空间为：
a1 a2a3a4a5 a6?X：
[x?p]：?
0.190.180.160.18 0.3 ?p(X) 0.17
求信源熵，并解释为什么H(X)>log6，不满足信源熵的极值性。
解：
H(X)???p(ai)logp(ai)
i?1
6
??0.17log0.17?0.19log0.19?2?0.18log0.18?0.16log0.16?0.3log0.3 ?2.725 bit/symble 可见H(X)?2.725?log6?2.585 不满足信源熵的极值性，
这是因为信源熵的最大值是在?pi?1的约束条件下求得的，但是本题中
i?1r
?p
i?1
6
i
?1.18不满足信源熵最大值成立的约束条件，所以H(X)?log6。
1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s）。 解：
由于亮度电平等概出现，由熵的极值性：
每个像素的熵是： H(x0)??p(ai)logp(ai)?log10?3.322bit/pels
i?110
每帧图像的熵是： H(X)?5?105?H(x0)?5?105?3.322?1.661?106 bit/frame
?所需信息速率为：R?r(frame/s)?H(X)(bit/frame)?30?1.661?106?4.983?107 bit/s
1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。 证:
增加30个不同色彩度,在满足黑白电视系统要求下,每个色彩度需要10个亮度,所以每个像素需要用30?10?300bit量化
?每个像素的熵是： H(x1)??p(bi)logp(bi)?log300bit/pels
i?1300
?
H(x1)log300
??2.477?2.5H(x0)log10
?彩色电视系统每个像素信息量比黑白电视系统大2.5倍作用,所以传输相同的图形,彩色电视系统信息率要比黑白电视系统高2.5倍左右.
1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解:
每帧图象所含信息量:
H(X)?3?105?H(x)?3?105?log128?2.1?106bit/symble1000
?0.110000
?每个汉字所包含信息量:H(c)??logp每个汉字所出现概率p?
描述一帧图像需要汉字数n,H(X)?nH(c)H(X)2.1?106n???6.322?105/frame
H(c)?log0.1?最少需要6.322?105个汉字
1.9给定一个概率分布(p1,p2,...,pn)和一个整数m，0?m?n。定义qm?1?
?p，证明：
ii?1
m
H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)。并说明等式何时成立？
证：
先证明f(x)??xlogx(x?0)为凸函数，如下：
loge
?f??(x)?(?xlogx)????又x?0
x
loge
?f??(x)?(?xlogx)?????0 即f(x)??xlogx(x?0)为凸函数。
x又?H(p1,p2,...,pn)???pilogpi?
i?1m
i?m?1
?plogp
i
n
i
由凸函数的性质，变量函数的平均值小于变量的算术平均值的函数，可得：
?
i?m?1
?pilogpi??(n?m)
i?m?1
n
i?m?1
?f(p)
i
n
n?m
??(n?m)f(
i?m?1
?p
n
i
n?m
)??(n?m)
i?m?1
?p
n
i
n?m
log
i?m?1
?p
n
i
n?m
??qmlog
qm
n?m
即?
?plogp
i
n
i
??qmlogqm?qmlog(n?m)
当且仅当pm?1?pm?2?...?pn时等式成立。?H(p1,p2,...,pn)???pilogpi?
m
?plogp
i
n
i
???pilogpi?qmlogqm?qmlog(n?m)
m
i?1
i?m?1
i?1
m?H(p1,p2,...,pm,qm)???pilogpi?qmlogqm
i?1
?H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)当且仅当pm?1?pm?2?...?pn时等式成立。
1.10找出两种特殊分布:
p1≥p2≥p3≥…≥pn，p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。解：n
m
H(p1,p2,...,pn)???pilogpi?H(q1,q2,...,qm)???qilogqi
i?1
i?1
篇二：信息论答案
《信息论与编码》-曹雪虹-课后习题答案
第二章
2.1一个马尔可夫信源有3个符号?u1,u,2u?3，转移概率为：p?u1|u1??1/2，
p?u2|u1??1/2，p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0，p?u3|u2??2/3，
p?u1|u3??1/3，p?u2|u3??2/3，p?u3|u3??0，画出状态图并求出各符号稳态概率。解：状态图如下
状态转移矩阵为：
0??1/21/2
??p??1/302/3?
?1/32/30???
设状态u1，u2，u3稳定后的概率分别为W1，W2、W3
11?1
W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?
由?得?2计算可得?W2? 3
25W1?W2?W3?1??2?
6?W2?W3?W3?3??25??W1?W2?W3?1?
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8，p(0|11)=0.2，
p(1|00)=0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。
画出状态图，并计算各状态的稳态概率。
?p解：p(0|00)?p(00|00)?0.8 p(0|01)
p(0|11)?p(10|11)?0.2p(0|10?)pp(1|00)?p(01|00)?0.2 p(1|01)?p
(10?|01) (00?|10) (11?|01)
p(1|11)?p(11|11)?0.8 p(1|10)?p(01|10)?0.5
0??0.80.20
??000.50.5? 于是可以列出转移概率矩阵：p??
?0.50.500???000.20.8??
状态图为：
设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有
5?W1??14?0.8W1?0.5W3?W1
?
?0.2W1?0.5W3?W2
?W2?1?WP?W????47
0.5W2?0.2W4?W3 得计算得到???
Wi?1??0.5W2?0.8W4?W4?W3?1??i?1
??7W1?W2?W3?W4?1???5
?W4?
14?
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：
(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；
(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, ? , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：
(1)
11111
p(xi)?????
666618I(xi)??logp(xi)??log
(2)
1
?4.170 bit18
111
p(xi)???
6636
1
I(xi)??logp(xi)??log?5.170 bit
36
(3)
两个点数的排列如下： 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64
共有21种组合：
15 25 35 45 55 65 16 26 36 46 56 66
其中11，22，33，44，55，66的概率是其他15个组合的概率是2?
111?? 6636
111?? 6618
1111??
H(X)???p(xi)logp(xi)???6?log?15?log??4.337 bit/symbol
361818??36i
(4)
参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
23456789101112??X???1?1111151511???P(X)??
????3618129366369121836??H(X)???p(xi)logp(xi)
i
111111115511??
???2?log?2?log?2?log?2?log?2?log?log?
361818121299363666??36
?3.274 bit/symbol
(5)
1111p(xi)???11?
6636
11
I(xi)??logp(xi)??log?1.710 bit
36
2-4
2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
设随机变量X代表女孩子学历
X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75
设随机变量Y代表女孩子身高
Y y1（身高>160cm） y2（身高<160cm） P(Y) 0.5 0.5
已知：在女大学生中有75%是身高160厘米以上的 即：p(y1/x1)?0.75 bit
求：身高160厘米以上的某女孩是大学生的信息量 即：I(x1/y1)??logp(x1/y1)??log
p(x1)p(y1/x1)0.25?0.75
??log?1.415 bit
p(y1)0.5
2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解：
1）因圆点之和为3的概率p(x)?p(1,2)?p(2,1)?
1 18
该消息自信息量I(x)??logp(x)?log18?4.170bit 2）因圆点之和为7的概率
p(x)?p(1,6)?p(6,1)?p(2,5)?p(5,2)?p(3,4)?p(4,3)?
该消息自信息量I(x)??logp(x)?log6?2.585bit
2.7 设有一离散无记忆信源，其概率空间为?
1 6
?X??x1?0x2?1x3?2x4?3?????
1/41/41/8??P??3/8
（1）求每个符号的自信息量
（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：I(x1)?log2
18
?log2?1.415bit p(x1)3
同理可以求得I(x2)?2bit,I(x3)?2bit,I(x3)?3bit
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：I?14I(x1)?13I(x2)?12I(x3)?6I(x4)?87.81bit
87.81
?1.95bit/符号 45
2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？
平均每个符号携带的信息量为
解：
四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}
八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量H(X1)?logn?log4?2 bit/symbol 八进制脉冲的平均信息量H(X2)?logn?log8?3 bit/symbol 二进制脉冲的平均信息量H(X0)?logn?log2?1 bit/symbol 所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2-9“－” 用三个脉冲 “●”用一个脉冲
??(1) I(●)=Log(4)?2 I(－)＝Log???0.415
?3?
(2) H= 2-10
(2) P(黑/黑
)= H(Y/黑
)=(3) P(黑/白
)= H(Y/白
)=(4) P(黑
)=
H(Y)=
P(白
)=
P(白/白
)=
P(白/黑
)=
14
Log(4)?
34Log??
4
??0.811
?3?
4?
2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。
（1）如果仅对颜色感兴趣，则计算平均不确定度
篇三：信息论课堂习题及答案
2.3 一副充分洗乱了的牌（含52张牌），试问
(1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解：
(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：
1 52!
I(xi)??logp(xi)?log52!?225.581 bit p(xi)?
(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
413
p(xi)?13C52
134?13.208 bit13C52
2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？ I(xi)??logp(xi)??log
解：
男士：
p(xY)?7%
I(xY)??logp(xY)??log0.07?3.837 bit
p(xN)?93%
I(xN)??logp(xN)??log0.93?0.105 bit
H(X)???p(xi)logp(xi)??(0.07log0.07?0.93log0.93)?0.366 bit/symbol
i2
女士：
H(X)???p(xi)logp(xi)??(0.005log0.005?0.995log0.995)?0.045 bit/symbol
i2
?21??33??12???3.2 设二元对称信道的传递矩阵为?33?
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
解：
1)
3311H(X)???p(xi)??(?log2??log2)?0.811bit/symbol4444i
H(Y/X)????p(xi)p(yj/xi)logp(yj/xi)
ij
322311111122 ??(?lg??lg??lg??lg)?log210433433433433
?0.918bit/symbol
3211p(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?????0.58334343
3112p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?????0.41674343
H(Y)???p(yj)??(0.5833?log20.5833?0.4167?log20.4167)?0.980bit/symbol
j
I(X;Y)?H(X)?H(X/Y)?H(Y)?H(Y/X)
H(X/Y)?H(X)?H(Y)?H(Y/X)?0.811?0.980?0.918?0.749bit/symbolI(X;Y)?H(X)?H(X/Y)??0.811?0.749?0.062bit/symbol
2)
1122C?maxI(X;Y)?log2m?Hmi?log22?(lg?lg)?log210?0.082bit/symbol33331p(xi)?2
?X??x1x2??P(X)???0.60.4????通过一干扰信道，接收符号为Y = { y1, y2 }，3.1 设信源?
?51??66??13???信道转移矩阵为?44?，求：
(1) 信源X中事件x1和事件x2分别包含的自信息量；
(2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量；
(3) 信源X和信宿Y的信息熵；
(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；
(5) 接收到信息Y后获得的平均互信息量。
解：
1)
I(x1)??log2p(x1)??log20.6?0.737bit
2) I(x2)??log2p(x2)??log20.4?1.322bit
51p(y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?0.6??0.4??0.664
13p(y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?0.6??0.4??0.464
p(y1/x1)5/6I(x1;y1)?log2?log2?0.474bitp(y1)0.6
I(x1;y2)?log2
I(x2;y1)?log2
I(x2;y2)?log2
3)
ip(y2/x1)1/6?log2??1.263bitp(y2)0.4p(y1/x2)1/4?log2??1.263bitp(y1)0.6p(y2/x2)3/4?log2?0.907bitp(y2)0.4 H(X)???p(xi)logp(xi)??(0.6log0.6?0.4log0.4)log210?0.971bit/symbol
H(Y)???p(yj)logp(yj)??(0.6log0.6?0.4log0.4)log210?0.971bit/symbol
j
4) H(Y/X)????p(xi)p(yj/xi)logp(yj/xi)
ij
55111133??(0.6?log?0.6?log?0.4?log?0.4?log)?log21066664444
?0.715bit/symbol
?H(X)?H(Y/X)?H(Y)?H(X/Y)
?H(X/Y)?H(X)?H(Y/X)?H(Y)
?0.971?0.715?0.971?0.715bit/symbol
5)
I(X;Y)?H(X)?H(X/Y)?0.971?0.715?0.256bit/symbol 3.3 设有一批电阻，按阻值分70%是2KΩ，30%是5 KΩ；按瓦分64%是0.125W，其余是0.25W。现已知2 KΩ阻值的电阻中80%是0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？
解：
对本题建立数学模型如下：
?X阻值??x1?2??x2?5????Y瓦数??y1?1/8? ????0.7????0.640.3??P(X)???P(Y)??
p(y1/x1)?0.8,p(y2/x1)?0.2
求：I(X;Y)
以下是求解过程： y2?1/4??0.36?
p(x1y1)?p(x1)p(y1/x1)?0.7?0.8?0.56
p(x1y2)?p(x1)p(y2/x1)?0.7?0.2?0.14
?p(y1)?p(x1y1)?p(x2y1)
?p(x2y1)?p(y1)?p(x1y1)?0.64?0.56?0.08
?p(y2)?p(x1y2)?p(x2y2)
?p(x2y2)?p(y2)?p(x1y2)?0.36?0.14?0.22
H(X)???p(xi)???0.7?log20.7?0.3?log20.3??0.881bit/symbol
i
H(Y)???p(yj)???0.64?log20.64?0.36?log20.36??0.943bit/symbol
j
H(XY)????p(xiyj)logp(xiyj)
ij
???0.56?log20.56?0.14?log20.14?0.08?log20.08?0.22?log20.22??1.638bit/symbol
I(X;Y)?H(X)?H(Y)?H(XY)?0.881?0.943?1.638?0.186bit/symbol
3.19 在图片传输中，每帧约有2.25?106个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB）。
解：
H?log2n?log216?4bit/symbol
I?NH?2.25?106?4?9?106bit
?10
I9?106
Ct???1.5?105bit/st60
?PX?Ct?Wlog??1?P??N??
Ct 1.5?105
W???15049Hz)?PX?log2(1?1000log??1?P??N?? 1. 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：
(1) “3和5同时出现”这事件的自信息；
(2) “两个1同时出现”这事件的自信息；
(3) 两个点数的各种组合（无序）对的熵和平均信息量；
(4) 两个点数之和（即2, 3, ? , 12构成的子集）的熵；
(5) 两个点数中至少有一个是1的自信息量。
解：1465 (1)
11111p(xi)?????666618
1I(xi)??logp(xi)??log?4.170 bit18
(2)
111p(xi)???6636
1I(xi)??logp(xi)??log?5.170 bit36
(3)
两个点数的排列如下：
11 12 13 14
21 22 23 24
31 32 33 34
41 42 43 44
51 52 53 54
61 62 63 64
共有21种组合： 15 25 35 45 55 65 16 26 36 46 56 66
其中11，22，33，44，55，66的概率是
其他15个组合的概率是2?111?? 6636111?? 6618
1111??H(X)???p(xi)logp(xi)???6?log?15?log??4.337 bit/symbol 361818??36i
(4)
参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
23456789101112??X???11115151111???P(X)???????3618129366369121836??
H(X)???p(xi)logp(xi)
i
111111115511?????2?log?2?log?2?log?2?log?2?log?log?361818121299363666??36
?3.274 bit/symbol
(5)
1111p(xi)???11?6636
11I(xi)??logp(xi)??log?1.710 bit36
2.对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：
免费论文网友情提示：本网站所有内容为共享上传提供，不涉及任何商业利益，本站对此不承担任何保证责任！
Copyright © www.csmayi.cn Corporation, All Rights Reserved 共享时代 共享你我他 版权所有