Research Space for Linear Algebra & Discrete Mathematics
這題題目的敘述還有(a)的部份的條件機率好像跟我們平常習慣的表示方式相反, 而我是用我們習慣的推導, 也就是H(X|Y)是在給定Y之下去measure X(a) H(X,Y) = -Σ_xΣ_y p(x,y) lg p(x,y)= -Σ_xΣ_y p(x,y)lg(p(x)p(y|x))= -Σ_xΣ_y p(x,y)lg(p(x))+lg(p(y|x))= -Σ_xΣ_y p(x,y)lg(p(x))-Σ_xΣ_y p(x,y)lg(p(y|x))= -Σ_x p(x)lg(p(x))-Σ_xΣ_y p(x,y)lg(p(y|x))= H(X) + H(Y|X)(b) H(X)-H(X|Y) = -Σ_(x,y)p(x,y)lg(p(x))+Σ_(x,y)p(x,y)lg(p(x|y))= Σ_(x,y)p(x,y)lg(p(x|y)/p(x))= Σ_(x,y)p(x,y)lg(p(x,y)/p(x)p(y)) --(*)同理 H(Y)-H(Y|X) = (*) = H(X)-H(X|Y)
X|Y似乎有點打顛倒@@大致上瞭解了感謝助教~
張貼留言
3 則留言:
這題題目的敘述還有(a)的部份的條件機率好像跟我們平常習慣的表示方式相反, 而我是用我們習慣的推導, 也就是H(X|Y)是在給定Y之下去measure X
(a) H(X,Y) = -Σ_xΣ_y p(x,y) lg p(x,y)
= -Σ_xΣ_y p(x,y)lg(p(x)p(y|x))
= -Σ_xΣ_y p(x,y)lg(p(x))+lg(p(y|x))
= -Σ_xΣ_y p(x,y)lg(p(x))-Σ_xΣ_y p(x,y)lg(p(y|x))
= -Σ_x p(x)lg(p(x))-Σ_xΣ_y p(x,y)lg(p(y|x))
= H(X) + H(Y|X)
(b) H(X)-H(X|Y) =
-Σ_(x,y)p(x,y)lg(p(x))+Σ_(x,y)p(x,y)lg(p(x|y))
= Σ_(x,y)p(x,y)lg(p(x|y)/p(x))
= Σ_(x,y)p(x,y)lg(p(x,y)/p(x)p(y)) --(*)
同理 H(Y)-H(Y|X) = (*) = H(X)-H(X|Y)
X|Y似乎有點打顛倒@@
大致上瞭解了
感謝助教~
張貼留言