1. 정의
The set of} "This is the rendered form of the equation. You can not edit this directly. Right click will give you the option to save the image, and in most browsers you can drag the image onto your desktop or another program.")
is the set of all n-dimensional vectors %20\in%20\chi%20^{n} "This is the rendered form of the equation. You can not edit this directly. Right click will give you the option to save the image, and in most browsers you can drag the image onto your desktop or another program.")
such that
%20-%20H(x)%20\right%20|\leq%20\varepsilon "This is the rendered form of the equation. You can not edit this directly. Right click will give you the option to save the image, and in most browsers you can drag the image onto your desktop or another program.")
2. 대체 정의 (Alternative definition)
The
can definition as the set of vectors x such that
+\varepsilon%20)}\leq%20p(x)%20\leq%202^{-n(H(X)-\varepsilon%20)} "This is the rendered form of the equation. You can not edit this directly. Right click will give you the option to save the image, and in most browsers you can drag the image onto your desktop or another program.")
문제.
풀이
b)
a번처럼 nq나 np가 정수가 아닐 수 있는데 그냥 근사값을 가진다고 예상하고^{n} "This is the rendered form of the equation. You can not edit this directly. Right click will give you the option to save the image, and in most browsers you can drag the image onto your desktop or another program.")
라고 책에서 친절하게 설명해놨으므로 -_-; 엔트로피 공식에 충실하게 계산하면 된다. 계산과정은 다음과 같다.
The set of
The
문제.
Consider a binary memory-less source where P(0) = p and P(1) = q = 1 - p. In a sequence of n symbols, the share of 1s tends to q as n becomes large.
a) How many sequences of length n has the share of ones equal to q?
b) Show that as the number bits per source symbol required to represent the sequences in a) is the entropy, h(q) = h(p)
풀이
a) n과 q를 곱하면 정수가 아닌 경우가 생기니까 반올림을 해주어 계산해야된다. 그러니까 nq가 아니라 [nq]. 확률계산이므로 그냥 이걸 계산하면 된다.
b)
a번처럼 nq나 np가 정수가 아닐 수 있는데 그냥 근사값을 가진다고 예상하고
증명 문제풀이 포인트는 주어진 레퍼런스를 이용해서 잘 끼워맞추는거 아닐까.
'공부' 카테고리의 다른 글
| 일반생물학 (4) - 생명의 탄소와 분자 다양성 (0) | 2011.06.30 |
|---|---|
| 일반생물학 (3) - 물, 그리고 환경의 적합성 (0) | 2011.06.30 |
| 일반생물학 (2) - 생명체의 화학적 구성 (0) | 2011.06.30 |
| 일반생물학 (1) - 생명 연구의 주제 (0) | 2011.06.30 |
| BMP YUV(YCbCr) 인코딩, 디코딩 (0) | 2011.04.09 |