Gabriel Planet

출처: Elements of Information Theory - Second Edition, Thomas M. Cover & Joy A. Thomas 2.1 Jensen's inequality와 이에 대한 결과 두 파트로 나누어진 2장에서 후반부에 해당하는 2-2는옌센의 부등식 (Jensen's inequality)을 다루면서 시작할 것이다. 그 전에, convex function이란 개념에 대해 다룬다.다음과 같이 $(a,b)$사이에서 아래로 볼록한 성질 (convex)을 갖는 함수 (function) $f(x)$에 대해서 다음 수식을 만족한다.이때, $x_1$과 $x_2$는 $(a,b)$범위안에 있으며 $\lambda$의 값은 0과 1사이에 있다 $(0 \leq \lambda \leq 1)$. ..

출처: Elements of Information Theory - Second Edition, Thomas M. Cover & Joy A. Thomas 2.1 시작하며해당 내용은 서적의 2번째 장 (chapter 2)의 내용을 다루고 있다. 서적에 대한 정보는 글의 맨 위에 있다.2장에서는 "엔트로피 (entropy)"와 "상호 정보 (mutual information)"에 대해서 다시 정의하고,그 이후에는 "체인 규칙 (chain rule)", "mutual information의 비음수성 (non-negativity)","데이터 처리 부등식 (data-processing inequality)"을 정의한다.또한, "충분 통계량(sufficient statistics)"과 "파노의 부등식 (Fano's..

출처: Elements of Information Theory - Second Edition, Thomas M. Cover & Joy A. Thomas 1.1 정보이론이란? "정보"라는 것에 대한 "수학적인 이론"을 말한다.여기서 "정보"라는 것은 일반적으로 message (speech, text, images, etc.)를 수신함으로써 얻는다. 그럼 message로부터 정보를 얻을 때, 다음과 같은 물음이 있을 수 있다. 수신된 message의 의미는 무엇인가?얼마나 이 message가 중요한 것인가?이 message에서 내가 얻을 수 있는 정보량은 얼마나 되는가? 이중에서 정보이론에서는 오로지 "message에서 내가 얻을 수 있는 정보량은 얼마나 되는가?"란 질문에 답을 한다.이러한 특징이 바로 ..