Information Theory (3) 썸네일형 리스트형 2-2. Jensen's 와 Fano's inequality 및 충분 통계량 Elements of Information Theory - Second Edition, Thomas M. Cover & Joy A. Thomas 2.1 Jensen's inequality와 이에 대한 결과 두 파트로 나누어진 2장에서 후반부에 해당하는 2-2는 옌센의 부등식 (Jensen's inequality)을 다루면서 시작할 것이다. 그 전에, convex function이란 개념에 대해 다룬다. 다음과 같이 (a, b) 사이에서 아래로 볼록한 성질 (convex)을 갖는 함수 (function) f(x) 에 대해서 다음 수식을 만족한다. 이때, x_1 과 x_2 는 (a, b) 범위안에 있으며 람다의 값은 0과 1사이에 있다 (0 = 0). 이러한 대표 function들의 그림을 그리면 아래와 같.. 2-1. 엔트로피, 상관 엔트로피 및 상호 정보 Elements of Information Theory - Second Edition, Thomas M. Cover & Joy A. Thomas 2.1 시작하며 해당 내용은 서적의 2번째 장 (chapter 2)의 내용을 다루고 있다. 서적에 대한 정보는 글의 맨 위에 있다. 2장에서는 "엔트로피 (entropy)"와 "상호 정보 (mutual information)"에 대해서 다시 정의하고, 그 이후에는 "체인 규칙 (chain rule)", "mutual information의 비음수성 (non-negativity)", "데이터 처리 부등식 (data-processing inequality)"을 정의한다. 또한, "충분 통계량(sufficient statistics)"과 "파노의 부등식 (Fano's.. 1. 정보이론의 기초 Elements of Information Theory - Second Edition, Thomas M. Cover & Joy A. Thomas 1.1 정보이론이란? "정보"라는 것에 대한 "수학적인 이론"을 말한다. 여기서 "정보"라는 것은 일반적으로 message (speech, text, images, etc.)를 수신함으로써 얻는다. 그럼 message로부터 정보를 얻을 때, 다음과 같은 물음이 있을 수 있다. 수신된 message의 의미는 무엇인가? 얼마나 이 message가 중요한 것인가? 이 message에서 내가 얻을 수 있는 정보량은 얼마나 되는가? 이중에서 정보이론에서는 오로지 "message에서 내가 얻을 수 있는 정보량은 얼마나 되는가?"란 질문에 답을 한다. 이러한 특징이 바로 정.. 이전 1 다음
