출처: Elements of Information Theory - Second Edition, Thomas M. Cover & Joy A. Thomas 2.1 시작하며해당 내용은 서적의 2번째 장 (chapter 2)의 내용을 다루고 있다. 서적에 대한 정보는 글의 맨 위에 있다.2장에서는 "엔트로피 (entropy)"와 "상호 정보 (mutual information)"에 대해서 다시 정의하고,그 이후에는 "체인 규칙 (chain rule)", "mutual information의 비음수성 (non-negativity)","데이터 처리 부등식 (data-processing inequality)"을 정의한다.또한, "충분 통계량(sufficient statistics)"과 "파노의 부등식 (Fano's..
