情報理論

information theory

 情報科学の基礎分野をなす諸理論のすべてをさし,信号理論,パターン認識理論,言語理論,人工知能論などを含む.シャノンが通信理論として確立した,狭義の情報の伝達および処理についての数学的理論,ウィーナに始まりカルマンによって完成させられた予測・ろ波の理論,さらにハミングに始まる符号理論の三つが重要である.シャノンの理論には,情報をいかに計量化するかに関しての情報量概念,情報を最も効率的に符号化するための「情報源符号化定理」,情報を雑音のある通信路を通して誤りなく伝送するための「通信路符号化定理―情報伝送基本定理」,情報を符号化する時の誤差を最小化するための「ひずみ-速度定理-情報圧縮基本定理」などが含まれる.ウィーナは確率構造を持った時系列のろ波と予測の問題を最初に研究した人である.ろ波とは過去のデータを基に現在の値を推定することであり,予測とは過去のデータから未来の値を推定することである.符号理論に関してはハミング符号,線形符号が重要であり,こうした符号は通信路に雑音が存在して符号が誤受されても,元の符号を正しく再生できるものであり,実用的に重要なものである.