【最新 – 情報理論について学ぶためのおすすめ本 – 入門から応用まで】も確認する
情報を数学的に扱うとはどういうことかがわかる
本書は、情報理論の基礎的な内容を解説している本です。情報科学は、形のない情報を数量的に扱えるようにしたことで、社会を大きく変えることになりました。そのようなことを踏まえて、この本では、数学的に情報を扱う仕組み、情報理論の歴史や情報通信の基本的な原理を、比較的わかりやすく解説しています。
まえがき
「コンピュータ」や「情報」といった言葉は知っているけれど、「その本質を数学的に示す」とはどういうことだろう?情報源符号化定理、通信路符号化定理、通信路容量、標本化定理など、言葉は聞いたことがあるけれど、いったいどういうことなんだろう?という疑問をお持ちのかたも多いのではないかと思います。そんなみなさんに、ぜひ読んでいただきたい…。
この本では、それまで曖昧な概念だった情報というものを、数量的に扱えるように定義し、情報についての理論(情報理論)という新たな数学的理論を創始した、クロード・E・シャノンという人に焦点を当て、彼が作り上げた「シャノンの情報理論」について難しい概念をなるべく使わないようにして話を展開していきます。
私は、大学で情報科学、情報理工学を教えています。放送大学共通科目のテレビ「情報科学の基礎」など情報に関するいくつかの科目でも講師を務めています。担当科目の中で最初に触れるのがやはり「情報」という形のないものをどう扱っていくかということです。この本でも「情報とは何か?」「情報が伝達されるとは、どういうことか」という部分にフォーカスを当てることにしました。「情報とは何か?」と考えた時に触れるべきことがらは、「情報」そのものに加え、通信の他に、データの扱い、計算の方法、計算可能性などがあります。さらにコンピュータの原理である計算という概念を中心とし、アルゴリズム、プログラミング、計算量、万能性についても扱うべきですが、それらについては統編を期待していただきたいと思います。
本書で扱う内容は「形のない情報を表現し、伝達する」ための数学的背景といってもよいでしょう。プログラミングや計算量の側面からは考えず、あくまでも「情報」という側面から考えてゆくことにしたいと思います。
形のないものを数学的に導いていくので、若干の数式がでてきます。特に対数を多く使いますが、読むだけでは難しい方はぜひ紙とペンで計算をしてみてください。手を使って書くことによって脳が活性化すると言われているようですからぜひトライしてみてください。それでは、形のないものの世界へShall we go?
もくじ
まえがき
第1章 情報科学の歴史
コンピュータが人だった頃
計算する機械としてのコンピュータの歴史
20世紀前半の情報科学者たち
第2章 情報とはなにか
情報とはなにか
情報の定義
情報の最小単位
シャノンの情報理論のエッセンス:高速で正確な通信を担う役者たち
情報源符号化
通信路符号化
受信機と受信者
第3章 情報の価値?
「価値ある情報」をどう表現する?
期待値
情報エントロピー
個々の情報が持つ大きさ:情報量
情報が出現する確率
情報エントロピーと通信路容量
アルファベットの記号が出現する確率
第4章 通信量を減らす?:情報源符号化定理
符号化と情報量
復号可能―一意復号可能と瞬時符号
平均符号長
情報源符号化定理といろいろな符号化法
シャノン・ファノ符号化法
ハフマン符号化法
情報源符号化定理についてのまとめ
第5章 伝言ゲームでは困るー誤りを減らす
5-1 通信路はどれくらいの処理スピードを持つのか
通信路と相互情報量
相互情報量とデータマイニング
通信路はどれくらいの処理スピードを持つのか一通信路容量
相互情報量が通信路の評価基準となるわけ
相互情報量の計算の方法
通信路容量
5-2 誤りを減らすためにはどう送ればよいか
通信路符号化定理
通信路を符号化すること
通信路符号化定理の真髄
5-3 連続した情報を扱う一標本化定理
波を周波数でとらえるか?時間でとらえるか?
標本化定理
なぜ2倍以上必要か?
連続量への応用
シャトーンの情報理論のエッセンス
第6章 情報科学の歴史の中の情報理論
情報科学の中の情報理論
コンピュータ史からのアプローチ
チューリングとシャノン
チューリング・マシンと計算可能生
チューリング・マシンからフォン・ノイマン型コンピュータへ
「最初のコンピュータ」は?
コンピュータの万能性
シャノンの情報理論の応用
あとがき
参考文献
さくいん
