【最新 – 情報理論について学ぶためのおすすめ本 – 入門から応用まで】も確認する
挫折しないで続けられる
実際に講義を受講した学生の反応や意見をふまえて書かれているので、つまずきやすいポイントがカバーされています。特長は、省略のないわかりやすい式展開、変数や数学表記がすぐにわかるような表記一覧です。はじめて情報理論を学ぶ方におすすめの入門書です。
◆読者の皆さまへ◆
小社の出版物をご愛読くださいまして、まことに有り難うございます。
おかげさまで、(株)近代科学社は1959年の創立以来、2009年をもって50周年を迎えることができました。これも、ひとえに皆さまの温かいご支援の賜物と存じ、心より御礼申し上げます。
この機に小社では、全出版物に対してUD(ユニバーサルデザイン)を基本コンセプトに掲げ、そのユーザビリティ性の追究を徹底してまいる所存でおります。
本書を通じまして何かお気づきの事柄がございましたら、ぜひ以下の「お問合せ先」までご一報くださいますようお願いいたします。
お問合せ先:reader@kindaikagakucojp
なお、本書の制作には、以下が各プロセスに関与いたしました:
・企画:山口幸治
・編集:山口幸治
・組版:1VIEX/藤原印刷
・印刷:藤原印刷
・製本:藤原印刷
・資材管理:藤原印刷
・カバー表紙デザイン:川崎デザイン
・広報宣伝営業:富高塚、山口幸治
まえがき
1948年にクロードEシャノンが著した論文“A Mathematical Theory of Communication”が世に出てから60年を超える歳月が流れた。この論文は、何やら実体のわからない「情報」と呼ばれるものに定量的な意味を与え、その後のコンピュータや情報通信の歴史に多大な影響を与える礎となったという意味で、大変重要である。我々は現在、ブロードバンドインターネット、地上デジタルテレビ放送、スマートフォンなど、高度に発達した情報通信技術の恩恵を受けているし、日常生活に必要ないわゆる白物家電といわれる電気製品にすら、小型のコンピュータが組み込まれている。この60年間に情報工学の分野でいかに技術が進歩してきたかを考えると、シャノンによってもたらされた「情報理論」の誕生は、人類の現代史において重大な1ページだったのではないかとすら思えてくる
本書について
本書は、高等専門学校の高学年および工学系大学の学部生を主な読者に想定し、授業や自学自習で活用できるテキストとして、情報理論の基礎やエッセンスの部分をわかりやすくまとめたものである。本書を読むにあたり、高度な数学的知識は必要としないことに加え、最も基本となる確率論に関する知識については、最初の章で必要にして十分なものに限ってまとめてあるため、初習者にも抵抗なく読み進められるようになっている。
一方で、情報理論分野の第一線で活躍される専門の研究者の方が本書を手に取って見ると、「こんなものが情報理論と呼べるのか」と思われるかもしれない。なぜなら、ブロック長が無限大の場合の漸近的性質や漸近等分割性、タイプの理論などについては、名前すら出てこないし、シャノンの情報源符号化定理や通信路符号化定理でさえ、結果のみが紹介されているに過ぎない。
しかし、それでも著者は、これでいいのだと自負している。確かに本書で扱っている内容とその体裁は、一般的な教科書と比べるとトリッキーかもしれない。それでもあえて著者がこのような形を指向したのには大きく3つの理由がある。
・まず1つは、情報理論に初めて触れる者にとって、自力でも読み易い入門書がほとんどないことである、ここ10年ほどの間に情報理論に関する手頃な教科書が出版されるようになってはきた。しかし、著者が大学から高専に移った約10年前の時点で、20歳になるかならないかの学生たちに半年で情報理論を教えるに際して、適当な日本語の教科書など皆無であった著者の講義を受けていた多くの学生たちは、研究者というよりも技術者を目指しており、情報量や符号語長の漸近的性質などをとうとうと説くよりも、手を動かしながら、現実的な問題を取り扱う方がより効果的であった上、その方が教育的意義もあった。そのため、内容を絞り込んで講義に臨む上で作成したのが本書の卵ともいえる自筆の講義メモである
・二点目は、若年層の活字離れが深刻になっていることである。今の学生はあまり本を読まない、じっくり書物を読み込むことに慣れていないので、文字がびっしり詰まった本には多かれ少なかれ拒否反応が出る者も少なくない。ただ、これは必ずしも学生たちの理解能力が劣っているわけではなく、単に専門書のフォーマットに慣れていないだけなのではないだろうか。そこで、本書では、本を読み慣れない学生にも手に取ってもらえるよう、後述するように徹底的にフォーマットにこだわることとした。
・最後の、そして最大の理由は、本書を手に取ることで、情報理論がなにやら面白そうな分野だと感じ、もう少し勉強してみようと思う学生が一人でも二人でも出てきて欲しいと思ったことである。理論的な学問分野であるという性格上、講義を通して、情報理論の本質の部分をしっかり理解させようと思うと、おのずと内容は高度になるし、教科書も難しくならざるを得ないだろう。ところが、そうすることで、学生たちがこの分野に魅力を感じ、関心を抱くチャンスを奪ってはいないだろうか潜在的には研究者としての資質を持ちながら、幸福な出会いをしなかったがために、進むべき道を変えてしまう学生がいないだろうか、その意味で我々は将来の情報理論を支える若い芽を摘んでしまってはいないだろうか、そんなことに思いをはせた結果、著者自身に今できることは、情報理論の中心的なトピックスについて、正確かつ深遠な講義を繰り広げることよりもむしろ、その魅力やエッセンスをこそ伝えることなのではないだろうか、そう考えたことが、本書の執筆を決断する最後の引き金になったのだと自覚している。
上述の通り、本書においては、ブロック長が十分に大きな場合を考えるような漸近論に触れる内容は原則として割愛した。主に焦点を当てたのは、第一にエントロピー、ダイバージェンス、相互情報量といった基本的な情報量がもつ意味を伝えることと、手計算や電卓、コンピュータ等を用いて、それらの値を求めることである。第二には、最適な可変長符号であるハフマン符号化の操作を学生自身が行えるようになることを目標に、符号の概念、分節可能符号や語頭符号の定義を例を交えながら紹介し、実際の符号化アルゴリズムを体験させることであった。著者自身の講義メモでは、以上の内容で週1回、半年の授業で手一杯であったが、本書をまとめるにあたり、通信路符号化や情報理論の応用に関する部分を加筆した。
授業での利用について
先にも書いたとおり、本書は学生自身が自学自習用にも使えるよう、構成に工夫を凝らしている:
半期15回の授業を想定し、全部で15章からなるが、すべての章は、10ページで同じ構成になっている。各章の1ページ目はSTEP1として、その章で学ぶ内容に関したクイズを出題し、2ページ目には「STEP2:学びのポイント」と題して、各章で学ぶ目標と主なキーワードを並べている。3ページ目から8ページ目の正味6ページが「STEP3:学びの実践」と題した本文であり、8ページ目の最後に「STEP4:章のまとめ」として、学んだ内容を総括している。残り2ページが「STEP5:実カチェック」と題した演習問題である。
演習問題は「A:基本問題」「B:チャレンジ問題」「C:実践問題」と3段階にレベル分けしており、おおむね、Aは講義を受ける学生全員に習得してほしいレベル、Bはもう少し学びたい学生のための難しめの問題や発展的問題、最後のCはプログラミング演習や文献による調査などを行うフィールドワーク的な課題である。AとBについては、巻末に極力完全解を示している。
今や、大学でも高専でも半期の授業は原則15回実施することとなっているが、実際には、ガイダンスや試験およびその解説、授業のまとめなどで、実質的に授業を行えるのは12回から13回程度というところであろう。したがって、本書を授業で使用する際には、必要に応じて第1章の確率論の復習や、第12章から第15章のあたりは、適宜省略して構わない。また内容としてはハフマン符号を1つのゴールとした情報源符号化の内容に絞り込んでいるため、通年で情報理論の講義を行っている場合は、半期分のテキストとして利用し、本書を前期に学んだ後で、後期に通信路符号化や符号理論の内容を学ぶと、本書の第12章から第15章あたりの内容も前後期の橋渡し的な役割を果たすと考えられる
本書は著者が高専における講義メモとして作ったものが基になっていることは先に述べたが、著者には、高専の教育が大学に比べて劣っているとは思えないし、いたずらに内容のレベルを落としているという自覚もない。したがって、本書を大学の学部の授業でも使っていただき、学生や教員のみなさんからどんなことでもフィードバックがいただければ、著者としてこれ以上の喜びはない。その上、今後の自分自身の授業改善にもつながるかもしれぬと(ひそかに)期待している。
謝辞
最後に、本書を執筆するにあたり、お世話になった方々に感謝の意を表したい、まず、近代科学社の山口幸治氏には、本書執筆のきっかけを作っていただき、3年前の企画段階から何度となくお会いし、そのたびに叱咤激励していただいた、氏との対話を通じて、著者自らの執筆方針や教育に関する考え方が誤っていなかったことを再確認するとともに、本書のスタイルがじわじわと固まってきたという実感がある。筆の遅い筆者を辛抱強く待っていただいたことも含め、心より感謝するまた、東京工業高等専門学校情報工学科の鈴木雅人教授には、著者が1年間の在外研究で不在の間に、本書の草稿を用いて筆者の代理で情報理論の講義を担当していただいた。ご迷惑をおかけすることにはなったと思うが、著者にとっては本書が自分以外の教員が担当する授業で十分使用に耐えうるものであることが証明され、大変励みになった。深く感謝する。
なお、東京工業高等専門学校専攻科生の滝澤尚也君と無龍輔君には、演習問題の解答のチェックをしていただいた。深く感謝するとともに、彼らの特来が輝かしいものであることを心より祈る次第である。
そして、締め切りや講義の準備等に追われ、休日も家で仕事をする筆者を許し、心の支えとなってくれた妻と二人の子供たちに心から感謝の気持ちを伝えたい。
2011年9月
小嶋徹也
目次
第1章 確率論の復習
1.1 情報理論と確率論
1.2 確率と確率分布
1.3 条件付分布と同時分布
1.4 確率変数の期待値
第2章エントロピー
2.1 エントロビーとは
2.2 エントロビーの計算
2.3 エントロピーの最大値と最小値
第3章エントロピーのチェイン則
3.1 同時エントロピー
3.2 条件付エントロピー
3.3 エントロビーのチェイン期
第4章 ダイバージェンス
4.1 ダイバージェンス
4.2 ダイバージェンスと距離の公理
4.3 ダイバージェンスの非負性
第5章ダイバージェンスの応用
5.1 エントロビーの性質
5.2 ダイバージェンスのその他の性質
第6章符号の定義と正則性
6.1 固定長符号と可変長符号
6.2 符号の数学的定義と平均符号語長
6.3 符号の正則性と分節可能符号
第7章 分節可能符号と語頭符号
7.1 分節可能符号判別アルゴリズム
7.2 語頭符号
7.3 符号のクラス
第8章 符号の表現とクラフトの不等式
8.1 符号木
8.2 符号の数直線による表現
8.3 クラフトの不等式
第9章 最適な符号
9.1 D進分布と最適な符号化
9.2 最適な符号語長
9.3 情報源分布の推定誤りの影響
第10章 符号化アルゴリズム
10.1 シャノン-ファノ符号
10.2 シャノン-ファノーイライアス符号
10.3 ハフマン符号
第11章 相互情報量
11.1 相互情報量
11.2 相互情報量の非負性
第12章 相互情報量の応用
12.1 条件付相互情報量とチェイン
12.2 相互情報量と通信路
12.3 相互情報量の凸性
第13章 情報処理不等式とファノの不等
13.1 マルコフ連鎖
13.2 情報処理不等式
13.3 ファノの不等式
第14章 通信路符号化と通信理論
14.1 通信路モデル
14.2 通信路符号化定理と通信路容量
14.3 誤り訂正符号
第15章 情報理論の応用
15.1 情報理論とマルチメディア
15.2 情報理論とワイヤレス通信
15.3 情報理論とセキュリティ技術
付録A エントロピーの凸性の証明
付録B ダイバージェンスの凸性の証明
付録C クラフトの不等式の別証明
付録D 条件付相互情報量とチェイン則
付録E 相互情報量の凸性
付録F 演習問題の解答
参考文献
索引
