ページコンテンツ
【最新 – 情報理論について学ぶためのおすすめ本 – 入門から応用まで】も確認する
情報理論の教科書
大学の情報系の学科で必修科目である「情報理論」のエッセンスが詰め込まれた教科書です。多くの人が難しいと感じる部分は、より丁寧に解説されるなどの工夫がされています。補足的な説明やコラムが掲載されているので、応用につながる知識を身につけやすいです。
はじめに
世界中への2020年の新型コロナウイルス(COVID-19)の席巻により、強制的に世の中の仕組みの変革が迫られ、テレワーク(在宅勤務)、テレビ会議、オンライン、リモートなどの言葉が飛び交い、高度情報化社会を支える情報技術の革新・進歩の重要性が増大した。
その高度情報化社会において、通信・インターネット、コンピュータなどディジタル社会関連基幹技術の根幹をなす理論の1つが、情報理論である。
情報理論は、情報分野、電気電子分野をはじめ、理工系諸分野の基礎科目であるまた、現在においては種々の融合分野においてもその有用性が着目されている。
シャノンによりその基礎が構築された情報理論は、非常に明快な理論であり、優れた本も多く、現在も進歩している領域であるが、残念ながら、初学者(素人)がその基礎的本質を容易に理解できる教科書は、非常に少ない。著者は、大学学部生に長年情報理論を教えてきたが、残念ながら(あるいは、幸運にも)情報理論そのものを研究対象とした専門家ではない。システム科学・工学の領域で、特に生態ネットワークなどの大規模(複雑)ネットワークを対象として、情報理論的思考をベースにした応用研究を行ってきた。
学生時代から教師時代を通して、専門家でないがゆえに初学者のわかりにくい点を我が身で感じ取り、それらを理解しやすくする道を、試行錯誤により、認識、実践できた。それらを、できるだけ本書で読者の方々にお伝えできればと思う。
本書の特徴は
・かゆいところに手が届く、わかりやすい内容になっている。
・情報理論のエッセンスに絞って、やさしく解説している。
・2種類のタイプの《ノート》と《ノート(Advance Note)》を設け、本書本文の内容の理解を助ける内容と、各自が本書以上の一歩進んだ発展的勉強・研究を目指すときに役立つ内容を区別して説明している。各自の必要によって活用していただければよい、本文の内容が理解できれば、《ノート》の項は、読み飛ばしてもかまわない。
・必要性と授業時間の制約などから、授業では省略してもよい章、節に印を付けている。
・演習問題を各章の最後に設けている解答は34頁にわたり、各問に非常に詳しい解答を付けてある。チャレンジしてできなかったときは、解答で勉強し、再チャレンジできるように工夫してある。
・演習問題の各問には、難易度のレベルを5段階★~★★★★★で示し、また、チャレンジした回数Challenge口口口口をも記載できるようにしている。
以上より、本書は、情報理論を、情報関連科目、あるいは理工系分野の基礎科目として学ぶ学生諸氏をはじめとして、種々の分野の方々が、情報理論の基礎とエッセンスを手軽に修得されることに適した本となっている。また、将来において一層進んだ情報理論の学習が必要となった場合には、本書で修得したエッセンスを基礎として、本書よりも発展的な内容が十分理解できるようにも構成した。
終わりに、この度本書の改訂の機会を与えていただいた株式会社オーム社編集局の皆様に、深く感謝する。
2020年夏 著者
本書について
本書では、皆さんの理解を助けるためのいくつかの「新しい試み」をしています。それらを以下で説明します。
キーワード
各章で抑えるべき重要な用語をまとめてあります。各章の理解度を測るうえで、各キーワードを自分で説明できるかどうか、各章を学習した際に試みてください。
ノートとアドバンスノート
2種類のタイプの《ノート》と《ノート(Advance Note)》を設け、本書本文の内容の理解を助ける内容と、各自が本書以上の一歩進んだ発展的勉強・研究を目指すときに役立つ内容を区別して説明しています。各自の必要によって活用してください。本文の内容が理解できれば、《ノート》の項は、読み飛ばしてもかまいません
例
具体例を実際に自分の手で解いて、理解につなげてください。
性質、定理
重要な性質や定理を次のような枠で囲っています。内容をよく理解してください。
証明
命題の証明をしています。読みとばしてもかまいませんが、本質の理解に生かしてください。
演習問題
演習問題の各問には、難易度のレベルを5段階★~★★★★★で示し、また、チャレンジした回数Challenge|ロロロロをも記載できるようにしています。チェック〈V〉を書き入れて、自分の努力の足跡を記入し、実力のアップに活用してください。
目次
はじめに
本書について
第1章 情報理論とは?
1.1 情報理論の生い立ち
1.2 情報理論のエッセンス
第2章 情報のとらえ方と情報量
2.1 情報の数量化―自己情報量一
2.2 平均情報量(エントロピー)
2.3 自己情報量と平均情報量の関係演習問題
第3章 平均情報量(エントロピー)の性質
3.1 エントロピー関数
3.2 エントロピーの性質
3.3 条件付き平均情報量(条件付きエントロピー)
3.4 種々のエントロピーの関係
演習問題
第4章 情報源
4.1 情報源モデル
4.2 情報源の種類
4.3 無記憶情報源(独立情報)モデル
4.4 通報(メッセージ)
4.5 マルコフ情報源
4.6 マルコフ連鎖(マルコフチェーン)
4.7 単純マルコフ情報源モデル
4.8 シャノン線
4.9* 正規マルコフ情報源
4.10* エルゴードマルコフ情報源演習問題
第5章 情報源符号化
5.1 符号化
5.2 符号のクラス
5.3 瞬時符号
5.4 クラフトの不等式一符号語長への制約一
5.5 拡大情報源
5.6 情報源符号化定理一平均符号長の下限―
5.7 符号の効率と冗長度
5.8 コンパクト符号
第6章 具体的符号化法、
6.1 シャノン・ファノ符号
6.2 ハフマン符号演習問題
第7章 通信路と相互情報量
7.1 通信路モデル
7.2 通信路での確率関係
7.3 通信路での平均情報量(エントロピー)の関係
7.4 相互情報量一通信路により伝送される情報量一
7.5 相互情報量の確率表現
7.6 相互情報量の性質
7.7 種々の通信路
7.7.1 音のない通信路
7.7.2 確定的通信路
7.8 通信路容量
演習問題
第8章 通信路符号化
8.1 シャノン・ファノの通信システムのモデル
8.2 通信路符号化とは?
8.3 通信路符号化定理
8.4* 情報源符号化定理と同値な雑音のない通信路の符号化定理
演習問題
第9章 誤り検出と訂正
9.1 冗長性
9.2 パリティ検査(パリティチェック)
9.3 ハミング産
9.4 誤り検出と訂正の原理
9.4.1 s個以下の誤りの検出
9.4.2 t個以下の誤りの訂正
演習問題
第10章線形符号
10.1 組織符号
10.2 ２元(n、k)符号
10.3 生成行列G
10.4 検査行列H
10.5 シンドロームと読り検出・訂正
10.6* 線形符号Cの最小ハミング距離ｄmin(C)
演習問題
第11章* 巡回符号
11.1 巡回符号とは?
11.2 符号多項式
11.3 符号多項式の性質
11.4 生成多項式G(x)
11.5 検査多項式H(x)
11.6 シンドローム多項式S(x)
11.7 生成行列G(C)と検査行列H(C)
11.8 巡回符号の生成行列と検査行列の構成例
演習問題
付録A 10進数の2進数への変換
A.1 １０進数で表された整数の2進数への変換
A.2 １０進数で表された小数の2進数への変換
付録Ｂ log2xの数表
参考文献
演習問題の解答例
索引
(注)必要性と授業時間の制約などから、授業では省略してもよい章、節に*印を付けている。
