【最新 – 情報理論について学ぶためのおすすめ本 – 入門から応用まで】も確認する
情報理論を直感的に理解できる
イメージしにくい情報理論を豊富な図解や例を用いて解説することで、直感的な理解をサポートしています。また例題や演習問題を通じて、実践的な知識を身につけることができます。今回の改訂で最新の知見の解説も追加されたため、初学者だけでなく技術者にもおすすめの1冊です。
改訂2版まえがき
本書の初版が出版されてから、既に35年以上経過している。その間、本書は多くの大学や教育機関で教科書として用いられ、非常に多くの方々にお読みいただけた、それが、我が国の情報関連の技術の発展に少しでも貢献したとすれば、著者として望外の喜びである。
この35年の間、本書の軽微な改訂・修正は行ってきたが、情報理論に密接に関連する符号化技術や通信放送技術のこの間の進展は目覚ましく、現在の情報理論全体を見渡すには増補が必要と考え、今回改訂を行うことにしたのである。実際、情報理論の応用分野は拡大を続けている。今日急速に進展している通信放送技術やコンピュータ技術はいうまでもないが、最先端の人工知能分野や遺伝子工学あるいは経済学などの分野でも情報の扱いは基本的重要性をもっていて、情報理論の考え方が、そこかしこで用いられている。
とはいえ、情報理論の基盤そのものが変わったわけではない。情報や情報量の概念、それを扱う基本的手法は不変である。そこで、改訂に際しても、初版を著したときの方針を変えないこととした。すなわち、情報理論の主要な問題を明示し、それに答えていくという形式はそのままであるし、内容の多くも、よりわかりやすくするような若干の変更は行っているが、初版を踏襲している。
しかし、今回いくつかの新しい技術を取り入れている。複雑な構造をもつ通信システムにおける符号化法や確率的性質が未知の情報源に対するユニバーサル符号化法、そして非常に強力な誤り訂正符号である低密度パリティ検査符号の構成法とその繰返し復号法などである。これらは今日広く使われるようになってきた。
今回の改訂で取り入れなかった理論に量子情報理論がある、量子コンピュータや量子暗号が現れつつあり、従来のスーパーコンピュータでは不可能であるような、ある種の高速演算や、絶対的に安全な暗号を実現する技術として期待されてはいるが、未だ技術が確立しているわけではなく、本書に入れるには時機尚早と判断した。しかし、これらの技術が順調に発展していけば、次の改訂の際には取り入れることになるであろう。
末筆であるが、本改訂版執筆の機会を与えていただいたオーム社津久井靖彦氏、角田一康氏、橋本享祐氏、刊行にあたり大変お世話になった原純子氏に心から感謝の意を表する次第である。
平成31年1月 今井秀樹
初版まえがき
情報の伝達、蓄積、処理の技術は、今日の情報化社会を支える基盤技術となっている。情報理論は、この情報伝達、蓄積の効率化、高信頼化に関する基礎理論である。また、それは、“情報”に対し、一つの重要な視点を与えるものであり、およそ情報を扱う技術者、研究者にとって、一度は学ばねばならない理論である。
もとより、情報理論は万能ではない、情報の伝達、蓄積、処理に関するすべての問題がこれで解決できるというものではないのである。情報理論にあまりにも多くを期待し、やがて失望し、去っていった技術者も、決して少なくはない。しかし、情報理論は、その限界を知り、適切に用いるなら、きわめて有用なものである。
情報理論は、美しい理論体系を持っている。しかし、それは単なる数学理論ではない、情報伝達、蓄積の多くの分野で実際に用いられ、情報化社会の進展に伴って、その応用範囲をさらに拡げつつある工学理論でもある。
本書は、情報工学、通信工学、電気工学、電子工学の学部学生を主たる対象とし、この工学理論としての情報理論を、できるだけ整理して、平易に記述したものである。本書は、はじめに、情報理論で扱う主要な問題を明示し、それに答えていくという形で書かれている。これにより、“なぜ、このようなことを考えるのか”ということが常に明確となり、深い理解が得られると考えたからである。
情報理論で扱う主要な問題とは、情報の伝達、蓄積の効率化、高信頼化の限界および実現法である。従来の情報理論では、限界の理論が中心となることが多かった。しかし、情報理論が工学的に広く応用されるようになってきた今日この理論において、限界と実現法は同等に扱われるべきであろうし、また、そのほうが、理論体系としても完備したものとなってくる。このため、本書では、実現法に多くの頁数を割いた。また、本書では、数学的厳密さにはあまりとらわれず、直観的な理解を重視
した。情報理論を応用し、それを発展させていくには、直観的な理解こそ重要だからである。このため図と例を多く用い、煩雑な式の導出はできるだけ避け、直観的な説明で置きかえた。さらに、章末には演習問題巻末には解答を付して、自習にも適するように編集した。これらの例や問題には、応用上深い意味を持つものが少なくない。
情報理論の研究は、今日も盛んであり、発展を続けている。その最近の研究成果を取り入れるのは、本書のような教科書では必ずしも適当ではないが、応用上重要で、将来情報理論の一つの核となり得ると思われるものは、あえて取り入れた。
さて、情報理論は、その応用が拡がりつつあるとはいえ、まだ用いるべきところに用いられていない例がきわめて多い。本書を通して、情報理論を深く理解し、それをさまざまな分野に応用していただければ、著者として、最大の喜ぴとするところである。
本書執筆中、巻末にあげた文献を種々参考にさせていただいた。これらの著者に敬意と謝意を表したい。また、本書執筆の機会を与えていただいた昭晃堂阿井國昭氏、刊行にあたり大変お世話になった小林孝雄氏、上原仁子氏に心から感謝の意を表する次第である。
昭和59年1月 今井秀樹
目次
第1章 序論
1.1 情報理論とは
1.1.1 情報の伝達
1.1.2 通信システムのモデル
1.1.3 符号化
1.1.4 情報理論とシャノン
1.2 情報理論の分野
1.2.1 シャノン理論符号理論・信号理論
1.2.2 情報理論の応用分野
1.3 本書の構成
第2章 情報理論の問題
2.1 問題の提起
2.2 問題の設定
2.2.1 問題の整理
2.2.2 情報源符号化の問題
2.2.3 通信路符号化の問題
2.3 問題の発展
2.3.1 情報源符号化と通信路符号化の統合
2.3.2 通信システムのモデルの多様化
2.3.3 情報セキュリティのための符号化
2.3.4 情報理論の未来25
第3章 情報源と通信路のモデル
3.1 情報源のモデル
3.1.1 情報源の統計的表現
3.1.2 無記憶定常情報源
3.1.3 定常情報源とエルゴード情報源
3.2 マルコフ情報源
3.2.1 マルコフ情報源の定義
3.2.2 状態の分類
3.2.3 極限分布と定常分布
3.3 通信路のモデル
3.3.1 通信路の統計的記述
3.3.2 無記憶定常通信路
3.3.3 ２元通信路の誤りによる表現
3.3.4 バースト誤り通信路
3.4 モデル化
演習問題
第4章 情報源符号化とその限界
4.1 情報源符号化の基礎概念
4.1.1 情報源符号化に必要な条件
4.1.2 瞬時符号と符号の木
4.1.3 クラフトの不等式
4.2 平均符号長の限界
4.3 ハフマン符号
4.4 情報源符号化定理
4.4.1 ブロック符号化
4.4.2 情報源符号化定理
4.5 基本的な情報源のエントロピー
4.5.1 無記憶情報源のエントトロピー
4.5.2 マルコフ情報源のエンロビー
4.6 基本的情報源符号化法
4.6.1 ハフマンプロック符号化法
4.6.2 非等長情報源系列の符号化
4.6.3 ランレングス符号化法82
4.7 算術符号
4.7.1 情報源系列の累積確率
4.7.2 基本的算術符号化法
4.7.3 乗算の不要な算術符号化法
4.7.4 マルコフ情報源の符号化
4.8 ユニバーサル符号化法
4.8.1 典型的系列の数とエントロピー
4.8.2 数え上げ符号化法
4.8.3 適応符号化法
4.8.4 辞書法
演習問題
第5章 情報量とひずみ
5.1 情報量の定義
5.1.1 平均符号長の下限としての情報量
5.1.2 直観的立場からの情報
5.2 エントロピーと情報量
5.2.1 あいまいさの尺度としてのエントロビー
5.2.2 エントロビーの最小値と最大値
5.3 相互情報量
5.3.1 相互情報量の定義
5.3.2 相互情報量の性質
5.4 ひずみが許される場合の情報源符号化
5.4.1 情報源符号化におけるひずみ
5.4.2 ひずみが許される場合の情報源符号化定理
5.4.3 速度ひずみ関数
5.4.4 ひずみが許される場合の情報源符号化法
演習問題
第6章 通信路符号化の限界
6.1 通信路容量
6.1.1 通信路容量の定義
6.1.2 無記憶一様通信路の通信路容量
6.1.3 加法的2元通信路の通信路容量
6.2 通信路符号化の基礎概念
6.2.1 通信路符号
6.2.2 最尤復号法
6.3 通信路符号化定理
6.4 通信の限界
6.5 信頼性関数
演習問題
第7章 通信路符号化法
7.1 単一誤りの検出と訂正
7.1.1 単一パリティ検査符号
7.1.2 水平垂直パリティ検査符号
7.1.3 (7,4)ハミング符号
7.1.4 生成行列と検査行列
7.1.5 一般のハミング符号
7.1.6 ハミング符号の符号化と復号
7.2 符号の誤り訂正能力
7.2.1 ハミング距離とハミング重み
7.2.2 最小距離と誤り訂正能力
7.2.3 限界距離復号法と最尤
7.2.4 BSCにおける限界距離復号法の復号特性
7.2.5 消失のある場合の復号
7.2.6 バースト誤りの検出と復号法
7.3 巡回符号
7.3.1 巡回符号の定義
7.3.2 符号器
7.3.3 巡回符号による誤りの検出
7.3.4 巡回ハミング符号
7.4 ガロア体
7.4.1 素体
7.4.2 拡大体
7.5 BCH符号
7.5.1 BCH符号の定義
7.5.2 BCH符号の復号
7.6 非2元誤り訂正符号
7.6.1 非2元符号による誤り検出と訂正
7.6.2 非2元単一誤り訂正符号
7.6.3 非2元BCH符号とRS符号
7.6.4 非2元符号を用いたバースト誤りの訂正
7.7 畳み込み符号とビタビ復号法
7.8 繰返し復号法
演習問題
第8章 アナログ情報源とアナログ通信路
8.1 アナログ情報源と通信路に対する情報理論
8.2 標本化定理
8.2.1 アナログ波形の周波数成分
8.2.2 標本化定理
8.3 アナログ情報源とそのエントロピー
8.3.1 アナログ情報源
8.3.2 アナログ情報源のエントロビー
8.3.3 最大エントロビー定理
8.4 アナログ情報源の速度ひずみ関数
8.4.1 相互情報量
8.4.2 速度ひずみ関数
8.4.3 白色ガウス情報源の速度ひずみ関数
8.5 アナログ情報源に対する符号化
8.5.1 量子化
8.5.2 ベクトル量子化
8.5.3 変換符号化
8.5.4 予測符号化
8.6 アナログ通信路
8.6.1 アナログ通信路
8.6.2 通信路容量信路容量
8.6.3 白色ガウス通信路の通
8.7 アナログ通信路に対する符号化
8.7.1 アナログ通信路のディジタル化
8.7.2 アナログ通信路用符号
演習問題
参考文献
演習問題解答
索引
