OHM大学テキスト 情報・符号理論

【最新 – 情報理論について学ぶためのおすすめ本 – 入門から応用まで】も確認する

情報理論と符号化に関するテキスト

本書は、情報理論と情報源の符号化を解説しているテキストです。主に情報工学を専攻している学生向けの内容となっています。情報通信を支える理論について、初学者に向けて、基礎的な内容を比較的平易な文章で解説しています。発展的な内容はそこまで多くなく、基礎を固めるテキストと言えます。

楫 勇一 (著)
出版社 : オーム社 (2013/10/26)、出典:出版社HP

電子デバイス・物性部門
量子物理
電気電子材料
固体物性工学
半導体デバイス工学
集積回路工学
光エレクトロニクス
アナログ電子回路

共通基礎部門
電磁気学I・II
電気回路I・II
論理回路
電気数学I―行列、ベクトル解析―
電気数学II―複素数、フーリエ・ラプラス変換―

電気エネルギー部門
パワーエレクトロニクス
電気機器学
高電圧工学
電力システム工学
電力発生・輸送工学

制御・計測部門
制御工学
現代制御理論
電気電子計測
システム工学
ロボット・メカトロニクス

通信・信号処理部門
ディジタル信号処理
通信方式
情報通信ネットワーク
光通信工学
ワイヤレス通信工学

情報部門
情報・符号理論
アルゴリズムとデータ構造
並列処理
メディア情報工学
情報セキュリティ
情報ネットワーク
トコンピュータアーキテクチャ

OHM大学テキストシリーズ シリーズ巻構成

刊行にあたって

編集委員長 辻 毅一郎

昨今の大学学部の電気・電子・通信系学科においては,学習指導要領の変遷による学部新入生の多様化や環境・エネルギー関連の科目の増加のなかで、カリキュラムが多様化し、また講義内容の範囲やレベルの設定に年々深い配慮がなされるようになってきています。
本シリーズは、このような背景をふまえて、多様化したカリキュラムに対応した巻構成、セメスタ制を意識した章数からなる現行の教育内容に即した内容構成をとり、わかりやすく、かつ骨子を深く理解できるよう新進気鋭の教育者・研究者の筆により解説いただき、丁寧に編集を行った教科書としてまとめたものです。
今後の工学分野を担う読者諸氏が工学分野の発展に資する基礎を本シリーズの各巻を通して築いていただけることを大いに期待しています。

編集委員会
編集委員長 辻 毅一郎(大阪大学名誉教授)
編集委員(部門)
共通基礎部門
小川真人(神戸大学)
電子デバイス物性部門
谷口研二(奈良工業高等専門学校)
通信・信号処理部門
馬場口登(大阪大学)
電気エネルギー部門
大澤靖治(東海職業能力開発大学校)
制御・計測部門
前田裕(関西大学)
情報部門
千原宏(大阪電気通信大学)
(※所属は刊行開始時点)

「OHM大学テキスト情報符号理論」
編者・著者一覧
編著者
標 勇一(奈良先科学技術大学院大学)[1,10,15章]

執筆者(執筆順)
岩田賢一(福井大学)[2~5章] 同成晃(和歌山大学)[6~9章] 井坂元彦(関西学院大学)[11~14章]

本書を発行するにあたって、内容に誤りのないようできる限りの注意を払いましたが、本書の内容を適用した結果生じたこと、また、適用できなかった結果について、著者、出版社とも一切の責任を負いませんのでご了承ください。

まえがき

情報理論は、情報を正確に、効率よく伝えるための理論と技術を扱う学問である。
我々の周りにはコンピュータや携帯電話、タブレット等が溢れかえっており、日々、大量の情報を正確に伝えてくれている。しかし、情報は、放っておけば勝手に伝わるものではなく、我々が日常的に使っている通信の仕組みも、たくさんの人が長い時間をかけて作り上げてきたものであることを忘れてはならない。今日の技術は多くの発明や発見に支えられているが、その「礎」にあたるものが、本書で学ぶ情報理論である。今ある通信技術を理解し、それを乗り越えて高度化していくためには、情報の伝達という問題の原点に立ち返り、情報理論について学ぶことが重要なのである。
情報理論は、クロード・シャノンにより1948年に発表された記念碑的論文「通信の数学的理論」を契機として誕生した体系である。今日のディジタル通信や情報処理装置の実現に多大な貢献をしてきた理論であるが、その中身は、きわめてシンプルな議論を、きわめて急当に積み重ねていくことで構成されている。本書は、その情報理論の基礎的な内容を初学者向けに解説した教科書である。より多くの学生に使ってもらえるようできるだけ平易な説明を心がけ、また、確率論に関する復習等も本書の一部に含めている。その一方、各種の証明等については割愛した部分も多いことを、あらかじめお断りしておかなければならない。本書の内容に物足りなさを感じ、情報理論についてより深く学びたいと考える読者は、巻末にあげた参考文献も参照してほしい。
本書の執筆にあたっては、大学の授業等で使われることを意識し、90分の授業1回で学ぶのに過不足のない内容を1つの章にまとめ、全部で15の章を設けることとした。それぞれの章の内容や位置づけについて事前に入念な検討を行い、様が1、10、15章、岩田が2章から5章、葛岡が6章から9章、井坂が11章から14章を担当することとした。各章の内容は深く関わりあっているため、執筆後に十分な時間をかけて合議し、記述内容や記法、文章表現等について調整を行っている。その調整に思いのほか長い時間がかかり、オーム社出版局の関係各位には一方ならぬご苦労をおかけしてしまった。この場を借りてお詫び申し上げるとともに、あらためて謝意を表したい。

2013年9月
編著者 楫 勇一

楫 勇一 (著)
出版社 : オーム社 (2013/10/26)、出典:出版社HP

目次

1章 情報理論の概要
1-1 情報理論とは
1-2 情報を効率よく伝える
1-3 情報を正確に伝える6
1-4 通信システムのモデル
1-5 本書の構成について
演習問題

2章 事象の情報量
2-1 事象と確率
2-2 事象の情報量
2-3 事象の情報量が満たす性質
演習問題

3章 1個の確率変数のエントロピー
3-1 確率変数とその確率分布・期待値
3-2 確率変数のエントロピー
3-3 エントロピーの最小値と最大値
演習問題

4章 2個の確率変数のエントロピー
4-1 同時エントロピー
4-2 条件付きエントロビー
4-3 エントロピーのチェイン則
演習問題

5章 相互情報量およびn個の確率変数のエントロピー
5-1 確率変数の独立性
5-2 相互情報量とエントロピー
5-3 確率変数のエントロピーとベン図の対応関係
5-4 確率変数(X1、X2、…、Xn)のエントロピー
演習問題

6章 情報源と符号化
6-1 情報の表現と情報源符号化
6-2 情報源とそのエントロピー
6-3 情報源符号化のモデルと目標
6-4 情報源符号化の例(ハフマン符号)
演習問題

7章 平均符号語長の下界
7-1 符号に要求される条件
7-2 符号木と語頭条件
7-3 クラフトの不等式
7-4 平均符号語長の下界とエントロピー
演習問題

8章 理想符号語長とエントロピー
8-1 理想符号語長と記号の情報量
8-2 2進数の復習
8-3 シャノン・ファノ符号
8-4 クラフトの不等式を満たす符号の構成
8-5 語頭符号で達成できる平均符号語長
演習問題

9章 情報源符号化定理
9-1 複数の記号を単位とした符号化
9-2 拡大情報源
9-3 情報源符号化定理
9-4 より実用的な情報源符号化法
演習問題

10章 マルコフ情報源
10-1 情報源の性質
10-2 マルコフ情報源
10-3 正規マルコフ情報源の定常分布
10-4 情報源の拡大とエントロピーの変化
10-5 情報源の記憶とエントロピー
演習問題

11章 通信路と符号化
11-1 通信路のモデル
11-2 誤り訂正と誤り検出
11-3 通信路符号化とその性能
11-4 誤り訂正符号の能力と復号法
演習問題

12章 線形符号
12-1 有限体上のベクトル空間と線形写像
12-2 線形符号
12-3 双対符号
12-4 線形符号の生成行列と検査行列
12-5 線形符号の復号法
演習問題

13章 線形符号の具体例
13-1 線形符号の最小距離
13-2 繰返し符号
13-3 単一パリティ検査符号
13-4 ハミング符号
13-5 リード・マラー符号
13-6 低密度パリティ検査符号
演習問題

14章 通信路容量と通信路符号化定理
14-1 通信路符号化定理とは
14-2 通信路容量
14-3 簡単な通信路の通信路容量
14-4 通信路符号化定理
14-5 具体的な符号の構成
演習問題

15章 情報理論の発展と応用
15-1 誤り訂正符号の歴史
15-2 多ユーザが混在する通信と情報理論
15-3 ネットワーク符号化
15-4 情報理論と暗号
15-5 情報理論の可能性
演習問題

演習問題解答
参考文献
索引

 

楫 勇一 (著)
出版社 : オーム社 (2013/10/26)、出典:出版社HP