ページコンテンツ
【最新 – 情報理論について学ぶためのおすすめ本 – 入門から応用まで】も確認する
主要定理が分かる
抽象的でイメージしにくい情報理論を、イラストを用いてやさしく解説しています。2進数から誤り訂正符号まで、初学者が知っておくべき知識を丁寧に扱っています。情報理論の本質がよくわかる1冊です。
まえがき
我が国には多数の情報理論の教科書が存在し、毎年新たな教科書が発行されるといっても過言ではありません。このような教科書の中で、大学院生向けあるいは専門家向けのハイレベルの教科書に限れば、古くから多数の名著があります。しかしながら、入門者向けの教科書には、どれにも一長一短がありました。そこで、本書は入門者向けの最良の教科書を目指したものです。本書の特長は次のように述べられます。
❶欧米の標準的な教科書に内容を準拠し,情報理論の国際水準の教科書を目指しました。
❷イラストを多用し、情報理論の各種概念が直感的にわかるようにしました。
❸筆者が長年講義した内容の中から、学生の反応が良かったものを取捨選択することで、わかりやすい説明をするように心がけました。
❹煩雑で長い式の導出を避け、頻繁に説明を入れるようにしました。
❺入門書では避けていますが重要なテーマである通信路符号化定理とLempelZiv符号の最良性の証明を記述しています。特に通信路符号化定理の証明は、初学者が戸惑うランダム符号化を用いず、符号の構成法を示すことで行っています。
❻情報理論の本質ともいえる典型系列について章を設け、典型系列の重要性を強調しています。
本書を読むことで,より高度な情報理論を学ぶ際にも必要かつ十分な基礎が確立できると考えています。
最後に、演習問題の作成をお手伝い頂いた東京工業大学の松田哲直君に感謝します。また、本書執筆のきっかけは、講談社サイエンティフィクの横山真吾氏の勧めによるものであり、出版に際しては横山真吾氏に終始お世話になりました。ここに深く御礼申し上げます。
2011年12月
植松友彦
目次
第1章 情報理論の概要
1.1 情報源の符号化
1.2 通信路の符号化
第2章 情報の表現
2.1 集合
2.2 ２進数
2.3 アルファベットと符号化
2.4 ASCII符号
第3章 確率の基礎
3.1 事象と確率
3.2 条件付き確率と事象の独立性
3.3 確率変数と確率分布
3.4 平均と分散
第4章 情報量
4.1 エントロピー
4.2 同時エントロピーと条件付きエントロピー
4.3 ダイバージェンスと相互情報量
第5章 情報量の性質
5.1 エントロビーの加法性
5.2 相互情報量の性質
5.3 イェンゼンの不等式とその応用
5.4 ダイバージェンスの性質とその応用
5.5 対数和不等式とその応用
第6章 情報源のモデルとエントロピーレート
6.1 情報源のモデル
6.2 マルコフ情報源
6.3 エントロビーレート
6.4 定常情報源のエントロビーレート-
第7章 典型系列とその性質
7.1 大数の法則
7.2 近等分割性と典型系列
7.3 典型系列の応用
第8章情報源の符号化
8.1 符号の例
8.2 クラフトの不等式
8.3 平均符号語長の限界
第9章 ハフマン符号とLZ符号
9.1 ハフマン符号
9.2 LZ符号
第10章 通信路のモデルと通信路容量
10.1 情報通信のモデル
10.2 通信路
10.3 通信路容量
10.4 対称通信路の通信路容量
第11章 通信路符号化定理
11.1 通信路符号と通信路符号化定理
11.2 同時典型系列とその性質
11.3 通信路符号化定理の証明
11.4 ファノの不等式と通信路符号化逆定理
第12章 誤り訂正符号
12.1 ２元体
12.2 単一パリティ検査符号と線形符号
12.3 ハミング符号
12.4 最小距離と誤り訂正能力
12.5 復号誤り率が零に収束する符号列の構成法
関連図書
演習問題の解答
索引
記号の説明
