【最新】情報理論について学ぶためのおすすめ本 – 入門から応用まで

はじめての情報理論

挫折しないで続けられる

実際に講義を受講した学生の反応や意見をふまえて書かれているので、つまずきやすいポイントがカバーされています。特長は、省略のないわかりやすい式展開、変数や数学表記がすぐにわかるような表記一覧です。はじめて情報理論を学ぶ方におすすめの入門書です。

はじめての情報理論

小嶋徹也 (著)

出版社 : 近代科学社 (2011/10/5)、出典:出版社HP

◆読者の皆さまへ◆

小社の出版物をご愛読くださいまして、まことに有り難うございます。
おかげさまで、(株)近代科学社は1959年の創立以来、2009年をもって50周年を迎えることができました。これも、ひとえに皆さまの温かいご支援の賜物と存じ、心より御礼申し上げます。
この機に小社では、全出版物に対してUD(ユニバーサルデザイン)を基本コンセプトに掲げ、そのユーザビリティ性の追究を徹底してまいる所存でおります。
本書を通じまして何かお気づきの事柄がございましたら、ぜひ以下の「お問合せ先」までご一報くださいますようお願いいたします。
お問合せ先:reader@kindaikagakucojp
なお、本書の制作には、以下が各プロセスに関与いたしました:
・企画:山口幸治
・編集:山口幸治
・組版:1VIEX/藤原印刷
・印刷:藤原印刷
・製本:藤原印刷
・資材管理:藤原印刷
・カバー表紙デザイン:川崎デザイン
・広報宣伝営業:富高塚、山口幸治

まえがき

1948年にクロードEシャノンが著した論文“A Mathematical Theory of Communication”が世に出てから60年を超える歳月が流れた。この論文は、何やら実体のわからない「情報」と呼ばれるものに定量的な意味を与え、その後のコンピュータや情報通信の歴史に多大な影響を与える礎となったという意味で、大変重要である。我々は現在、ブロードバンドインターネット、地上デジタルテレビ放送、スマートフォンなど、高度に発達した情報通信技術の恩恵を受けているし、日常生活に必要ないわゆる白物家電といわれる電気製品にすら、小型のコンピュータが組み込まれている。この60年間に情報工学の分野でいかに技術が進歩してきたかを考えると、シャノンによってもたらされた「情報理論」の誕生は、人類の現代史において重大な1ページだったのではないかとすら思えてくる

本書について

本書は、高等専門学校の高学年および工学系大学の学部生を主な読者に想定し、授業や自学自習で活用できるテキストとして、情報理論の基礎やエッセンスの部分をわかりやすくまとめたものである。本書を読むにあたり、高度な数学的知識は必要としないことに加え、最も基本となる確率論に関する知識については、最初の章で必要にして十分なものに限ってまとめてあるため、初習者にも抵抗なく読み進められるようになっている。
一方で、情報理論分野の第一線で活躍される専門の研究者の方が本書を手に取って見ると、「こんなものが情報理論と呼べるのか」と思われるかもしれない。なぜなら、ブロック長が無限大の場合の漸近的性質や漸近等分割性、タイプの理論などについては、名前すら出てこないし、シャノンの情報源符号化定理や通信路符号化定理でさえ、結果のみが紹介されているに過ぎない。
しかし、それでも著者は、これでいいのだと自負している。確かに本書で扱っている内容とその体裁は、一般的な教科書と比べるとトリッキーかもしれない。それでもあえて著者がこのような形を指向したのには大きく3つの理由がある。
・まず1つは、情報理論に初めて触れる者にとって、自力でも読み易い入門書がほとんどないことである、ここ10年ほどの間に情報理論に関する手頃な教科書が出版されるようになってはきた。しかし、著者が大学から高専に移った約10年前の時点で、20歳になるかならないかの学生たちに半年で情報理論を教えるに際して、適当な日本語の教科書など皆無であった著者の講義を受けていた多くの学生たちは、研究者というよりも技術者を目指しており、情報量や符号語長の漸近的性質などをとうとうと説くよりも、手を動かしながら、現実的な問題を取り扱う方がより効果的であった上、その方が教育的意義もあった。そのため、内容を絞り込んで講義に臨む上で作成したのが本書の卵ともいえる自筆の講義メモである
・二点目は、若年層の活字離れが深刻になっていることである。今の学生はあまり本を読まない、じっくり書物を読み込むことに慣れていないので、文字がびっしり詰まった本には多かれ少なかれ拒否反応が出る者も少なくない。ただ、これは必ずしも学生たちの理解能力が劣っているわけではなく、単に専門書のフォーマットに慣れていないだけなのではないだろうか。そこで、本書では、本を読み慣れない学生にも手に取ってもらえるよう、後述するように徹底的にフォーマットにこだわることとした。
・最後の、そして最大の理由は、本書を手に取ることで、情報理論がなにやら面白そうな分野だと感じ、もう少し勉強してみようと思う学生が一人でも二人でも出てきて欲しいと思ったことである。理論的な学問分野であるという性格上、講義を通して、情報理論の本質の部分をしっかり理解させようと思うと、おのずと内容は高度になるし、教科書も難しくならざるを得ないだろう。ところが、そうすることで、学生たちがこの分野に魅力を感じ、関心を抱くチャンスを奪ってはいないだろうか潜在的には研究者としての資質を持ちながら、幸福な出会いをしなかったがために、進むべき道を変えてしまう学生がいないだろうか、その意味で我々は将来の情報理論を支える若い芽を摘んでしまってはいないだろうか、そんなことに思いをはせた結果、著者自身に今できることは、情報理論の中心的なトピックスについて、正確かつ深遠な講義を繰り広げることよりもむしろ、その魅力やエッセンスをこそ伝えることなのではないだろうか、そう考えたことが、本書の執筆を決断する最後の引き金になったのだと自覚している。

上述の通り、本書においては、ブロック長が十分に大きな場合を考えるような漸近論に触れる内容は原則として割愛した。主に焦点を当てたのは、第一にエントロピー、ダイバージェンス、相互情報量といった基本的な情報量がもつ意味を伝えることと、手計算や電卓、コンピュータ等を用いて、それらの値を求めることである。第二には、最適な可変長符号であるハフマン符号化の操作を学生自身が行えるようになることを目標に、符号の概念、分節可能符号や語頭符号の定義を例を交えながら紹介し、実際の符号化アルゴリズムを体験させることであった。著者自身の講義メモでは、以上の内容で週1回、半年の授業で手一杯であったが、本書をまとめるにあたり、通信路符号化や情報理論の応用に関する部分を加筆した。

授業での利用について

先にも書いたとおり、本書は学生自身が自学自習用にも使えるよう、構成に工夫を凝らしている:
半期15回の授業を想定し、全部で15章からなるが、すべての章は、10ページで同じ構成になっている。各章の1ページ目はSTEP1として、その章で学ぶ内容に関したクイズを出題し、2ページ目には「STEP2:学びのポイント」と題して、各章で学ぶ目標と主なキーワードを並べている。3ページ目から8ページ目の正味6ページが「STEP3:学びの実践」と題した本文であり、8ページ目の最後に「STEP4:章のまとめ」として、学んだ内容を総括している。残り2ページが「STEP5:実カチェック」と題した演習問題である。
演習問題は「A:基本問題」「B:チャレンジ問題」「C:実践問題」と3段階にレベル分けしており、おおむね、Aは講義を受ける学生全員に習得してほしいレベル、Bはもう少し学びたい学生のための難しめの問題や発展的問題、最後のCはプログラミング演習や文献による調査などを行うフィールドワーク的な課題である。AとBについては、巻末に極力完全解を示している。
今や、大学でも高専でも半期の授業は原則15回実施することとなっているが、実際には、ガイダンスや試験およびその解説、授業のまとめなどで、実質的に授業を行えるのは12回から13回程度というところであろう。したがって、本書を授業で使用する際には、必要に応じて第1章の確率論の復習や、第12章から第15章のあたりは、適宜省略して構わない。また内容としてはハフマン符号を1つのゴールとした情報源符号化の内容に絞り込んでいるため、通年で情報理論の講義を行っている場合は、半期分のテキストとして利用し、本書を前期に学んだ後で、後期に通信路符号化や符号理論の内容を学ぶと、本書の第12章から第15章あたりの内容も前後期の橋渡し的な役割を果たすと考えられる
本書は著者が高専における講義メモとして作ったものが基になっていることは先に述べたが、著者には、高専の教育が大学に比べて劣っているとは思えないし、いたずらに内容のレベルを落としているという自覚もない。したがって、本書を大学の学部の授業でも使っていただき、学生や教員のみなさんからどんなことでもフィードバックがいただければ、著者としてこれ以上の喜びはない。その上、今後の自分自身の授業改善にもつながるかもしれぬと(ひそかに)期待している。

謝辞

最後に、本書を執筆するにあたり、お世話になった方々に感謝の意を表したい、まず、近代科学社の山口幸治氏には、本書執筆のきっかけを作っていただき、3年前の企画段階から何度となくお会いし、そのたびに叱咤激励していただいた、氏との対話を通じて、著者自らの執筆方針や教育に関する考え方が誤っていなかったことを再確認するとともに、本書のスタイルがじわじわと固まってきたという実感がある。筆の遅い筆者を辛抱強く待っていただいたことも含め、心より感謝するまた、東京工業高等専門学校情報工学科の鈴木雅人教授には、著者が1年間の在外研究で不在の間に、本書の草稿を用いて筆者の代理で情報理論の講義を担当していただいた。ご迷惑をおかけすることにはなったと思うが、著者にとっては本書が自分以外の教員が担当する授業で十分使用に耐えうるものであることが証明され、大変励みになった。深く感謝する。
なお、東京工業高等専門学校専攻科生の滝澤尚也君と無龍輔君には、演習問題の解答のチェックをしていただいた。深く感謝するとともに、彼らの特来が輝かしいものであることを心より祈る次第である。
そして、締め切りや講義の準備等に追われ、休日も家で仕事をする筆者を許し、心の支えとなってくれた妻と二人の子供たちに心から感謝の気持ちを伝えたい。

2011年9月
小嶋徹也

はじめての情報理論

小嶋徹也 (著)

出版社 : 近代科学社 (2011/10/5)、出典:出版社HP

イラストで学ぶ情報理論の考え方 (KS情報科学専門書)

イラストで学ぶ情報理論の考え方 (KS情報科学専門書)

主要定理が分かる

抽象的でイメージしにくい情報理論を、イラストを用いてやさしく解説しています。2進数から誤り訂正符号まで、初学者が知っておくべき知識を丁寧に扱っています。情報理論の本質がよくわかる1冊です。

植松友彦 (著)

出版社、出典:出版社HP

イラストで学ぶ情報理論の考え方 (KS情報科学専門書)

まえがき

我が国には多数の情報理論の教科書が存在し、毎年新たな教科書が発行されるといっても過言ではありません。このような教科書の中で、大学院生向けあるいは専門家向けのハイレベルの教科書に限れば、古くから多数の名著があります。しかしながら、入門者向けの教科書には、どれにも一長一短がありました。そこで、本書は入門者向けの最良の教科書を目指したものです。本書の特長は次のように述べられます。

❶欧米の標準的な教科書に内容を準拠し,情報理論の国際水準の教科書を目指しました。
❷イラストを多用し、情報理論の各種概念が直感的にわかるようにしました。
❸筆者が長年講義した内容の中から、学生の反応が良かったものを取捨選択することで、わかりやすい説明をするように心がけました。
❹煩雑で長い式の導出を避け、頻繁に説明を入れるようにしました。
❺入門書では避けていますが重要なテーマである通信路符号化定理とLempelZiv符号の最良性の証明を記述しています。特に通信路符号化定理の証明は、初学者が戸惑うランダム符号化を用いず、符号の構成法を示すことで行っています。
❻情報理論の本質ともいえる典型系列について章を設け、典型系列の重要性を強調しています。

本書を読むことで,より高度な情報理論を学ぶ際にも必要かつ十分な基礎が確立できると考えています。
最後に、演習問題の作成をお手伝い頂いた東京工業大学の松田哲直君に感謝します。また、本書執筆のきっかけは、講談社サイエンティフィクの横山真吾氏の勧めによるものであり、出版に際しては横山真吾氏に終始お世話になりました。ここに深く御礼申し上げます。

2011年12月
植松友彦

植松友彦 (著)

出版社、出典:出版社HP

シャノンの情報理論入門 (ブルーバックス)

情報を数学的に扱うとはどういうことかがわかる

本書は、情報理論の基礎的な内容を解説している本です。情報科学は、形のない情報を数量的に扱えるようにしたことで、社会を大きく変えることになりました。そのようなことを踏まえて、この本では、数学的に情報を扱う仕組み、情報理論の歴史や情報通信の基本的な原理を、比較的わかりやすく解説しています。

シャノンの情報理論入門 (ブルーバックス)

高岡詠子 (著)

出版社 : 講談社 (2012/12/21)、出典:出版社HP

まえがき

「コンピュータ」や「情報」といった言葉は知っているけれど、「その本質を数学的に示す」とはどういうことだろう?情報源符号化定理、通信路符号化定理、通信路容量、標本化定理など、言葉は聞いたことがあるけれど、いったいどういうことなんだろう?という疑問をお持ちのかたも多いのではないかと思います。そんなみなさんに、ぜひ読んでいただきたい…。
この本では、それまで曖昧な概念だった情報というものを、数量的に扱えるように定義し、情報についての理論(情報理論)という新たな数学的理論を創始した、クロード・E・シャノンという人に焦点を当て、彼が作り上げた「シャノンの情報理論」について難しい概念をなるべく使わないようにして話を展開していきます。
私は、大学で情報科学、情報理工学を教えています。放送大学共通科目のテレビ「情報科学の基礎」など情報に関するいくつかの科目でも講師を務めています。担当科目の中で最初に触れるのがやはり「情報」という形のないものをどう扱っていくかということです。この本でも「情報とは何か?」「情報が伝達されるとは、どういうことか」という部分にフォーカスを当てることにしました。「情報とは何か?」と考えた時に触れるべきことがらは、「情報」そのものに加え、通信の他に、データの扱い、計算の方法、計算可能性などがあります。さらにコンピュータの原理である計算という概念を中心とし、アルゴリズム、プログラミング、計算量、万能性についても扱うべきですが、それらについては統編を期待していただきたいと思います。
本書で扱う内容は「形のない情報を表現し、伝達する」ための数学的背景といってもよいでしょう。プログラミングや計算量の側面からは考えず、あくまでも「情報」という側面から考えてゆくことにしたいと思います。
形のないものを数学的に導いていくので、若干の数式がでてきます。特に対数を多く使いますが、読むだけでは難しい方はぜひ紙とペンで計算をしてみてください。手を使って書くことによって脳が活性化すると言われているようですからぜひトライしてみてください。それでは、形のないものの世界へShall we go?

シャノンの情報理論入門 (ブルーバックス)

高岡詠子 (著)

出版社 : 講談社 (2012/12/21)、出典:出版社HP

第4章通信量を減らす?:情報源符号化定理
符号化と情報量
復号可能―一意復号可能と瞬時符号
平均符号長
情報源符号化定理といろいろな符号化法
シャノン・ファノ符号化法
ハフマン符号化法
情報源符号化定理についてのまとめ

第5章伝言ゲームでは困るー誤りを減らす
5-1　通信路はどれくらいの処理スピードを持つのか
通信路と相互情報量
相互情報量とデータマイニング
通信路はどれくらいの処理スピードを持つのか一通信路容量
相互情報量が通信路の評価基準となるわけ
相互情報量の計算の方法
通信路容量

5-2　誤りを減らすためにはどう送ればよいか
通信路符号化定理
通信路を符号化すること
通信路符号化定理の真髄

5-3　連続した情報を扱う一標本化定理
波を周波数でとらえるか?時間でとらえるか?
標本化定理
なぜ2倍以上必要か?
連続量への応用
シャトーンの情報理論のエッセンス

第6章情報科学の歴史の中の情報理論
情報科学の中の情報理論
コンピュータ史からのアプローチ
チューリングとシャノン
チューリング・マシンと計算可能生
チューリング・マシンからフォン・ノイマン型コンピュータへ
「最初のコンピュータ」は?
コンピュータの万能性
シャノンの情報理論の応用

あとがき
参考文献
さくいん

シャノンの情報理論入門 (ブルーバックス)

高岡詠子 (著)

出版社 : 講談社 (2012/12/21)、出典:出版社HP

OHM大学テキスト情報・符号理論

情報理論と符号化に関するテキスト

本書は、情報理論と情報源の符号化を解説しているテキストです。主に情報工学を専攻している学生向けの内容となっています。情報通信を支える理論について、初学者に向けて、基礎的な内容を比較的平易な文章で解説しています。発展的な内容はそこまで多くなく、基礎を固めるテキストと言えます。

OHM大学テキスト情報・符号理論

楫勇一 (著)

出版社 : オーム社 (2013/10/26)、出典:出版社HP

電子デバイス・物性部門
量子物理
電気電子材料
固体物性工学
半導体デバイス工学
集積回路工学
光エレクトロニクス
アナログ電子回路

共通基礎部門
電磁気学I・II
電気回路I・II
論理回路
電気数学I―行列、ベクトル解析―
電気数学II―複素数、フーリエ・ラプラス変換―

電気エネルギー部門
パワーエレクトロニクス
電気機器学
高電圧工学
電力システム工学
電力発生・輸送工学

制御・計測部門
制御工学
現代制御理論
電気電子計測
システム工学
ロボット・メカトロニクス

通信・信号処理部門
ディジタル信号処理
通信方式
情報通信ネットワーク
光通信工学
ワイヤレス通信工学

情報部門
情報・符号理論
アルゴリズムとデータ構造
並列処理
メディア情報工学
情報セキュリティ
情報ネットワーク
トコンピュータアーキテクチャ

OHM大学テキストシリーズシリーズ巻構成

刊行にあたって

編集委員長辻毅一郎

昨今の大学学部の電気・電子・通信系学科においては,学習指導要領の変遷による学部新入生の多様化や環境・エネルギー関連の科目の増加のなかで、カリキュラムが多様化し、また講義内容の範囲やレベルの設定に年々深い配慮がなされるようになってきています。
本シリーズは、このような背景をふまえて、多様化したカリキュラムに対応した巻構成、セメスタ制を意識した章数からなる現行の教育内容に即した内容構成をとり、わかりやすく、かつ骨子を深く理解できるよう新進気鋭の教育者・研究者の筆により解説いただき、丁寧に編集を行った教科書としてまとめたものです。
今後の工学分野を担う読者諸氏が工学分野の発展に資する基礎を本シリーズの各巻を通して築いていただけることを大いに期待しています。

編集委員会
編集委員長辻毅一郎(大阪大学名誉教授)
編集委員(部門)
共通基礎部門
小川真人(神戸大学)
電子デバイス物性部門
谷口研二(奈良工業高等専門学校)
通信・信号処理部門
馬場口登(大阪大学)
電気エネルギー部門
大澤靖治(東海職業能力開発大学校)
制御・計測部門
前田裕(関西大学)
情報部門
千原宏(大阪電気通信大学)
(※所属は刊行開始時点)

「OHM大学テキスト情報符号理論」
編者・著者一覧
編著者
標勇一(奈良先科学技術大学院大学)[1,10,15章]

執筆者(執筆順)
岩田賢一(福井大学)[2～5章] 同成晃(和歌山大学)[6～9章] 井坂元彦(関西学院大学)[11～14章]

本書を発行するにあたって、内容に誤りのないようできる限りの注意を払いましたが、本書の内容を適用した結果生じたこと、また、適用できなかった結果について、著者、出版社とも一切の責任を負いませんのでご了承ください。

まえがき

情報理論は、情報を正確に、効率よく伝えるための理論と技術を扱う学問である。
我々の周りにはコンピュータや携帯電話、タブレット等が溢れかえっており、日々、大量の情報を正確に伝えてくれている。しかし、情報は、放っておけば勝手に伝わるものではなく、我々が日常的に使っている通信の仕組みも、たくさんの人が長い時間をかけて作り上げてきたものであることを忘れてはならない。今日の技術は多くの発明や発見に支えられているが、その「礎」にあたるものが、本書で学ぶ情報理論である。今ある通信技術を理解し、それを乗り越えて高度化していくためには、情報の伝達という問題の原点に立ち返り、情報理論について学ぶことが重要なのである。
情報理論は、クロード・シャノンにより1948年に発表された記念碑的論文「通信の数学的理論」を契機として誕生した体系である。今日のディジタル通信や情報処理装置の実現に多大な貢献をしてきた理論であるが、その中身は、きわめてシンプルな議論を、きわめて急当に積み重ねていくことで構成されている。本書は、その情報理論の基礎的な内容を初学者向けに解説した教科書である。より多くの学生に使ってもらえるようできるだけ平易な説明を心がけ、また、確率論に関する復習等も本書の一部に含めている。その一方、各種の証明等については割愛した部分も多いことを、あらかじめお断りしておかなければならない。本書の内容に物足りなさを感じ、情報理論についてより深く学びたいと考える読者は、巻末にあげた参考文献も参照してほしい。
本書の執筆にあたっては、大学の授業等で使われることを意識し、90分の授業1回で学ぶのに過不足のない内容を1つの章にまとめ、全部で15の章を設けることとした。それぞれの章の内容や位置づけについて事前に入念な検討を行い、様が1、10、15章、岩田が2章から5章、葛岡が6章から9章、井坂が11章から14章を担当することとした。各章の内容は深く関わりあっているため、執筆後に十分な時間をかけて合議し、記述内容や記法、文章表現等について調整を行っている。その調整に思いのほか長い時間がかかり、オーム社出版局の関係各位には一方ならぬご苦労をおかけしてしまった。この場を借りてお詫び申し上げるとともに、あらためて謝意を表したい。

2013年9月
編著者　楫勇一

OHM大学テキスト情報・符号理論

楫勇一 (著)

出版社 : オーム社 (2013/10/26)、出典:出版社HP

情報理論のエッセンス(改訂2版)

情報理論の教科書

大学の情報系の学科で必修科目である「情報理論」のエッセンスが詰め込まれた教科書です。多くの人が難しいと感じる部分は、より丁寧に解説されるなどの工夫がされています。補足的な説明やコラムが掲載されているので、応用につながる知識を身につけやすいです。

平田廣則 (著)

出版社 : オーム社; 改訂2版 (2020/10/15)、出典:出版社HP

はじめに

世界中への2020年の新型コロナウイルス(COVID-19)の席巻により、強制的に世の中の仕組みの変革が迫られ、テレワーク(在宅勤務)、テレビ会議、オンライン、リモートなどの言葉が飛び交い、高度情報化社会を支える情報技術の革新・進歩の重要性が増大した。
その高度情報化社会において、通信・インターネット、コンピュータなどディジタル社会関連基幹技術の根幹をなす理論の1つが、情報理論である。
情報理論は、情報分野、電気電子分野をはじめ、理工系諸分野の基礎科目であるまた、現在においては種々の融合分野においてもその有用性が着目されている。
シャノンによりその基礎が構築された情報理論は、非常に明快な理論であり、優れた本も多く、現在も進歩している領域であるが、残念ながら、初学者(素人)がその基礎的本質を容易に理解できる教科書は、非常に少ない。著者は、大学学部生に長年情報理論を教えてきたが、残念ながら(あるいは、幸運にも)情報理論そのものを研究対象とした専門家ではない。システム科学・工学の領域で、特に生態ネットワークなどの大規模(複雑)ネットワークを対象として、情報理論的思考をベースにした応用研究を行ってきた。
学生時代から教師時代を通して、専門家でないがゆえに初学者のわかりにくい点を我が身で感じ取り、それらを理解しやすくする道を、試行錯誤により、認識、実践できた。それらを、できるだけ本書で読者の方々にお伝えできればと思う。

本書の特徴は
・かゆいところに手が届く、わかりやすい内容になっている。
・情報理論のエッセンスに絞って、やさしく解説している。
・2種類のタイプの《ノート》と《ノート(Advance Note)》を設け、本書本文の内容の理解を助ける内容と、各自が本書以上の一歩進んだ発展的勉強・研究を目指すときに役立つ内容を区別して説明している。各自の必要によって活用していただければよい、本文の内容が理解できれば、《ノート》の項は、読み飛ばしてもかまわない。
・必要性と授業時間の制約などから、授業では省略してもよい章、節に印を付けている。
・演習問題を各章の最後に設けている解答は34頁にわたり、各問に非常に詳しい解答を付けてある。チャレンジしてできなかったときは、解答で勉強し、再チャレンジできるように工夫してある。
・演習問題の各問には、難易度のレベルを5段階★~★★★★★で示し、また、チャレンジした回数Challenge口口口口をも記載できるようにしている。

以上より、本書は、情報理論を、情報関連科目、あるいは理工系分野の基礎科目として学ぶ学生諸氏をはじめとして、種々の分野の方々が、情報理論の基礎とエッセンスを手軽に修得されることに適した本となっている。また、将来において一層進んだ情報理論の学習が必要となった場合には、本書で修得したエッセンスを基礎として、本書よりも発展的な内容が十分理解できるようにも構成した。
終わりに、この度本書の改訂の機会を与えていただいた株式会社オーム社編集局の皆様に、深く感謝する。

2020年夏著者

平田廣則 (著)

出版社 : オーム社; 改訂2版 (2020/10/15)、出典:出版社HP

本書について

本書では、皆さんの理解を助けるためのいくつかの「新しい試み」をしています。それらを以下で説明します。

キーワード
各章で抑えるべき重要な用語をまとめてあります。各章の理解度を測るうえで、各キーワードを自分で説明できるかどうか、各章を学習した際に試みてください。

ノートとアドバンスノート
2種類のタイプの《ノート》と《ノート(Advance Note)》を設け、本書本文の内容の理解を助ける内容と、各自が本書以上の一歩進んだ発展的勉強・研究を目指すときに役立つ内容を区別して説明しています。各自の必要によって活用してください。本文の内容が理解できれば、《ノート》の項は、読み飛ばしてもかまいません

例
具体例を実際に自分の手で解いて、理解につなげてください。

性質、定理
重要な性質や定理を次のような枠で囲っています。内容をよく理解してください。

証明
命題の証明をしています。読みとばしてもかまいませんが、本質の理解に生かしてください。

演習問題
演習問題の各問には、難易度のレベルを5段階★~★★★★★で示し、また、チャレンジした回数Challenge|ロロロロをも記載できるようにしています。チェック〈V〉を書き入れて、自分の努力の足跡を記入し、実力のアップに活用してください。

平田廣則 (著)

出版社 : オーム社; 改訂2版 (2020/10/15)、出典:出版社HP

第4章情報源
4.1 情報源モデル
4.2 情報源の種類
4.3 無記憶情報源(独立情報)モデル
4.4 通報(メッセージ)
4.5 マルコフ情報源
4.6 マルコフ連鎖(マルコフチェーン)
4.7 単純マルコフ情報源モデル
4.8 シャノン線
4.9* 正規マルコフ情報源
4.10* エルゴードマルコフ情報源演習問題

第5章情報源符号化
5.1 符号化
5.2 符号のクラス
5.3 瞬時符号
5.4 クラフトの不等式一符号語長への制約一
5.5 拡大情報源
5.6 情報源符号化定理一平均符号長の下限―
5.7 符号の効率と冗長度
5.8 コンパクト符号

第6章具体的符号化法、
6.1 シャノン・ファノ符号
6.2 ハフマン符号演習問題

第7章通信路と相互情報量
7.1 通信路モデル
7.2 通信路での確率関係
7.3 通信路での平均情報量(エントロピー)の関係
7.4 相互情報量一通信路により伝送される情報量一
7.5 相互情報量の確率表現
7.6 相互情報量の性質
7.7 種々の通信路
7.7.1 音のない通信路
7.7.2 確定的通信路
7.8 通信路容量
演習問題

第8章通信路符号化
8.1 シャノン・ファノの通信システムのモデル
8.2 通信路符号化とは?
8.3 通信路符号化定理
8.4* 情報源符号化定理と同値な雑音のない通信路の符号化定理
演習問題

第9章誤り検出と訂正
9.1 冗長性
9.2 パリティ検査(パリティチェック)
9.3 ハミング産
9.4 誤り検出と訂正の原理
9.4.1 s個以下の誤りの検出
9.4.2 t個以下の誤りの訂正
演習問題

第10章線形符号
10.1 組織符号
10.2 ２元(n、k)符号
10.3 生成行列G
10.4 検査行列H
10.5 シンドロームと読り検出・訂正
10.6* 線形符号Cの最小ハミング距離ｄmin(C)
演習問題

第11章* 巡回符号
11.1 巡回符号とは?
11.2 符号多項式
11.3 符号多項式の性質
11.4 生成多項式G(x)
11.5 検査多項式H(x)
11.6 シンドローム多項式S(x)
11.7 生成行列G(C)と検査行列H(C)
11.8 巡回符号の生成行列と検査行列の構成例
演習問題

付録A 10進数の2進数への変換
A.1 １０進数で表された整数の2進数への変換
A.2 １０進数で表された小数の2進数への変換

付録Ｂ log2xの数表

参考文献
演習問題の解答例
索引

(注)必要性と授業時間の制約などから、授業では省略してもよい章、節に*印を付けている。

平田廣則 (著)

出版社 : オーム社; 改訂2版 (2020/10/15)、出典:出版社HP

情報理論改訂2版

情報理論を直感的に理解できる

イメージしにくい情報理論を豊富な図解や例を用いて解説することで、直感的な理解をサポートしています。また例題や演習問題を通じて、実践的な知識を身につけることができます。今回の改訂で最新の知見の解説も追加されたため、初学者だけでなく技術者にもおすすめの1冊です。

情報理論改訂2版

今井秀樹 (著)

出版社 : オーム社; 改訂2版 (2019/2/22)、出典:出版社HP

改訂2版まえがき

本書の初版が出版されてから、既に35年以上経過している。その間、本書は多くの大学や教育機関で教科書として用いられ、非常に多くの方々にお読みいただけた、それが、我が国の情報関連の技術の発展に少しでも貢献したとすれば、著者として望外の喜びである。
この35年の間、本書の軽微な改訂・修正は行ってきたが、情報理論に密接に関連する符号化技術や通信放送技術のこの間の進展は目覚ましく、現在の情報理論全体を見渡すには増補が必要と考え、今回改訂を行うことにしたのである。実際、情報理論の応用分野は拡大を続けている。今日急速に進展している通信放送技術やコンピュータ技術はいうまでもないが、最先端の人工知能分野や遺伝子工学あるいは経済学などの分野でも情報の扱いは基本的重要性をもっていて、情報理論の考え方が、そこかしこで用いられている。
とはいえ、情報理論の基盤そのものが変わったわけではない。情報や情報量の概念、それを扱う基本的手法は不変である。そこで、改訂に際しても、初版を著したときの方針を変えないこととした。すなわち、情報理論の主要な問題を明示し、それに答えていくという形式はそのままであるし、内容の多くも、よりわかりやすくするような若干の変更は行っているが、初版を踏襲している。
しかし、今回いくつかの新しい技術を取り入れている。複雑な構造をもつ通信システムにおける符号化法や確率的性質が未知の情報源に対するユニバーサル符号化法、そして非常に強力な誤り訂正符号である低密度パリティ検査符号の構成法とその繰返し復号法などである。これらは今日広く使われるようになってきた。
今回の改訂で取り入れなかった理論に量子情報理論がある、量子コンピュータや量子暗号が現れつつあり、従来のスーパーコンピュータでは不可能であるような、ある種の高速演算や、絶対的に安全な暗号を実現する技術として期待されてはいるが、未だ技術が確立しているわけではなく、本書に入れるには時機尚早と判断した。しかし、これらの技術が順調に発展していけば、次の改訂の際には取り入れることになるであろう。
末筆であるが、本改訂版執筆の機会を与えていただいたオーム社津久井靖彦氏、角田一康氏、橋本享祐氏、刊行にあたり大変お世話になった原純子氏に心から感謝の意を表する次第である。

平成31年1月今井秀樹

初版まえがき

情報の伝達、蓄積、処理の技術は、今日の情報化社会を支える基盤技術となっている。情報理論は、この情報伝達、蓄積の効率化、高信頼化に関する基礎理論である。また、それは、“情報”に対し、一つの重要な視点を与えるものであり、およそ情報を扱う技術者、研究者にとって、一度は学ばねばならない理論である。
もとより、情報理論は万能ではない、情報の伝達、蓄積、処理に関するすべての問題がこれで解決できるというものではないのである。情報理論にあまりにも多くを期待し、やがて失望し、去っていった技術者も、決して少なくはない。しかし、情報理論は、その限界を知り、適切に用いるなら、きわめて有用なものである。
情報理論は、美しい理論体系を持っている。しかし、それは単なる数学理論ではない、情報伝達、蓄積の多くの分野で実際に用いられ、情報化社会の進展に伴って、その応用範囲をさらに拡げつつある工学理論でもある。
本書は、情報工学、通信工学、電気工学、電子工学の学部学生を主たる対象とし、この工学理論としての情報理論を、できるだけ整理して、平易に記述したものである。本書は、はじめに、情報理論で扱う主要な問題を明示し、それに答えていくという形で書かれている。これにより、“なぜ、このようなことを考えるのか”ということが常に明確となり、深い理解が得られると考えたからである。
情報理論で扱う主要な問題とは、情報の伝達、蓄積の効率化、高信頼化の限界および実現法である。従来の情報理論では、限界の理論が中心となることが多かった。しかし、情報理論が工学的に広く応用されるようになってきた今日この理論において、限界と実現法は同等に扱われるべきであろうし、また、そのほうが、理論体系としても完備したものとなってくる。このため、本書では、実現法に多くの頁数を割いた。また、本書では、数学的厳密さにはあまりとらわれず、直観的な理解を重視
した。情報理論を応用し、それを発展させていくには、直観的な理解こそ重要だからである。このため図と例を多く用い、煩雑な式の導出はできるだけ避け、直観的な説明で置きかえた。さらに、章末には演習問題巻末には解答を付して、自習にも適するように編集した。これらの例や問題には、応用上深い意味を持つものが少なくない。
情報理論の研究は、今日も盛んであり、発展を続けている。その最近の研究成果を取り入れるのは、本書のような教科書では必ずしも適当ではないが、応用上重要で、将来情報理論の一つの核となり得ると思われるものは、あえて取り入れた。
さて、情報理論は、その応用が拡がりつつあるとはいえ、まだ用いるべきところに用いられていない例がきわめて多い。本書を通して、情報理論を深く理解し、それをさまざまな分野に応用していただければ、著者として、最大の喜ぴとするところである。
本書執筆中、巻末にあげた文献を種々参考にさせていただいた。これらの著者に敬意と謝意を表したい。また、本書執筆の機会を与えていただいた昭晃堂阿井國昭氏、刊行にあたり大変お世話になった小林孝雄氏、上原仁子氏に心から感謝の意を表する次第である。

昭和59年1月今井秀樹

情報理論改訂2版

今井秀樹 (著)

出版社 : オーム社; 改訂2版 (2019/2/22)、出典:出版社HP

第2章情報理論の問題
2.1 問題の提起
2.2 問題の設定
2.2.1 問題の整理
2.2.2 情報源符号化の問題
2.2.3 通信路符号化の問題
2.3 問題の発展
2.3.1 情報源符号化と通信路符号化の統合
2.3.2 通信システムのモデルの多様化
2.3.3 情報セキュリティのための符号化
2.3.4 情報理論の未来25

第3章情報源と通信路のモデル
3.1 情報源のモデル
3.1.1 情報源の統計的表現
3.1.2 無記憶定常情報源
3.1.3 定常情報源とエルゴード情報源
3.2 マルコフ情報源
3.2.1 マルコフ情報源の定義
3.2.2 状態の分類
3.2.3 極限分布と定常分布
3.3 通信路のモデル
3.3.1 通信路の統計的記述
3.3.2 無記憶定常通信路
3.3.3 ２元通信路の誤りによる表現
3.3.4 バースト誤り通信路
3.4 モデル化
演習問題

第4章情報源符号化とその限界
4.1 情報源符号化の基礎概念
4.1.1 情報源符号化に必要な条件
4.1.2 瞬時符号と符号の木
4.1.3 クラフトの不等式
4.2 平均符号長の限界
4.3 ハフマン符号
4.4 情報源符号化定理
4.4.1 ブロック符号化
4.4.2 情報源符号化定理
4.5 基本的な情報源のエントロピー
4.5.1 無記憶情報源のエントトロピー
4.5.2 マルコフ情報源のエンロビー
4.6 基本的情報源符号化法
4.6.1 ハフマンプロック符号化法
4.6.2 非等長情報源系列の符号化
4.6.3 ランレングス符号化法82
4.7 算術符号
4.7.1 情報源系列の累積確率
4.7.2 基本的算術符号化法
4.7.3 乗算の不要な算術符号化法
4.7.4 マルコフ情報源の符号化
4.8 ユニバーサル符号化法
4.8.1 典型的系列の数とエントロピー
4.8.2 数え上げ符号化法
4.8.3 適応符号化法
4.8.4 辞書法
演習問題

第5章情報量とひずみ
5.1 情報量の定義
5.1.1 平均符号長の下限としての情報量
5.1.2 直観的立場からの情報
5.2 エントロピーと情報量
5.2.1 あいまいさの尺度としてのエントロビー
5.2.2 エントロビーの最小値と最大値
5.3 相互情報量
5.3.1 相互情報量の定義
5.3.2 相互情報量の性質
5.4 ひずみが許される場合の情報源符号化
5.4.1 情報源符号化におけるひずみ
5.4.2 ひずみが許される場合の情報源符号化定理
5.4.3 速度ひずみ関数
5.4.4 ひずみが許される場合の情報源符号化法
演習問題

第6章通信路符号化の限界
6.1 通信路容量
6.1.1 通信路容量の定義
6.1.2 無記憶一様通信路の通信路容量
6.1.3 加法的2元通信路の通信路容量
6.2 通信路符号化の基礎概念
6.2.1 通信路符号
6.2.2 最尤復号法
6.3 通信路符号化定理
6.4 通信の限界
6.5 信頼性関数
演習問題

第7章通信路符号化法
7.1 単一誤りの検出と訂正
7.1.1 単一パリティ検査符号
7.1.2 水平垂直パリティ検査符号
7.1.3 (7,4)ハミング符号
7.1.4 生成行列と検査行列
7.1.5 一般のハミング符号
7.1.6 ハミング符号の符号化と復号
7.2 符号の誤り訂正能力
7.2.1 ハミング距離とハミング重み
7.2.2 最小距離と誤り訂正能力
7.2.3 限界距離復号法と最尤
7.2.4 BSCにおける限界距離復号法の復号特性
7.2.5 消失のある場合の復号
7.2.6 バースト誤りの検出と復号法
7.3 巡回符号
7.3.1 巡回符号の定義
7.3.2 符号器
7.3.3 巡回符号による誤りの検出
7.3.4 巡回ハミング符号
7.4 ガロア体
7.4.1 素体
7.4.2 拡大体
7.5 BCH符号
7.5.1 BCH符号の定義
7.5.2 BCH符号の復号
7.6 非2元誤り訂正符号
7.6.1 非2元符号による誤り検出と訂正
7.6.2 非2元単一誤り訂正符号
7.6.3 非2元BCH符号とRS符号
7.6.4 非2元符号を用いたバースト誤りの訂正
7.7 畳み込み符号とビタビ復号法
7.8 繰返し復号法
演習問題

第8章アナログ情報源とアナログ通信路
8.1 アナログ情報源と通信路に対する情報理論
8.2 標本化定理
8.2.1 アナログ波形の周波数成分
8.2.2 標本化定理
8.3 アナログ情報源とそのエントロピー
8.3.1 アナログ情報源
8.3.2 アナログ情報源のエントロビー
8.3.3 最大エントロビー定理
8.4 アナログ情報源の速度ひずみ関数
8.4.1 相互情報量
8.4.2 速度ひずみ関数
8.4.3 白色ガウス情報源の速度ひずみ関数
8.5 アナログ情報源に対する符号化
8.5.1 量子化
8.5.2 ベクトル量子化
8.5.3 変換符号化
8.5.4 予測符号化
8.6 アナログ通信路
8.6.1 アナログ通信路
8.6.2 通信路容量信路容量
8.6.3 白色ガウス通信路の通
8.7 アナログ通信路に対する符号化
8.7.1 アナログ通信路のディジタル化
8.7.2 アナログ通信路用符号
演習問題

参考文献
演習問題解答
索引

情報理論改訂2版

今井秀樹 (著)

出版社 : オーム社; 改訂2版 (2019/2/22)、出典:出版社HP