"通信の数学的理論" Claude E. Shannon 著

情報理論の父と呼ばれるクロード・E・シャノン。コンピュータ工学や通信工学に携わる人で、この名を知らない人はモグリだろう。この業界の設計をやっているにもかかわらず、彼の書籍に触れたことがないのは面目ない！言い訳するなら、チューリングやノイマンに比べると、ちょっと地味な印象があるかなぁ...

1948年、シャノンは記念碑的論文「通信の数学的理論」を発表した。本書は、その論文にワレン・ウィーバーの解説文を付して刊行されたものである。シャノンが工学の分野に貢献したことは言うまでもないが、ウィーバーは一般的な情報としても抽象化できると指摘している。つまり、情報の本質である信憑性や意味性においても、この理論が適合できるというわけだ。確かに、シャノンが提唱する情報エントロピーの概念は、通信技術のみならず情報社会の哲学的意義にも影響を与えてきた。情報量といえば、単純にメッセージの長さで捉えがちであるが、シャノンは伝達における情報量を、選択肢の自由度あるいはあいまい度で定義した。情報量は、選択肢の数に依存するのではなく、選択肢の確率に依存するということである。いくつかの選択肢の確率が公平に近づけば、結果予測が困難となる。それは、選択する側から見れば自由度が拡がることを意味し、予測する側から見ればあいまい度が増すことを意味する。これが情報エントロピーの基本的な考え方である。
また、情報の誤りを是正するための冗長性は、伝送系の能力に依存するとした。これは、伝送系の能力を超える符号化は不可能ということを意味し、ひいては符号理論の意義を唱えていると言えよう。
情報理論は、情報伝達という観点から言語学や社会学との関わりも深い。いや、あらゆる学問において専門に特化した合理的な表記法が考案され、表現に関わるものすべて情報理論に関わると言っていい。実際、プログラムの逐次処理が分岐構造を基礎とし、あらゆるリスク管理や社会政策などが現象の確率と優先度によって構築されている。マスコミ報道や風評流布の類いが世間を惑わす原理も、基本的には誤り訂正やノイズの原理と同じである。この時、選択肢の確率は情報の信憑性と捉えることができるし、欺瞞や誤謬あるいは精神不安など、判断を歪ませるものすべてがノイズと捉えることができる。更に、伝送系の能力は解析能力に通ずるところがあり、能力を超えた情報量はむしろ有害となろう。情報は多すぎても少なすぎても混乱を招く。そして、情報理論には「知らぬが仏」の原理が働くというわけさ。

本書に示される通信システムのモデルは6つの要素で構成される。あのお馴染みのやつだ。
 「情報源 → 送信機 → 通信路 + 雑音源 → 受信機 → 受信者」
シャノンの思考には、基本的に「通信とは、本質的にデジタルである」というのがあるそうな。ここでいうデジタルとは、情報の離散的性質を意味する。コンピュータやインターネットなどで扱うデータはデジタル量であり、その周辺を取り巻く伝送路や記憶媒体には必ず誤り率を有する。この性質は自然法則として受け入れられ、今日のデジタル技術は標本化定理や符号理論によって支えられている。通信システムの保証は誤り訂正能力で決まり、通信路の限界はビットの概念を指標としている。
しかし、人間が認識する情報は、本来的に音声や映像といった連続性であり、極めてアナログ的である。人間は、現在の瞬間的現象に対して未来予測と過去の経験から認識能力を発揮する。つまり、線形性であることが望ましい。数学的に言えば、時間の関数とエネルギー分布として捉えることができる。本書は、このアナログ的な連続量を重ね合わせの原理で、関数の集合と関数のアンサンブルとして波動的に捉える。そして、原理的には連続情報も離散情報と同じ形で抽象化できると結論づけている。

1. ビットの概念と情報エントロピー
選択肢で最も単純な形は二者択一である。複数の選択肢は二択の多重化と考えればいい。二つの状態は、工学的には、回路の開閉、リレーの接点、トランジスタのオンオフなど電流が流れるか流れないかで実現でき、数学的には、0と1で符号化できる。したがって、選択動作を繰り返せば状態は2のべき乗で増加し、情報量を2を底とする対数で扱うと便利である。ジョン・W・テューキィは、2進数情報の単位として、binary digit を縮めた語「bit」を提案した。
ビットの概念では基本的にあらゆる状態が公平に扱われるが、現実には確率的に捉える必要がある。例えば、言語システムでは最初の単語に続く単語が文法的にある程度決まっている。次に続く状態の確率が高い場合は省略もできるが、逆に確率が低い場合は単語を増やしてでも明示する必要がある。これは伝送系にノイズが紛れる原理と似ていて、受信側は正確な情報を予測することになり、ノイズの確率過程を分析することになる。よく知られる確率過程には、現在の状態だけで予測できるようなマルコフ過程がある。例えば、コイン投げで表と裏の出る確率が5割で予測できるようなもの。あるいは、標本数を適当に増やすことによって予測できるようなエルゴード過程がある。例えば、世論調査のようなもの。これらには離散的な記号を続けて選ぶという原理がある。こうした確率的傾向による情報量の変化が符号理論の概念を生んだ。すなわち、情報量とは、情報の正確性やあいまい度といったエントロピー的な量であるということが言えよう。自由度が増せば、それだけ符号化も複雑になる。
実際のエントロピーとエントロピー最大値との比は、情報源の「相対エントロピー」と呼ばれるという。例えば、相対エントロピーが0.8だとすると、メッセージを構成する記号の選択に関して、情報源が80%の自由を有するということである。そして、1から相対エントロピーを引いた量が冗長度ということになる。
ちなみに、本書は英語の冗長度を約50%と推定している。ただし、8文字の文字列の統計的構造について調べたもので、実際の英語の冗長度はもう少し高いらしい。満足のいくクロスワードパズルを作るためには、言語が少なくとも50%の自由度、または相対エントロピーを有しなければならないという。自由度が少なければ、単純なパズルしか作れないからおもしろくないというわけだ。
しかし、工学と言語学では考え方に大きな違いがある。それは、情報の意味するもの、意図するものに関係なく、すべての情報に対して公平に扱うという難題に立ち向かうことになる。そして、情報の効率性から、可変長データなどのデータ構造自体にも工夫が必要となる。

2. 情報量
各状態がそれぞれ、P1, P2, ..., Pn の確率で選ばれるとすると、情報量Hは次のようになるという。

 H = -[ P1 log(P1) + P2 log(P2) + ... + Pn log(Pn) ] = -Σ(Pi log(Pi))

ここで、logの底は本質的にはなんでもいいのだろうが、デジタル量として扱うには底を2とすればいい。例えば、二つの確率(P1, P2)があるとすると、二つの確率が等しければ情報量Hは最大値となるが、二つの確率が偏れば情報量Hは小さくなる。
 H = - {1/2 log2(1/2) + 1/2 log2(1/2)} = 1
 H = - {1/4 log2(1/4) + 3/4 log2(3/4)} = 0.81128
社会的認識と照らしあわせれば、公平とは自由を意味し、選択を誘導するということは自由を迫害するということであろうか。だが、政治の世界では、平等と自由はすこぶる相性が悪い。

3. 伝送能力
通信路の容量は、記号の数ではなく情報量によって表され、それは伝達能力と言うことができる。そして、通信効率を高めるために符号理論がある。
ここで、ノイズが存在しないと仮定し、情報源からの信号をH(bit/s)、通信路の容量をC(bit/s)とすると、次の定理が導かれる。

「送信機が行う符号化法を適切なものにすることで、ほぼ C/H の平均伝送速度で通信路を通して記号を送ることができる。しかし、どんなに符号化を工夫しても、伝送速度が C/H を超えることは絶対にない。」

したがって、通信路の設計では、伝送速度の経済性と符号化時間の損失とのバランスをとること考え、C/H を指標としながら折り合いをつけることになる。更に、ノイズの存在が符号理論を複雑化させ、冗長度を増加させる。ただ、ノイズも確率として扱うことによって、情報の全体を相対エントロピーとして扱うことはできそうだ。
ここで、H(x)を情報源のエントロピーまたは情報量、H(y)を受信信号のエントロピーまたは情報量とする。そして、Hy(x)を受信信号が分かっている時の情報源の不確かさ、Hx(y)を送信信号が分かっている時の受信信号の不確かさ、とすると次式が成り立つという。

 H(x) - Hy(x) = H(y) - Hx(y)

この式で注目したいのは、情報の不確かさも重要な情報になるということである。例えば、ノイズフィルタを設計する時、ノイズ特性を強調して、その反転をフィルタ特性として用いることがある。逆の視点から眺めれば、ノイズ自体が貴重な情報源となりうるわけだ。
通信路の容量が意味するものは、有益な情報を伝送できる最大能力、あるいは最大転送速度ということになろうか。そして、符号効率は、有害な不確かさ、H(x) - C を上回る性能が求められることになる。H > C ならば符号化は不可能ということは明らかだが、これが符号理論の概念を根本的に支えている。したがって、符号能力は確率分布から計算されるエントロピーから得られ、符号の冗長性は誤り率とのトレードオフの関係にある。

4. 連続情報
これまでは記号や文字などの離散的な情報を扱ってきた。では、音楽や映像のようなエネルギーが連続的に変化するような情報については通信理論はどうなるのだろうか？拡張された理論は数学的に非常に複雑にならざるを得ないが、本質的なことは変わらないという。まず、連続情報は時間的変化をともなうので、その基本形は次のようになる。

 f(t) = sin (t + θ)

この時、正弦波か余弦波かは位相で抽象化できるのでどちらでもいい。むしろ連続で押し寄せる波と位相の関係が重要なのだ。連続情報では、この形の関数がほとんど無限に存在するという極めて複雑な事情がある。つまり、fk(t) = {f1(t), f2(t), ...} といった関数の集合体として扱わなければならないという絶望的な状況だ。よって、工学的には、周波数帯域を限定して有限体として捉え、離散基底に持ち込むのが現実的ということになろうか。この集合体の中で、位相のずれになんらかの法則性を見出すことができれば、基本関数の巡回性と見なして、ガロア理論的な思考も試せるかもしれない。複雑系をエネルギー分布として統計量で扱う思考は、社会学が風評や世論の変化を近似的に分析するのと似ている。つまり、群(群集)分析だ。
今、fk(t) (k = 1, 2, ..., n) の確率分布関数を p(x) = {P1(x), P2(x), ..., Pn(x)} とすると、連続分布のエントロピーは連続区間の積分で定義される。

 H = -∫p(x) log p(x) dx (ただし、積分区間は±無限)

この形は、離散情報と基本的に同じである。更に、連続信号の通信路の理論は、周波数帯における重ね合わせの原理で周波数スペクトラムとして扱い、通信機の平均電力Pで議論される。そして、シャノンが定義したホワイトノイズ電力をNとすると、周波数帯域幅Wでの通信路の最大容量Cを与える公式が導かれる。

 C = W log( (P + N)/N )

ここでも、logの底は本質的にはなんでもいいのだろう。この公式は、離散性から連続性に抽象度を高めたというよりは、現実的な解を示したという印象が残る。まさに、現実の世界を生きる工学という分野の醍醐味と言えよう。