Otaku ワールドへようこそ![275]情報のエントロピーについての初歩的な解説の続きです/GrowHair

投稿:  著者:  読了時間:23分(本文:約11,000文字)



2018年01月26日(金)のこの欄で、情報のエントロピーについて、初歩的なところを解説しました。

『情報のエントロピーについて初歩から解説します』
http://bn.dgcr.com/archives/20180126110100.html

今回はその続きです。なぜ続きを書くかというと、書けるからです。なぜ書けるかというと、私自身の理解がちょっとだけ進んだからです。

私の中で、ある疑問が解決していないことを前回書きました。「情報量は大きいほうがありがたいのに、それの平均値であるエントロピーは大きいほうがうれしくないって、どういうこと?」。

そのあたりが少し分かってきた気がします。




●難しい話はしません

この稿は、理系向けを想定して書いているわけではありません。人文系であれ、アート系であれ、クリエイター系であれ、起業・経営系であれ、事務系であれ、サービス系であれ、製造系であれ、体育会系であれ、芸能系であれ、家事手伝い系であれ、オカルト系であれ、裏社会系であれ、あと何があったっけ系であれ、すらすらっと読んでいただけて、だいたいの感じをつかんでもらえることを旨としています。

エントロピー自体、数学や物理学の概念なので、数学の話を完全に避けて通るってわけにはいきません。しかし、そんなに難しい数学は出てきません。

エントロピーの定義の中に対数関数(log)が出て来て、これは学校で習うのが高校になってからってことになっています。たいへん申し訳ないのですが、そこはすでにご存知のこととして話を進めます。

しかし、ネットを検索してみると、「中学生でもわかる log」なんていう動画が上がってたりするので、ご存知でなかったら見てきていただけると。

それ以外には、平均という概念が出てきますけど、これは前回、割とていねいに説明しているので、分からなければ参照していただけると。それ以外は四則演算(足す、引く、掛ける、割る)ぐらいのもんで、そんなに難しくはないはずです。

言い訳がましいですけど、理解できなかったと言われると、たいへん絶望的な気分になります。

書いてる本人の側からすると、これ以上噛み砕きようがないくらい平易に説明しているつもりであって、やれやれ、これで万人に理解していただけるだろう、と思っているわけです。

もし理解できなかったとしたら、いったいどのあたりでつまづいたのか、こっちが理解できなくて、困っちゃうわけです。

ところが、「キューバのレポートだけは理解できた」なんて言ってくる人がいましてね。リアクション自体はありがたいですが、ガクッとなります。えー、それ以外は伝わってなかったのー、と。

●前回の復習

復習と言っても、隅から隅まで思い出す必要はなく、エントロピーの定義さえ押さえておけばじゅうぶんです。まず情報量を定義しておき、それの平均値としてエントロピーを定義したのでした。

ある事象が起きたとき、その事象がどれくらいめずらしいことだったかを示すのが情報量です。「太陽が東から昇った」みたいにあったりまえのことが起きたという情報は、情報量0ビットです。

「正しいコインを投げたら表が出た」という情報は、情報量1ビットです。
「確率1/256(※)のことが起きた」という情報は、情報量8ビットです。

※ 256分の1という分数を、1/256と表記します。

一般に、「確率pで起きる事象が実際に起きた」という情報は、情報量- log(p) ビットです。ただし、対数の底は2を用います。

起きる確率が小さいほど、情報量は大きくなります。なので、情報量の大きな情報が得られたということは、それだけめずらしいことが起きたということを表しています。情報を得るなら、情報量の大きいものが得られたほうがうれしいわけです。

次に、エントロピーとは何かというと、まだコトが起きる前、あるいはコトが起きた後であっても、その結果を知る前において、その結果を知ることによってこれから得られるかもしれない情報量の平均値です。

エントロピーは「乱雑さ」を表しているとよく言われます。たくさんのものがあって、それらが一か所にまとめられていて、きちんと整理されていると、乱雑さは小さくなります。逆に、広範囲にわたって不規則に散らかっていると、乱雑さが大きくなります。

あるいは、エントロピーは偏りのなさ、すなわち均一性を表しているとも言えます。さらにあるいは、エントロピーは分からないことの多さを表しているとも言えます。

コトが起きた後、何が起きたか完全に把握してからは、エントロピーはゼロになります。「たったひとつのことが確率1で起きる」というふうに確定しているわけですから。情報量0ビットの情報がひとつだけある状態においては、それらの、ではなく、それの、平均値は0ビットなわけです。

ものが分からないよりは分かっているほうがうれしいので、エントロピーは値が小さいほうがうれしいわけです。

情報量は大きいほうがうれしいのに、エントロピーは小さいほうがうれしい。後者は前者の平均をとっただけなのに、なんでうれしいとうれしくないが逆転するのか。そこがずっと分からなくて悶々としていたわけですが、なんかやっと分かったような気がします。それをこれからお話しします。

あと、エントロピーをごちょごちょいじくり回していると、1足す1が2にならないような事態が生じてくるようです。2よりも大きな値になるとき、この現象は創発っぽい感じがします。そのあたりにも触れます。

●エントロピーとは分からなさの度合い、それを減少させるのは情報

ではここから本題です。情報量とエントロピーとの間で、うれしい・うれしくないの逆転が起きるのはなぜか、その本質を探っていきましょう。

正しいコインを投げる試行を例にとってみましょう。「コインを投げたら表が出た」という情報は、確率1/2のことが起きたという情報なので、その情報量は1ビットです。

情報量について言えば、確率の小さいことが起きたという情報のほうが情報量が大きくなるので、確かに、値が大きいほどうれしいということになります。

コインを投げる前の状況を考えてみましょう。投げたら表が出るのか裏が出るのか、まだ知らない状態です。なのでふたつの可能性があります。

もし表が出たら、1ビットの情報が得られることになります。その確率は1/2です。もし裏が出たら、やはり1ビットの情報が得られ、その確率は1/2です。なので、平均すると、

  H = 1 × 1/2 + 1 × 1/2 = 1

なので、1ビットの情報が得られることになります。これがエントロピーです。

試行の結果を知る前の段階においては、結果についていろいろな場合が想定されます。それぞれの場合について、起きる確率が異なるかもしれません。そのとき、どれが起きたかによって、得られる情報量は異なります。大きい場合もあれば、小さい場合もあります。

しかし、平均すれば、だいたいこれくらいの情報が得られるはずだ、という量を考えることができます。それがエントロピーです。

エントロピーとは、試行の結果を知る前の段階において、もし試行の結果を知ったらどれくらいの情報量が得られるか、その平均値を表すものです。

つまりは、分からないことの量を表しています。分からなさは小さいほどうれしいということになります。

試行の結果を知った後では、エントロピーはどうなっているでしょう。実際にコインをトスしてみたら、例えば、表が出たとしましょう。

先ほどは表が出る確率と裏が出る確率とが半々でしたが、今度は表が出たという結果を知った後ですから、表の確率が1、裏の確率が0になっています。

この状況についてのエントロピー H' を計算してみましょう。定義式どおりに書きくだすと、

  H' = - log(1) × 1 - log(0) × 0

となります。ここで、ちょっと困ったことが起きています。第2項をみてみると、log(0) がマイナス無限大で、それに0を掛けるという形をしています。これは不定形と言われていて、一般的には値が確定しません。

が、エントロピーの計算においては、確率0のことは考慮しなくていいですよ、ってことで、この項の値は0になる、と取り決めておきます。

そうすると、第1項だけになり、log(1) = 0 なので、結局、

  H' = 0

になります。

可能性が1通りに絞り込まれて状態が確定し、分からないことが全然なくなったとき、エントロピーは0ビットになります。

エントロピーは情報量の平均値であることには違いありませんが、平均値をとることによってうれしい・うれしくないが逆転した、というのは、ストーリー立てが正確ではありません。ここに気づくのに何年かかったことか。

エントロピーは「分からなさ」の度合いです。コインをトスしたら表が出たのか裏が出たのか、その結果を知る前と知った後では、エントロピーが1ビットから0ビットへと、1ビットだけ減少しています。

エントロピーが減るのは、分からなさが減少したことにほかならず、これはうれしいことです。

そのうれしさをもたらしたのは何かというと、「実際に表が出た」という1ビットの情報です。1ビットの情報が得られたことにより、エントロピーは1ビットから0ビットへと1ビットだけ減少しています。

「エントロピーは減少したほうがうれしく、それをもたらしてくれる情報は多いほうがうれしい」というのが正しい表現です。エントロピーの減少をもたらしてくれるありがたきもの、それが情報です。

いま、情報のエントロピーについて述べましたが、物理のエントロピーについてもだいたい同様です。物理のエントロピーはエネルギーを絶対温度で割って、対数をとるのでした。

粒子がやたらといっぱいあって、それぞれが運動エネルギーをもち、それらの総和が一定であるという状況を考えてみましょう。

これらの粒子がうんと狭い領域にぎゅっと凝集しているとき、温度は高くなります。なので、エントロピーの計算式の分母の値が大きくなり、エントロピーの値は小さくなります。逆に広く拡散していると、温度が下がり、エントロピーの値は大きくなります。

たくさんの粒子が一か所に小さくまとまっているとき、どの粒子がどこにあるのかを知るためには、この範囲内だけを探せば済むので見つけやすく、このとき、エントロピーが小さいと言えます。

逆に、広い領域へと拡散していった後では、それぞれがどこへ行っちゃったのか分かったもんではないので見つけづらくなり、このときエントロピーは大きくなります。

物理においても、やはり、エントロピーは「分からなさ」の度合いを表していると言えます。大量の粒子があるとき、自然となっていくがままに放っておくと、だんだん拡散していき、エントロピーは増大していきます。

これは、情報が失われていくことに相当するのだと思います。看板が風雪にさらされて、年月が経つにつれてだんだん色褪せていって、ついには読めなくなっていくようなもんかと。

部屋がきちんと整理されていて、決まったものが決まった場所に置いてあるとき、何がどこにあるのか確定しているので見つけやすく、このときエントロピーが小さいと言えます。

一方、散らかっていると、何がどこにあるのか分かりづらく、見つけるのが大変になり、このときエントロピーは大きいと言えます。

よく、エントロピーは「乱雑さ」を表していると説明されますが、比喩としては合っていると思います。

しかし、部屋の散らかり具合の例においても、エントロピーは「分からなさ」の量を表すものだという説明でも合っているのだと思います。むしろ、そっちのほうがエントロピーの本質をよく描写しているように私には思えます。

●情報量とエントロピー減少量は一致しないことも

得られた情報の情報量と、それによってもたらされたエントロピーの減少量とは、一致していれば気分がいいですが、確率にデコボコがあるときは、必ずしも成立しません。それをちょっと見てみましょう。

前回、偏ったコインを登場させました。表が出る確率が3/10で、裏が出る確率が7/10のものです。これをまた引っ張り出してきましょう。

前回計算したように、表が出たときに得られる情報量I0は

  I0 = - log(3/10) = 1.736965...

で、裏が出たときに得られる情報量I1は

  I1 = - log(7/10) = 0.514573...

です。エントロピーHは、

  H = I0 × 3/10 + I1 × 7/10
   = 0.8812906...

です。

表か裏かが確定し、それを知った後では、エントロピーは0ビットになります。なので、どっちが出るにせよ、エントロピーは0.8812906...ビットから0ビットへと0.8812906...ビットだけ減少します。

一方、エントロピーのこの減少をもたらす情報について見てみますと、表が出たときは1.736965...ビットであり、裏が出たときは0.514573...ビットであり、いずれにせよ、エントロピー減少量と情報量とは合っていません。

これは、そういうもんだ、と思うしかありません。

次に、中途半端な情報が、エントロピーの中途半端な減少をもたらす例を見てみましょう。

●中途半端な情報がもたらすエントロピーの中途半端な減少

ここにサイコロがあるとしましょう。どの目の出る確率も等しく1/6である「正しい」サイコロであるとしましょう。

このサイコロを振ったら、ある目が出ました。いま、これしか情報がないとき、われわれが持っている情報のエントロピーはいくらでしょうか。これは、エントロピーの定義にしたがって簡単に計算できます。

仮に出た目が1だったとすると、正しいサイコロなので、確率1/6のことが起きたことになります。この情報量は1/6の逆数である6の対数をとって log(6) ビットです。出た目が2だったとしても同様です。

確率は 1/6 で、得られる情報量はやはり log(6) ビットです。他の目についても同様です。1から6のすべての目について、得られる情報量の平均をとったものがエントロピーです。

エントロピーHは、

  H = log(6) × 1/6
   + log(6) × 1/6
   + log(6) × 1/6
   + log(6) × 1/6
   + log(6) × 1/6
   + log(6) × 1/6
  = log(6)

となります。小数表記すると、

  H = 2.584962...

です。

いま、次のような「情報A」がもたらされたとします。「情報 A:出た目は偶数である」。つまり、出た目は2か4か6のどれかだったと言っていることになります。

まず、情報Aの情報量について調べてみましょう。2が出る確率は1/6で、4が出る確率も1/6で、6が出る確率も1/6です。なので、2または4または6が出る確率p_Aは、それぞれの確率を足し合わせて

  p_A = 1/6 + 1/6 + 1/6 = 3/6 = 1/2

となります。確率1/2で起きることが実際に起きたという情報の情報量は1ビットです。情報Aの情報量が1ビットであることが分かったというわけです。

次に、情報Aが得られた後の状態におけるエントロピーH_Aがどうなっているかを調べてみましょう。情報Aが得られたことによって、1, 3, 5の目が出た可能性が排除されているので、可能性が残っているのは2, 4, 6の3通りだけということになります。

いま、サイコロには偏りがないので、2, 4, 6 それぞれの目が出る確率は等しく1/3ずつということになります。このとき、エントロピーはどうなっているでしょう。定義式にしたがって計算してみると、エントロピーH_Aは、

  H_A = log(3) × 1/3
   + log(3) × 1/3
   + log(3) × 1/3
   = log(3)

となります。小数表記すると、

  H_A = 1.584962...

です。

つまり、情報量が1ビットである情報Aがもたらされたことにより、エントロピーが2.584962...ビットから1.584962...ビットへと、ちょうど1ビットだけ減った勘定になります。

この例においては、情報Aが得られる前と後とでエントロピーを比べてみると、前後で減少したエントロピーの量は、情報Aのもつ情報量とちょうど同じになっています。

しかし、これは、確率が均等なときに成り立つことであり、確率にデコボコがあると成り立たなくなることは、さきほど見たのと同様です。ここではもう実例を挙げて確認するのは省略しますけど。

分かったことは、出た目が何であったかを完全に特定するには至らない中途半端な情報が得られたとき、エントロピーが0にはならないまでも、その減少をもたらしてくれるということです。

●系の内部から湧き出す情報

もう少し続けましょう。いま、「情報A」はなかったことにして、代わりに、「情報B」が得られたとします。「情報B:出た目は3の倍数である」。

この情報によって、今度は、可能性が3か6の2通りに絞り込まれています。前の場合と同様に、この情報の情報量を計算してみると、log(3) = 1.584962...ビットであることが分かります。

また、この情報が得られた後におけるエントロピー H_Bを計算してみると、

  H_B = log(2) × 1/2
   + log(2) × 1/2
   = log(2)
   = 1

となります。

つまり、情報量が1.584962...ビットである情報Bがもたらされたことにより、エントロピーが2.584962...ビットから1ビットへと1.584962...ビットだけ減っています。

やはり、得た情報量と減ったエントロピーの量とが一致しています。

さて、ここで、情報Aと情報Bの両方が得られているとします。情報Aが成立し、なおかつ、情報Bが成立していることになります。この合体情報を「情報A&B」と表記することにします。

出た目は偶数であって、なおかつ、3の倍数であった、ということで、それは6しかないことになります。つまり、情報A&Bとは、ずばり「出た目は6であった」と言い切っているのと同じになります。

確率1/6で起きることが実際に起きたと言っているので、この情報の情報量はlog(6) = 2.584962...ビットだったことになります。

一方、情報A&Bを得た後でエントロピーがどうなったかというと、出た目が1通りに確定して、分からないことがなくなったので、エントロピー H_(A&B) は、

H_(A&B) = 0

です。

情報量が2.584962...ビットである情報 A&B がもたらされたことにより、エントロピーが2.584962...ビットから0ビットへと同量だけ減ったことになります。

整理してみましょう。情報Aがもたらした情報量が1ビットで、情報Bが1.584962...ビットで、情報A&Bが2.584962...ビットです。

1 + 1.584962 = 2.584962

が成り立っているので、合体した情報の情報量は、それぞれの情報量の総和に等しい、というのが成り立っていることになります。

これは、1足す1は2である、と言っているようなもんで、正しいけれど、あたりまえすぎて、あんまり面白くありません。

ところが、エントロピーをいじくり回していると、そうでもないことが起きます。いま、情報Bに代えて、次のような情報B'を考えます。「情報B':出た目は素数である」。

このとき、出た目の可能性は、2か3か5かに絞られたことになります。6通りの可能性が半分の3通りに絞り込まれているので、情報B'の情報量は1ビットです。

情報A&B'を考えてみましょう。情報Aによって、2か4か6かに絞り込まれており、情報B'によって2か3か5に絞り込まれているので、共通部分をとると、2しか残らないことになります。1通りに確定できているので、情報A&B'の情報量は2.584962...ビットです。

整理してみましょう。情報Aがもたらした情報量が1ビットで、情報B'が1ビットで、情報A&Bが2.584962...ビットです。それぞれの情報の総和は2ビットなのに、両方合体させた情報は2.584962...ビットです。

1足す1が2になっておらず、帳尻が合っていません。どっからともなく、0.584962ビットの情報が湧き出してきていることになります。この現象、創発っぽくないですか?

●夢をみているとき情報が生成されている?

以下は、数学のカッチリした議論ではなく、ユルッとした比喩みたいなもんです。すーすーと気持ちよく眠っていて、夢をみている状態を考えてみましょう。夢の内容はどこかに出力されるわけではなく、脳内だけで完結しています。

五感からの入力は、完全にスイッチが切られているわけではなく、受けてはいるのだと思います。何か尋常でない事態が発生したときには目が覚めないと困るので。

しかし、入ってくる情報量はそうとう絞り込まれているのではないでしょうか。少なくとも目は閉じているので、視覚的な入力信号のスイッチは、切られています。

また、入力信号は意識のほうへ行かず、無意識領域が受けているような感じがします。それでも、夢のストーリー展開に影響を与えているようですが。

出力スイッチもほぼ切られていると言ってよいでしょう。寝言は別として、他者に伝達する目的で口から言葉を発することはありません。また、夢遊病は別として、行動という形で出力がなされることもありません。

この状況は、少ない入力から、内的に情報が生成されていると言えるのではないでしょうか。どこからともなく情報が勝手に湧いてきていると言えば、さきほどのエントロピーの帳尻が合わない状況と似ている感じがしないでしょうか。

意識の謎の答えは、エントロピーの周辺に潜んでいるのかもしれません。その線に乗っかった仮説のひとつにジュリオ・トノーニ氏の「統合情報理論(Integrated Information Theory; IIT)」があります。

近いうちにこれを解説したいと考えています。統合情報理論を理解するためには、まず何を措いてもエントロピーをちゃんと理解していないとまったく話になりません。2回にわたってエントロピーの話をしたのは、そこへ進むための準備だったというわけです。

じゃ、いつになったら本論に進むのでしょうか。それにはひとつ問題があります。まず、私が理解しないと始まらないわけです。

統合情報理論について、猿でも分かる、みたいな解説本が出ているわけではありません。トノーニ氏自身による著書があるにはあるのですが、素人向けの啓発本みたいなもんで、非常に面白いのですが、肝心の統合情報理論の内容にはほとんど立ち入りません。

ジュリオ・トノーニ(著)、マルチェッロ・マッスィミーニ(著)、花本知子(翻訳)
『意識はいつ生まれるのか 脳の謎に挑む統合情報理論』亜紀書房(2015/5/25)
http://www.amazon.co.jp/exec/obidos/ASIN/4750514500/dgcrcom-22/

ネット上に解説が転がってないこともないのですが、それだけ読んで理解した気になっちゃうのも心配です。理解した気にすらなれなかったらもっとダメだし。結局、原典にあたるしかないのです。約960件の他の論文に引用されている、トノーニ氏の「例の論文」があり、無料でダウンロードできます。

いま、せっせとそれを読んでいるところです。いつになったら読み終わって解説できるようになるのか分かりません。けど、そんなに長い時間をかけるつもりはなく、まあ、近いうちです。


【GrowHair】GrowHair@yahoo.co.jp
セーラー服仙人カメコ。アイデンティティ拡散。
http://www.growhair-jk.com/


《 健康診断とパンツ 》

3月6日(火)、Facebookに次のようにつぶやいた。「明日は健康診断だ。うっかり会社に女性用のパンツを穿いて来ないようにしないと恥ずかしい目に遭うぞ。てか、男性用、どこにしまったっけ? 発掘せねば」。

思ってもみなかったことだが、これが女子たちにたいへん不評であった。「どうしてそんなヘタレなこというの?」とか「健康診断も女性ものの下着でいくぜー! みたいなテンションなのかと思ったら違った」とか。

ええー、そんなぁ。たしかに「堂々とやってりゃたいていのことはまかり通る」と言ったのはこの口だ。けど、そういう方向から煽るかぁ?「私は小林さんを信じてるから」。うっ。

しかたない。やったろうじゃないの。変革へのチャレンジだ。健康診断受けに行くのになんでドキドキせにゃあかんのだ? と、自分にツッコミを入れつつ、いつもの女性用パンツで臨む。ま、新品を下ろしたのは女心だけど。

ちなみに、穿いているのは割と厚手の綿100%の白の無地のもの。前の上のほうにやはり白の小さいリボンがついている。色柄ものではないので、パッと見にはそうそう気づかれないだろう。

いちばん危険なのはバリウム飲む胃の検査で、一度下着だけになって、水色の紙製の、上からかぶる、裾の長い半袖シャツみたいなやつを着なきゃならん。狭い車の中に、検査を終えて元のに着替えている人と、私の前に受ける人と、私の三人いる。そっぽを向いて着替えたので、たぶんバレてないと思う。

越えてみれば大したハードルではなかった。次回は色柄ものやブラジャーにもチャレンジしてみようか。……なんて調子に乗って余計なことを言うから追い込まれるのだ。

いつも会社に穿いて来ているお気に入りのパンツ、最初に見つけたのは2015年2月8日(日)のこと、新潟県十日町のリオン・ドールに入っている「ファッションアイ十日町店」においてである。

ごくありふれたタイプのようでありながら、ネット通販でも、あちこちのスーパーでも、どうしても見つからずにあきらめかけていたところ、ここで偶然発見できたのである。2015年02月20日(金)のこの欄で、そのときの喜びをつづっている。
http://bn.dgcr.com/archives/20150220140100.html

二枚組のを三セット買っている。買い足したいときにその目的のためだけにわざわざ十日町まで行くのはたいへんだ。ついているタグから製造元が長岡にある「株式会社新栄」と判明した。ウェブサイトを見つけて、東京近辺にも卸してないか問合せメールを送ってみたのだが、返事なし。

2016年3月5日(土)、再び行って、今度は14枚買っている。あるのを全部買い占めてきた。2017年5月14日(日)にも行っている。今年は2月11日(日)に行っている。

お店の人からすっかり覚えられてしまった。毎年東京から来て、女性用の同じパンツを買っていくセーラー服を着たおじさん。まあ、印象に残りやすいわな。

ところが、つい先日3月4日(日)、門前仲町の「赤札堂深川店」に入ってみると、あったのである! 十日町で買ったばかりで間に合ってはいたけど、見つけた記念に買ってしまった。

これで十日町の年中行事が終わってしまったと思うとちょっとさびしい。今年行ったとき、地元の人に教えてもらって行った天婦羅・手打ちそばのお店「志天」がめっちゃよかった。日本酒も料理もみんな最上級に美味かった。これだけを目的に十日町まで行ってもいいくらいだ。それでついでにリオン・ドールにも寄ればいいのか。