[4497] 情報のエントロピーについて初歩から解説します

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■Otaku ワールドへようこそ！［272］
情報のエントロピーについて初歩から解説します

GrowHair
https://bn.dgcr.com/archives/20180126110100.html

───────────────────────────────────

「エントロピー」という言葉を聞いたことがおありだろうか。学校で習った覚えがかすかにあるという方、「エントロピー」とは「乱雑さ」を表す指標であると教わりませんでしたか？

「この部屋は散らかっている」とふつうに言えばいいものを、理系の人間はよく「この部屋はエントロピーが高い」などと表現する。「日曜日、一日がかりでせっせと片づけたおかげで、エントロピーがだいぶん減ったぜ」とか。

この手の表現は使ってみたくなる衝動に駆られるものだが、ついつい言ってしまった後で、そのギーク丸出しなところが一般の人々から疎まれて、シラっとした空気を醸し出したことに気づき、後悔することになりがちである。気をつけましょう。

部屋が散らかっていると、片づいているよりも実際にエントロピーが高いのか。それともエントロピーの表す感じを述べただけの比喩にすぎないのか。ううむ。たいへんむずかしい。この部屋のエントロピーを計算してみようとしてもできないので、やっぱりどちらかというと比喩にすぎないような。

私自身、学生時代から時おり聞く言葉ではあったが、その意味するところがちゃんとつかめていなかった。情報量は大きいほうがありがたいのに、それの平均値であるエントロピーは大きいほうがうれしくないって、どういうこと？

まあ、分からないままにしておいても、そんなに困ることはなかろう。そう思って放置してきた。しかし、意識の謎について、脳科学や人工知能の方面からアプローチした既存の研究についてちゃんと理解しようとすると、そうもいかなくなってきた。

カール・フリストン氏の「自由エネルギー原理（Free Energy Principle; FEP）」にせよ、ジュリオ・トノーニ氏の「統合情報理論（Integrated Information Theory; IIT）」にせよ、その基礎にはベイズ推定がある。で、ベイズ推定を紐解くと、まず、エントロピーに直面するのである。

このような必要に駆られてエントロピーと格闘した結果、理解袋の中へと追い込むことができたような気がする。今回は、それをお伝えしたい。

●エントロピーには熱力学のと情報理論のとがある

まずは、エントロピーの概要を、さらっとなでておきたい。この段階では、まだ数式は出さないでおきます。

実は、エントロピーには2種類ある。物理の熱力学のやつと、数学の情報理論のやつとである。熱力学のほうは、エネルギーを温度で割ったディメンジョンをもち、情報理論のほうは、無名数であるが、対数の底（てい）として2を用いる場合にはビットという単位をつけることがある。

定義からしてぜんぜん別物でありながら、無関係ではないらしい。本稿では、ベイズ推定と関連の深い情報理論のほうを主に取り上げるが、この項においてだけは、熱力学のほうを軽く眺めておきたい。

われわれが生活するためには、エネルギーを必要とする。乗り物で移動するにも、夜、道路や屋内を明るく照らすにも、食料を調理するにも、空調を稼働させるにも、パソコンを使うにも、電子楽器を演奏するにも、エネルギーの供給がないことには、どうにもならない。

地下から湧いてきた原油を製錬して、石油やガソリンといった燃料を抽出し、それを燃やすことで、エンジンを回したり、タービンを回して電気に変換したりして、エネルギーとして利用する。

燃やした燃料が勝手に元の燃料に戻ることはないので、エネルギーを供給しつづけるためには、原油を掘りつづけなくてはならない。

いつかは枯渇してしまうのではないか、もし枯渇したらわれわれの生活はどうなるのだろうか、と心配になる。その心配そのものは的外れではないにしても、表現にちょっと難がある。

正確に言うと、エネルギーはなくならない。物理ではエネルギー保存則というのがあり、量子的な変な現象は別として、燃焼などのどんな現象が起きようとも、その前後でエネルギーの総量が増えたり減ったりしないことになっている。

乗り物でどこかへ移動して元の場所に戻ってきたり、エレベータで高い階に上がってから元の階に戻ってきたりするのに、理想を言えば、エネルギーは要らない。しかし、実際にはガソリンや電気を食う。それは、摩擦や空気抵抗に対抗するために必要なのである。

電車を走らせるために供給したエネルギーはどこへ行くのかというと、線路の温度を上げたり、風を起こしたりすることに使われる。消えてなくなるわけではなく、散逸するのである。

地球は太陽から光という形でエネルギーの供給を常に受けているけれど、宇宙への排熱が大したことなければ、エネルギーは溜まる一方だと思う。そっちはそっちで、なんとかしなくてだいじょうぶなのだろうか。

それはともかく、エネルギーは使ったら散逸するだけであって、減るわけではない。散逸したエネルギーは、放っておいたら元の形に集まってくるということはない。コーヒーにミルクを垂らすと、うにょっとした模様を描いて、最後には完全に混ざり合う。

けれど、ミルクコーヒーを放っておいて、自然にコーヒーとミルクとに分離するということはない。このような、一方通行の現象を不可逆現象という。

このとき、エネルギーの総量が減っていないのだとしたら、いったい何が減ったというのだろうか。それは、物理で言うところの「仕事」に転換可能なエネルギーが減ったのである。

先端を閉じた注射器に20℃の空気を封じ込め、60℃のお湯に漬けると、熱で空気が膨張し、ピストンを押し上げる。これが仕事をしたということである。

もし仮に、空気と水の温度が最初からどちらも60℃だったとすると、内部のエネルギーが高い状態にあるにも関わらず、仕事をすることはできない。空気の温度とお湯の温度との間に差異があることが本質的なのである。

同じエネルギーでも、仕事のできるエネルギーとできないエネルギーとがある。その本質は、偏りにある。不均一性、ムラ、などと言い換えてもいいけど。これを表す指標があるといい。実は、それがエントロピーである。

エントロピーは偏りのなさを表す指標であって、値が小さいほど仕事をなす潜在力が高いので、うれしい。

温度差がある状態から仕事をして、最終的にどちらも中間ぐらいの同じ温度に落ち着いたとき、エネルギーの総量は減らないけれども、エントロピーが増えているのである。それはエネルギーの分布の偏りが減って均一化した、あるいは広い範囲に分散したことを意味する。

エネルギーの出入りがない系では、エントロピーが減ることは、よほどの偶然を除けば、起きない。

よほどの偶然というのは、ミルクコーヒーの中で、コーヒーの成分とミルクの成分とが混ざり合って、ぶつかり跳ね返り運動していたが、たまたまコーヒーはぜんぶあっち、ミルクはぜんぶこっち、ときっぱり分離するような偶然をいう。

辛抱強く待っていても、そういうことは、まず起きない。これをエントロピー増大の法則という。

エントロピーは宇宙規模でみても、増大している。状態が徐々に均質化していき、おもしろいことが起きなくなっていき、最後には宇宙全体が定常状態に陥り、それは宇宙の死を意味する。

●マクスウェルの悪魔はエントロピーを下げるのか

熱力学のエントロピーの話を、もう少しだけ続けよう。

宇宙が徐々に死に向かっていくのは、あまり縁起のいいニュースではないので、何とかしてエントロピーを下げることはできないものだろうか。

マクスウェルの悪魔というやつがいる。いるといっても、スコットランドのジェームズ・クラーク・マクスウェルという物理学者が1867年ごろに考え出した思考実験に登場する悪魔なので、実際にこんにちはできるわけではない。

均一な温度の気体で満たされた密閉容器を用意する。気体とはどういう状態かというと、分子が空中を飛んでいる状態である。他の分子にぶつかるまでの間は、重力を無視すれば、等速直線運動をする。

分子どうしが衝突すると、エネルギーの総和が増えも減りもせず、運動量の総和も増えも減りもしないように跳ね返り、それぞれが速度を変える。

分子一個一個に温度があるわけではなく、温度とは、大量に飛んでいる分子の平均の速度を反映する値である。平均値が遅いと温度が低く、速いと温度が高い。あくまでも平均値であるから、個別に見ていけば、速く飛んでいるやつもいれば、遅く飛んでいるやつもいる。

この容器を左右半々の密閉区画に仕切るべく、中間に壁を立てる。壁には非常に小さなドアがひとつ取り付けられており、悪魔が番人をしている。

悪魔は、左右それぞれの区画の分子の運動を見張っており、左半分の区画において、速い速度でドアに向かって飛んでくる分子があると、さっとドアを開けて、右の区画へと通す。

一方、右の区画で遅い速度でドアに向かって飛んでくる分子があると、さっとドアを開けて、左の区画へと通す。

図を見たい方は、Wikipediaの「マクスウェルの悪魔」の項をご覧ください。

これを続けていると、左の区画は遅い分子ばかりが集まるので温度が下がり、逆に、右の区画は温度が上がる。小さいドアに重さも摩擦抵抗もないとすると、悪魔はエネルギーの消費なしにこの開閉作業ができることになる。

こうして、外からのエネルギーの出入りなしに、エントロピーを下げることができたことになる。

しかし、これは、熱力学におけるエントロピー増大の法則に反する。こういうことは実際には起き得ないのだと、説明づけしなくてはならない。この問題は、物理学者たちをして、100年以上にわたって悩ませた。

今では、いちおうの解決をみているらしい。どうやらこの悪魔の中にエントロピーが蓄え込まれるので、悪魔も含めた系全体において、エントロピーの総和は減っていないってことらしい。

悪魔の中に蓄えられているのは、どの分子がどういう速度で飛んでいるという情報である。情報を獲得したからといって、物理的には何も増えも減りもしない。しかし、ひとつの分子の速度を見て、ドアを開けて通過させたり閉めて跳ね返したりした後、次の分子に関心を移すためには、前の分子のことはきれいさっぱり忘れなくてはならない。

忘れた情報は、もう二度と手に入らないので、この「忘れる」という過程は不可逆現象である。このとき、物理的にも、エントロピーが増大するのだそうである。

情報理論におけるエントロピーは、熱力学のエントロピーとは定義からして異なっており、まったくの別物である。情報が記憶から消えれば、その知識の喪失のおかげで「分からないこと」が増えるので、情報エントロピーは確かに増大するような気はする。

そうであっても、熱力学のエントロピーはもとより別物なのだから、影響を受けなきゃならない必然性はない気がする。

ところが、別物でありながら、情報理論のエントロピーの増減が、熱力学のエントロピーの増減に寄与するのだってことらしい。両者は、ボルツマン定数を介して同等のものだと解釈するものらしい。これを「ランダウアーの原理」という。

私はこの説明に納得できていない。物理のことにはさして詳しくないのである。今回のテーマは、情報のエントロピーのほうなので、物理のほうのやつは、深追いしないことにしましょう。

だったらここまで引っ張るな、というご批判は、甘んじて受けましょう。前置きが長くなりましたが、では、本題に入りましょう。

●平均値について、おさらい

中身の話に入る前に、準備として、平均値についておさらいしておきましょう。

【問1】

容器Aには砂糖が50グラム入っており、容器Bには砂糖が20グラム入っている。平均すると何グラムになるか。

【答1】

これは、いちばん簡単なやつで、いわゆる、足して2で割るってやつですね。大きな容器Cを用意して、Aの中身もBの中身もいったんそこへ移して合わせます。すると、
　　50 + 20 = 70
なので、70グラムになります。これをあらためて等量ずつ容器Aと容器Bとに分ければ、
　　70 ÷ 2 = 35
なので、35グラムになります。これが平均値です。

【問2】

容器が10個あり、そのうち3個には砂糖が50グラム入っており、7個には砂糖が20グラム入っている。平均すると何グラムになるか。

【答2】

これは、50グラムと20グラムを足して2で割ればよいというわけにはいきません。50グラムの容器よりも20グラムの容器のほうが数が多いので、平均すると、35グラムよりは少なくなるはずです。

これも、前の問いと同じように、大きな容器にぜんぶ移して、均等割りすれば解決します。

砂糖の総量は、
　　50 × 3 + 20 × 7 = 290
なので、290グラムです。
一方、容器の総個数は、
　　3 + 7 = 10
なので、10個です。
290グラムを10等分すれば、
　　290 ÷ 10 = 29

なので、平均値は29グラムです。たしかに、35グラムよりも少ない値になっています。

【問3】

容器がたくさんあり、そのうち30%には砂糖が50グラム入っており、70%には砂糖が20グラム入っている。平均すると何グラムになるか。

【答3】

与えられた数字が減りました。容器の総数が分かりません。10個かもしれないし、100個かもしれないし、380個かもしれません。なので、先ほどのように、大きな容器に全部移してから均等割りするという考え方が使えません。

どうしたらいいでしょう。困りました。私も困っています。数学がある程度得意だからといって、算数が得意だとは限らないのです。

容器の個数が10個だろうと 100 個だろうと 380 個だろうと何個だろうと、平均値は同じ値になるという保証はあるのでしょうか。そこを、図など描いて、算数的に説明しようとすると、どうなるでしょう。

そこは読んでいるあなたにお任せして、私はズルをします。だって、変数を使ったほうが簡単なんだもん。はいはい、堕落してます。

容器の総数をN個とします。すると、その30%は、
　　N × (30 / 100)
個であり、70%は
　　N × (70 / 100)
個です。

砂糖の総量は、
　　50 × N × (30 / 100) ＋ 20 × N × (70 / 100)
グラムです。これを容器の個数N個で割った値が平均値です。

ところが、砂糖の総量の式をよくよく見ますと、2つの項のどちらでも、Nを掛けています。Nを掛けて、しかる後に、Nで割るのであれば、最初っから何もしないのと同じことです。

なので、上の式全体をNで割る代わりに、それぞれの項でNを掛けるところを省略すればいいのです。

したがって、求める平均値は
　　50 × (30 / 100) ＋ 20 × (70 / 100)
グラムとなります。Nの値によらず、平均値は同じ値になることが分かりました。これを計算して、答えは29グラムです。

ひとつ前の問題は、Nが10個というひとつの場合を挙げたものということになります。

【問4】

コインを一回投げて、表が出たら砂糖を50グラムもらえ、裏が出たら砂糖を20グラムもらえる。コインの表裏の出方には偏りがあり、表が出る確率が3/10で、裏が出る確率が7/10である。この試行をたくさん繰り返すとき、一回あたりにもらえる砂糖の量の平均値はいくらか。

【答4】

この問題、表現のしかたが異なるだけで、本質は前問とほぼ一緒です。ただ、示されているのが確率であるため、仮にこの試行を1,000回繰り返したとして、表がきっちり300回出るという保証はなく、偶然の作用により299回かもしれないし、301回かもしれないし、場合によっては305回ぐらい出るかもしれない。

しかし、仮に1,000億回繰り返した場合には、表が299億9999万9999回になったり、300億1回になったり、300億5回になったりすることはあっても、305億回になることはまずありえない。このとき、表が出た回数の比率は、1,000回試行した場合に比べて3/10に近づいたことになる。

試行回数をどんどん多くしていけば、表が出る回数の比率は限りなく3/10に近づいていくことがほぼ保証される。これを「大数の法則」という。なので、試行回数Nがじゅうぶんに大きいことにすれば、前問と同じと考えてよい。答えは29グラムです。

一回の試行でもらえるのは、50グラムか20グラムのどちらかであって、実際に29グラムもらえるということはない。しかし、この試行をたくさん繰り返すと、もらえる砂糖の総量は、一回ごとに、表が出ようと裏が出ようと29グラムずつもらうのと大差ないだろうと期待される。

これが平均値ということであって、確率が関わってくるときは「期待値」とも呼びます。しかし、その用語を使わず、「平均値」で統一しちゃっても構わないので、この稿ではそれで行きます。

得られる量にその確率を掛け、別の得られる量にその確率を掛け、もしさらに別の得られる量があるのなら、それにその確率を掛け、すべての起こりうる場合についてその計算をし、最後にそれらの総和をとって得られる値、それが平均値です。

ここのところが大事で、後の、エントロピーの定義に効いてきます。

話は脱線しますけど、半丁博打で、勝負を繰り返すうちに、サイコロの目の出方が均等ではないのではないかと客が気づき、ガリっとかじってサイコロを割ると、案の定、鉛が仕込まれており、「おう、どうオトシマエつけてくれんだよ」と凄む場面をよく目にしますね。知らんけど。

賽を検（あらた）める際に、最初っから見破る手はないでしょうか。深めの水に、何回か沈めてみるのはどうでしょう。鉛が仕込まれていたら、いつも同じ面が上になるような気がします。

●情報量について

見知らぬ人が近づいてきて、「1足す1は2です」とか「太陽は東から昇ります」とだけ告げて去っていったら、そうとう怖い。言っている内容は正しいんだけど、やっぱり、というか、だからこそかえって怖い。なぜか。

告げられた内容について、私はあらかじめ正しいことを知っていた。だから、あらためてそれを伝えられても、得られる情報は何もない。情報量がゼロなのである。

また、ふつうに生活できている大の大人なのであるからして、たとえ私に初めて会う赤の他人だったとしても、そんなことはわざわざ教えてくれなくたって、あらかじめ知っているということを当然のこととして分かっていてほしいという思いがある。

そこをちゃんと分かっているのだとしたら、私にとって何の価値もない情報だと知りながら、わざわざ告げに来た真意はなんだろう、と、そこが分からなくて、気味が悪いのである。

情報の量というものを、数学の言葉で客観的に定義することができる。確率100%で絶対確実に起きると分かっていたことが実際に起きたという情報は、情報量ゼロである。

コインを投げて、表が出たという情報は、少なくとも情報量ゼロではない。裏が出る可能性もあったのだが、実際にはそれが起きなかったと排除してくれているので、それだけの価値はある。ただ、ぶったまげてひっくり返るほどの衝撃はない。この情報量を1としよう。

コインを投げたら、側面で立ったりすれば、けっこうびっくりする。それは、ぜったいにありえないことではないにせよ、起きる確率が低すぎて、予想していなかったからだ。この情報量は、1よりけっこう大きい数であるべきだ。

「宝くじに当たった」のはいい情報だし「ノロウィルスに中（あた）った」のは悪い情報である。しかし、情報量について言うとき、内容のよしあしは問題にしない。それが起きる確率だけが関与するのである。

生起確率が高ければ情報量は小さく、生起確率が低ければ情報量は大きい。大きいと小さいの関係が逆転しているのだから、情報量は生起確率の分子と分母をひっくり返した数（＝逆数）として定義すれば理にかなっているように感じられる。いい線いっているのだが、もう一歩の掘り下げがあると完璧だ。

片方の手には指が5本ある。この5本の指を曲げたり伸ばしたりすることで、何通りの数字が表現できるか。

全部の指を伸ばした「パー」の状態をゼロとしよう。親指だけを曲げて1としよう。さらに人差し指も曲げて2としよう。この調子で全部曲げたとき5になっている。

だから、0から5までの6通り。うーん、いいんですけど、たった5本しかない指をもっと有効に使えば、さらに多くの数を表現できるはずです。

パーでゼロは同じ。親指を曲げて1も同じ。次に、親指を伸ばして人差し指だけを曲げて2。さらに親指も曲げて3。これって、各数字を2進法で表現していることになる。5本の指が各桁に対応し、曲げると1、伸ばすと0だ。「サバラ」は12、「グワシ」は20である（※）。

※サバラとグワシをご存知ない方は、Google画像検索してみよう。

この方式だと、0から31まで表現できる。ちょっと練習すれば、すいすい数えられるようになる。私は7秒ぐらいで0から31まで数えられた。

指が6本あったらどうだろう。1本追加しただけで、一気に2倍になる。0から63まで、64通りも表現できちゃうのだ。両手の10本の指をフルに活用すれば、なんと、0から1,023までの1,024通りもの数を表現できちゃうのだ！　すごくないか？

つまり、確率1/32で起きる事象が実際に起きたという情報は、起こりうる32通りのうちのひとつが起きたと表現できるので、指5本で伝達することができる。確率1/64だったら、指6本。確率1/1,024だったら指10本。つまり、確率が半分、半分に減っていくとき、必要な指の本数は1本ずつ増えていくだけなのだ。

確率1/32と指5本とは、どういう関係になっているのか？　指は、曲げるか伸ばすかの2通りの状態をとることができる。それが5本あるのだから、2を5回掛けて、32。式で書くと、こうなる。
　　2 × 2 × 2 × 2 × 2 = 32

これを、「2の5乗は32」と表現し、式では以下のように書く。
　　2^5 = 32

ほんとうは、2の右上の肩に小さく5を書きたいところだが、テキストで表現するときの慣習として、こう書く。Google検索窓に2^5と打ち込めば、ちゃんと32が返ってくるのだ。

5から32を作る式は上記でよいのだが、逆に32から5を作るには、逆関数を持ち
出さないとならない。指数関数の逆関数は、対数関数である。

「32の対数は5。ただし、対数の底（てい）は2」となる。式で書くと、
　　log2(32) = 5

となる。上式の2は、本来は、logの右下に小さく書きたいところだが、テキストでは慣習としてこう書く。Googleの検索窓にlog2(32)と打ち込めば、ちゃんと5が返ってくるのだ。

確率1/32に対して、この5という値が情報量を表している。確率の逆数をとって、2底の対数関数を通すことで得られる。確率をpとして、情報量をIとして、式で書くと
　　I = log2(1/p)
となる。逆数の対数は符号が変わるだけなので、
　　I = - log2(p)
のようにも書きなおせる。

ところで、確率が1/6のように、2の冪（べき）になっていなかったら情報量はどうなるのか。指の本数が整数でないなどと言うと、ついつい物騒な想像をしてしまいがちだが、対数関数はなめらかな連続関数になっている。
　　I = - log2(1/6) = 2.584962...

対数関数のグラフを見てみたいですか？ Google検索窓に
　　y = log2(x)
と打ち込んでみてください。グラフが表示されます。

ドラッグでスクロールできるし、上下か左右を選んで拡大・縮小表示もできます。Google、なかなかやるな。

情報量はディメンジョンとしては無名数だが、対数の底として2を選んだ場合には「ビット」という単位をつけて呼ぶことが多い。

「サイコロを振ったら3の目が出たという情報は、約2.58ビットの情報量をもつ」というふうに言う。

いちおう確認しておくと、確率1に対応する情報量は0ビットにちゃんとなっている。確率1/2に対応するのは1ビットにちゃんとなっている。

情報量は、値が大きいほうがうれしい。それだけめずらしいことが起きたことを示しているので。

●エントロピーについて

ここまで来るのにだいぶん長くかかってしまいましたが、エントロピーまであと一息です。エントロピーとは情報量の平均値です。これだけ。一息で言いすぎて、何のことだか分かりませんね。

でも、ホントにこれだけ。簡単な話です。それを理解するのに自分がどれだけ苦労したかは、この際、棚に上げておきます。

例を挙げよう。先ほどの【問4】で、表裏の出る確率の偏ったコインが出てきた。表が出る確率が3/10で、裏が出る確率が7/10だった。

表が出たときに得られる情報量I0は、
　　I0 = - log2(3/10) = 1.736965...
ビットである。表が出たときの賞品として、砂糖50グラムの代わりに、砂糖1.736965...グラムもらえることにしよう。

裏が出たときに得られる情報量I1は、
　　I1 = - log2(7/10) = 0.514573...
ビットである。裏が出たときの賞品として、砂糖20グラムの代わりに、砂糖0.514573...グラムもらえることにしよう。

平均何グラムの砂糖がもらえるでしょう。これ、単純に足して2で割るのではなく、それぞれの確率を掛け算して足すのでしたね。
　　S = 1.736965 × 3/10 + 0.514573 × 7/10
　　　= 0.8812906
となる。砂糖だったら単位はグラムだが、情報量だったら単位はビットである。これが、何を隠そう、エントロピーです。このケースでは1ビットに満たないという点に注意しましょう。

では、正しいコイン、つまり表裏の出る確率が半々だったらエントロピーはどうなるか。
　　S = 1 × (1/2) + 1 × (1/2)
　　　= 1
なので、エントロピーは1ビットである。

じゃあ、逆に、ものすごーく偏ったコインだったらどうなるか。表が出る確率が1/1,000で、裏が出る確率が999/1,000としてみよう。エントロピーを計算してみると、0.0114077...ビットとなる。いっそう小さくなった。

横軸に表が出る確率をとり、縦軸にエントロピーをとると、グラフはどうなるか。見たい方は、Googleの検索窓に
　　y = - x * log2(x) - (1 - x) * log2(1 - x)
をコピペしてみてください。

表裏が半々の正しいコインのとき、エントロピーが最大になり、その値は1ビットである。サイコロの場合も同様で、正しいサイコロに対してエントロピーが2.58ビットとなり、偏りがあると、必ずそれより値が小さくなる。

結局、エントロピーとは、何を表しているのか。「乱雑さ」という言葉から来るイメージでは、ちょっと合わない。偏りのなさ、均一さ、というのは、ある程度妥当性があると言える。また、分からないことが多ければ多いほど値が大きくなるとも言える。分からないことが多いのはうれしくないので、エントロピーは小さいほうがいいってことになる。

物理だと、エントロピーが小さい方が仕事ができるのであった。また、放っておくとエントロピーは大きくなっていく一方で、これは死へ向かっていくことを示唆する。やはり、エントロピーの値は小さいほうがうれしいのだ。

生きることを旨とする、その名もまさに「生物」は、エントロピー増大によって死へと引っ張り込まれないよう、下げよう、下げようと働いているようである。ものが均一に散らばっているのをよしとせず、周囲を整理整頓し、配置の偏りを生成する。

例えば、レゴブロックを大量に持っていたとしよう。これが、部屋じゅうに散らばっていたら、エントロピーが高い。特に、整列もせず、無秩序に散っており、しかし、単位面積あたりの個数、すなわち密度は、どこもかしこもだいたい一定なとき、エントロピーは最も高い。

逆に、きれいに片づいて、一か所に固まっているとき、エントロピーは最小値をとる。これは、比喩ではなく、実際に計算可能なのではあるまいか。で、われわれ生物としては、散らばっているよりも片づいているほうが、言い換えると、エントロピーが高いよりは低いほうが気持ちがいい。

ここに、情報量とエントロピーとで、うれしいとうれしくないが逆転している。

この先に、交差エントロピーとか、カルバック・ライブラ距離という概念が登場します。ここではやめておきますけど。私の解説を聞きたい方は、個別に聞きに来てください。そこが分かると、ベイズの統計学にすっと入っていけると思います。

最初に述べたように、意識に関する仮説をちゃんと理解しようと思ったら、通らなきゃならない道なのです。


【GrowHair】GrowHair@yahoo.co.jp
セーラー服仙人カメコ。アイデンティティ拡散。
http://www.growhair-jk.com/



≪年を越した気がしない≫

移動の多い年末年始を過ごしたもんで、年が明けたという気分にちっとも浸れていない。しんみりと一年を振り返る気持ちの余裕はなかったし、今年の抱負を打ち立てるような新鮮な気分に浸れてもいない。

天津で食った蘭州ラーメンが年越しそばだったのか、とか。年明け、居酒屋で特別メニューとして雑煮があったので注文したのが正月っぽかったかな、とか。その程度。

12月8日（金）、京都でシンギュラリティ大学のイベントがあって、聴講した。シンギュラリティ大学は、2045年ごろ機械の知能が人間のそれを上回ると予見している、レイ・カーツワイル氏が立ち上げた組織だ。

この回は、シンギュラリティ・サロンを主催する、神戸大学名誉教授の松田卓也氏が登壇するので聞きに行った。

演題は『シンギュラリティが拓く未来とは？』だったが、PEZY Computingの斎藤元章氏が逮捕された直後だったので、案の定、閉じる未来みたいな話になった。松田氏は、あらかじめ主催者に送っていたパワポ資料を開きもせず、急遽、話を差し替えた。

冒頭、松田氏は、会場を満杯にした100人ほどの来場者に私を紹介してくれた。「案外まじめな人なんです」に会場、大ウケ。
https://peatix.com/event/323768


京都で一泊したが、翌日、昼から、「新宿文化センター」にて新宿区主催のイベント『若者のつどい2017』が開催され、アイドルグループのライブがあるため、午前中に戻ってきて、その足で見に行った。
http://www.city.shinjuku.lg.jp/kusei/danjo01_012143.html


12月16日（土）、大阪にてシンギュラリティ・サロンが開催され、聴講しに行った。ゲームに組み込む人工知能を研究されている三宅陽一郎氏が登壇した。翌週末から一週間は、前回レポートした通り、世界一周。キューバのハバナと中国の天津のイベントに出た。天津で年を越し、1月1日（月）に帰国。

1月6日（土）から 8日（月・祝）は沖縄へ。中ザワヒデキ氏の主催する人工知能美学芸術展で、株式会社アラヤの金井良太氏が登壇するので、聴講した。

沖縄にいることをFacebookでつぶやいたら、タイでいつもお世話になっている滋野真琴さんが私も沖縄に行きますってんで、月曜に会って、一緒に飲んだ。

1月14日（日）は大阪日帰り。シンギュラリティ・サロンで、主催する松田卓也氏がみずから登壇して講演。シンギュラリティは来るという前提で、人間の仕事が機械に置き換えられていくとき、不要階級へと落ちていかないようにするための心得について。それは、勉強することだ、と。

天文学者で宇宙物理学者の松田氏であるが、今は関心が人工知能に移り、せっせと勉学に励んでいるのだそうで。みずから「70の手習い」と。いやいや、その年でその向学心、頭が下がります。けど、われわれは今、勉強し甲斐のある、非常におもしろい時代にいるのだ。

今週末はゆっくりできそうだけど、次の週末はもう国慶節か。で、その次は大阪、と。巷ではインフルエンザが流行っているみたいだが、私には体調を崩している余裕はない。ずっと気を張っているに限る。

≪1,000人の前で盛大にイジられる≫

破竹の勢いで人気急上昇中の落語家、三遊亭とむ氏の独演会を最初に見に行ったのは2017年8月19日（土）のことである。半蔵門にある「国立演芸場」で開催された『三遊亭とむ独演会 スーパー落語ラブファントム 2017』を最前列で見た。

チケットを入手したのは、行きつけの居酒屋で。とむ氏が実家に住んでいたころ、行きつけだったつながりで、マスターが何枚かまとめて入手していたうちの一枚を譲ってくれたのである。

行ったら、冒頭の軽い世間話みたいなトークのときに、ちょこっといじってもらえた。それに乗じて、振り返ってお辞儀したら、会場から大きな拍手がいただけた。なんてあたたかい方々。とむ氏「もう立たなくていいからね」。

翌20日（日）、皇居を挟んだ反対側、丸の内にある「サンケイプラザ」で『シンギュラリティサロン＠東京 第21回公開講演会』があり、慶應義塾大学教授・前野隆司氏の講義を聴講した。

武盾一郎氏も聴講しに来ていて、帰りは東京駅まで歩くというので、私は大手町から地下鉄に乗るのをやめて、一緒に歩いた。

タクシーが止まり、中から「やあ！」と挨拶してくる人あり。誰だかさっぱり思い出せない。ひょっとして人違い？　んなわきゃあるかい！ と自分にツッコミ。オレみたいなやつが二人も三人もいたらコワいわ！

和服ではなかったため、脳内画像検索にまったく引っかからなかったのだが、三遊亭とむ氏その人であった。

武氏が絶妙のタイミングと構図で写真を撮ってくれていた。これだ。
https://goo.gl/photos/XhUQBxoybZVZiFXa9


さて、年は明けて2018年1月21日（日）、『三遊亭とむ独演会スーパー落語ラブファントム 2018 冬』が開催され、またしても同じルートで最前列のチケットを入手した。今度は、有楽町の「よみうりホール」。「またイジってくれるみたいですよ」と、マスター。

この会場の大きさについて、8月の独演会でとむ氏みずから「無謀だった」と自虐ネタにしていたが、蓋を開けてみれば、キャパ1,100人の会場はほぼ満杯だった。

冒頭、最前列のお客さんがそれなりにイジられていたが、私のことはまるで目に入っていないかのごとく、スルーされた。来ないなーと思っていたら、そのあと、盛大に来た。

「自分よりも有名な人」として紹介してくれて、お調子者の私は振り返ってお辞儀し、また拍手を浴びた。それから、大手町での再会の模様を微に入り細にわたり語ってくれたのである。

会話の一言一言まで正確に再現し、生き生きとした語り口が臨場感を醸して楽しい。言葉をメシの種にしている方の芸って、細部の再現がホントにすごい。

そして極めつけは、大伸ばししてパネルにした、武氏撮影の写真を掲げてくれたのである。まるで特別ゲストみたいな宣伝をしていただけて、ありがたすぎる。おかげで、休憩時間、ロビーにて、お客さんたちからずっと写真を撮られ続けた。

ところで、開演前、きれいな女性が席までご挨拶しに来てくれた。AKBグループのSDN48の双子の元メンバーの妹のほうの大木亜希子さん。

2015年12月6日（日）に取材していただき、「しらべぇ」のコラムになっている。これだ。
https://sirabee.com/2016/01/07/71587/


お会いするのは約2年ぶりってことになる。亜希子さんは、11年ぐらい前、日テレのドラマ『野ブタ。をプロデュース』でとむ氏と共演した仲なのだそうで。おー、公式サイトに載ってるー。隅田川高校2年B組の級友なんですね。
http://www.ntv.co.jp/nobuta/


いろいろ偶然が重なり、情報量的にはかなり大きな値になるのではないかと。


━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
編集後記（01/26）

●「セント・オブ・ウーマン/夢の香り」を見た（1992/アメリカ）。盲目の元軍人を演じたアル・パチーノが、アカデミー主演男優賞を受賞したというんだから優れた作品らしい。人生の達人と、まだ人生の入口あたりにいる青年、この組合せは映画における鉄板らしいが、にわかには思い当たらぬ。「スター・ウォーズ」がそうかな。バカ映画ばかりでなく、たまには名作も鑑賞するのだ。

ボストンの名門ベアード高校、良家の子弟らしい生徒たちの中に異質な一人。オレゴンから来たチャールズ、貧しい給費生である。ある日、彼と御曹司のシムズの二人は、不良たちが校長の愛車に仕掛けた大がかりな悪戯を、たまたま目撃したのが不運なことに。怒り狂う校長は、犯人の名を言えと二人に迫る。

シムズは富豪の親の陰に隠れて逃げるが、チャールズはそうはいかない。告げ口すればハーバード大学に推薦書を出すが、言わなければ退学という択一を校長から提示されるが、チャールズの良心は密告を拒む。感謝祭休暇中にチャールズは、クリスマスに帰郷する旅費を稼ぐため、高額なアルバイトを始めた。

それは盲目の退役将校フランク（アル・パチーノ）のお守りである。気難しく口うるさいフランクだが、なぜかチャールズを気に入り、ニューヨーク行きに同行するよう命じる。マンハッタンの超高級ホテルを舞台に、フランクは何かやらかすのが目的のようだ。金に糸目をつけない贅沢、まさに豪遊である。

振り回されっぱなしの無知で不器用なチャールズは、フランクから紳士のたしなみを伝授される。フランクがティーラウンジで居あわせた美女（美女を識別できるらしい。彼女の香水名を言い当てる。タイトルの意味はこれか）とみごとなタンゴを踊るシーンは、舞踏などまったく知らぬわたしでさえ感動する。

豪遊は続く。フェラーリを無理やり借り出し、街の裏通りを疾走するシーンには度肝を抜かれる。盲目のドライバーが高速で。これは恐ろしい設定だった。豪遊の後に塞ぎこむフランクの姿は痛々しい。彼の旅は、最後に軍服で正装し、自殺するのが目的だった。フランクが45口径の拳銃を手にする。それを知ったチャールズは、必死に、涙ながらにフランクを説得して思いとどまらせる。

心を通わせた二人はボストンに戻って別れる。まさかこれで終わりではないよね、とわたしは思う。チャールズは公開懲戒委員会に出席させられ、校長の追及に絶体絶命の窮地に立つ。そこへチャーリーの「保護者」としてフランクが登場。チャーリーの高潔さを主張する、説得力満点の感動的な大演説を打ち、見事にチャーリーを救う。満場の拍手。久々の納得の結末の映画。（柴田）

「セント・オブ・ウーマン/夢の香り」
http://www.amazon.co.jp/exec/obidos/ASIN/B006QJSACO/dgcrcom-22/



●大阪マラソン続き。ランニング用GPSウォッチ「GARMIN ForeAthlete 35J」。左手にApple Watch（以下AW）、右手に35Jを装着してジョギング。AWでは信号待ちなどで時間を止めてくれるオートポーズ機能を利用。

GPS。35Jは初めての場所では掴みに数分かかるが、二度目以降はほぼ待ち時間なし。履歴を探ったりするのだろうか。距離に関しては両者ほぼ同じ。1kmごとにアラーム（バイブ）鳴らすようにしたら、どちらからも通知が来てうるさい（笑）。

GARMINのスマホアプリでは、数人のグループが作られて、歩数の順位を争うようになった。たまたま同じ場所を走った人たちとの順位も出た。大阪城公園やその近辺を走っていたのでジョガーが多かったようだ。続く。（hammer.mule）