[4841] 自由エネルギー原理 ― 個体が外界を理解しに行く数理モデル[番外編]

投稿:  著者:



《思いついたら言いたくて言いたくてたまらないので》

■ Otaku ワールドへようこそ![310]
 自由エネルギー原理 ― 個体が外界を理解しに行く数理モデル[番外編]
 GrowHair




━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■ Otaku ワールドへようこそ![310]
自由エネルギー原理 ― 個体が外界を理解しに行く数理モデル[番外編]

GrowHair
https://bn.dgcr.com/archives/20190801110100.html

───────────────────────────────────

7月12日(金)と7月26日(金)の配信分で、『自由エネルギー原理 ― 個体が外界を理解しに行く数理モデル』の、それぞれ前編と後編を書いた。前編、後編、と来たら完結したものと思うかもしれない。私もそのつもりだった。

ところが、後編を入稿した後で、ふと思いついちゃったことがある。思いついたら、もう、言いたくて言いたくてたまらない。夏休み明けまで待ってなんかいられない。[番外編]という形で追記したい。

編集部にはこれまでも多大なご迷惑をおかけしている。締切り破りの常習犯であること、加えて、私の場合、原稿がやたらと長く、しかも数式が入っていたりして、編集にたいへんな労苦をおかけしている。ここに謹んでお詫び申し上げたい。お詫びしつつ、追い打ちをかける。

前編はこちら。
https://bn.dgcr.com/archives/20190712110100.html


後編はこちら。
https://bn.dgcr.com/archives/20190726110100.html



□自由エネルギー原理の問題点と改良の可能性

カール・フリストンは、個体が外界を理解しにいく情報処理のメカニズムにおいて、変分自由エネルギーFの値を下げようとする指向が原理としてはたらいている、と主張している。この原理により、知覚も、行動も、学習も説明がつくという。

しかし、Fの定義のしかたに問題がないわけではない。以前から言われているものとして「暗い部屋」問題というのがある。これを回避しようとするならば、Fの定義に変更を加えなくてはならない。

変更のしかたにはいろいろあるかもしれないが、ひとつ、こんなのはどうか、というのを思いついたので、提案したい。

改良の結果、驚異的にすばらしい定義式が誕生するかと思いきや、得られたものは意に反して、驚異的につまらない。感覚入力 s の下での外界の状態 x についての条件つき確率 p(x|s) を近似する未知の確率分布 q(x) を求めたいのであるから、それらの交差エントロピーをあらためて F と定義しなおし、それを下げようとすればよい。あったりまえじゃん。

アニメ『天空の城ラピュタ』に「バルス!」という呪文が登場する。この呪文を唱えると、ラピュタの崩壊を引き起こす。自由エネルギー原理はこの呪文に耐えるだろうか。

□定義と数式変形

再掲すると、変分自由エネルギー F は、次のように定義されている。

  F = Σ_x q(x) ln( q(x) / p(x,s) )        ……【数式 6】

ただし、x は外界の状態、s は感覚入力、p(x,s) は x と s の同時確率、(数式には表れていないが) p(x|s) は s の下で x が起きる条件つき確率、 q(x) は p(x|s) の近似をそれぞれ表す。また、ln() は自然対数関数を表す。

F は3つの方法で変形することができる。
(1)対数関数の和の公式で展開
(2)確率の乗法定理で x の下での条件つき確率の式に変換した上で、対数関数の和の公式で展開
(3)確率の乗法定理で s の下での条件つき確率の式に変換した上で、対数関数の和の公式で展開

対数関数の和の公式とは、下記のものである。

  ln(u v) = ln(u) + ln(v)

確率の乗法定理による2通りの変形については、再掲すると下記のものである。

  p(x,s) = p(x) p(s|x)               ……【数式 1】

  p(x,s) = p(s) p(x|s)               ……【数式 2】

さて、(1)~(3)による変形のうち、以下の文脈に関わるのは(3)だけであり、(1)と(2)は関係ない。なので、(3)による変形について述べておく。過程は省略して、結果だけ。

【数式 6】の p(x,s) のところへ【数式 2】を代入して変形すると、次が得られる。

  F = Σ_x q(x) ln( q(x) / p(x|s) ) - ln(p(s))   ……【数式 7】

【数式 6】と【数式 7】は、見かけが変わっただけで、数式の表す内容としては、まったく同一である。

個体は変分自由エネルギー F の値を最小化しようとする指向をもつという。これを「自由エネルギー原理」とよぶ。

□知覚の仕組みを自由エネルギー原理から説明する

知覚とは、個体が感覚入力 s に基づいて、外界の状態 x を推測することである。このメカニズムは、自由エネルギー原理から説明がつく。

これについて、私は問題視していない。しかし、その後で述べる行動の話につなげるために、述べておきたい。

【数式 7】には登場人物がいろいろ出てくるが、どれが固定された既知の値で、どれが可変な未知の値であるかの区別は重要である。個体がものを知覚する際には、下記のような条件設定になっている。

(1)同時確率分布 p(x,s) は(あらゆる x と s にわたって)既知で固定
(2)感覚入力 s は既知で固定
(3)求めたいのは、s の下での(あらゆる)x の生起する条件つき確率分布 p(x|s) であり、未知

ベイズ的な解として、次のように求まる。再掲。

  p(x|s) = p(x,s) / Σ_x p(x,s)          ……【数式 5】

これを自由エネルギー原理の観点から再解釈すると、次のようになる。x についての確率分布 q(x) は未知で可変とする。この q(x) を用いて変分自由エネルギー F を【数式 6】のように定義した上で、先ほどの条件の下で F の値を最小化しようとすると、何が起きるであろうか。

これを調べるのに、【数式 6】を【数式 7】に変形しておくと、答えが見えてくる。

【数式 7】の後半にちょこっとついている -ln(p(s)) の項は、s にしか依存していない。ここで、s は固定という設定になっている。なので、この項は定数項であって、変化させようがない。F の値を下げようとするならば、前半の項で何とかする以外にない。

ところで、前半の項は、q(x) から p(x|s) へのカルバック・ライブラー距離として知られている数式そのものである。すべての x にわたって両者の値が等しいとき、かつ、このときに限って、カルバック・ライブラー距離が最小値をとり、その値はゼロであることが知られている。

つまり、F の値を最小化するような未知の確率分布 q(x) を求めようとするのは、すなわち、p(x|s) を求めようとすることに相当する、というわけである。

F の値が最小値に到達したとき、前半の項の値はゼロになっているのであるから、後半の項しか残らない。

□行動の仕組みを自由エネルギー原理から説明する

知覚については説明がついたので、次は行動について考える。

行動をとるとはどういうことかというと、感覚入力 s を変化させることができるということである。感覚入力 s は、個体にとっては知ることのできない外界の状態 x に基づいて、物理法則に基づく生成過程 p(s|x) を経て個体に届く情報である。

なので、個体は自分の都合のいいように s そのものを決めることはできない。しかし、行動をとることによって、s をあてずっぽうに変化させることならできる。

行動をとるに際して、知覚を停止させておかなくてはならないという法律はない。なので、条件設定として、q(x) を固定しないことにしておこう。

行動における条件設定は次のようになる。

(1)同時確率分布 p(x,s) は(あらゆる x と s にわたって)既知で固定
(2)個体は行動を通じて感覚入力 s を間接的に選択することが可能
(3)確率分布 q(x) は未知で可変。個体が選択した s に応じて、その都度、個体が選択可能
(4)求めたいのは、s をどのような基準の下に選択するのがよいか

行動をとることによって、感覚入力が s からあらたな s' へと変化した場合、この s' に応じて確率分布 q(x) を選びなおすことができる。

変分自由エネルギー F については、定義式そのものである【数式 6】ではなく、これを変形して得られる【数式 7】のほうで考える。

s の変化に応じて選びなおした q(x) を用いれば、前半の項の値は最小値ゼロにすることができる。すると、後半の項しか残らない。この項は -ln(p(s)) である。

F の値を下げたいとしたら、p(s) の値を上げるべきである。つまり、この原理にしたがえば、「感覚入力 s が入ってくる確率 p(s) を最大化するように行動せよ」となる。

つまり、遭遇確率の最も高い、ありふれた景色を見に行けばよいことになる。そうすると、常に見慣れた景色ばかりを見て、それ以外の景色を見にいかないのが最良の選択ということになる。

極端な話、真っ暗な部屋に閉じこもって、ずっとじっとしていれば、真っ暗な感覚入力 s がずっと入ってきつづける。このとき、その遭遇確率は 1 であり、F は全体として最小値ゼロをとりつづける。

F の値を最小化したいならば、真っ暗な部屋に閉じこもって、ずっとじっとしてろ、ってことになる。これはおかしい。これを「暗い部屋」問題とよぶ。

暗い部屋問題は、F の定義のしかたに改良の余地があることを示唆している。

□後半の項を差し替えてみよう

では、【数式 7】の後半の項 -ln(p(s)) をどんな数式で置き換えるのが妥当であろうか。私は、p(x|s) のエントロピーを提案したい。

つまり、【数式 7】の後半の項

  - ln(p(s) )

に替えて、

  - Σ_x p(x|s) ln( p(x|s) )

を採用するのである。

あらゆる x にわたって、それが起きる確率が均等であったら、この確率分布のエントロピーは最大になる。このとき、x について、まるで情報が得られてい
ない。

一方、生起確率に凸凹があるとき、この確率分布のエントロピーは小さくなっていく。このとき、どんな x が起きていそうか、有益な情報が得られたことになる。つまり、エントロピーの低い確率分布のほうが、価値が高いのである。

なので、F の後半の項として、エントロピーを据えておけば、これを最小化しようとする原理とは、x について最大の情報が得られる確率分布を選択することに相当する。

行動をとることにより、感覚入力 s を選択しなおし、それに応じて得られる p(x|s) のエントロピーが元よりも小さくなっていれば、外界の状態 x に関して得られている情報が増えたことに相当する。

後半の項を上記のように差し替えて得られる F の定義式は、もはや元の変形ではなく、元とは別物になっている。

□前半の項も差し替えておこう

結末がきれいにキマるように、あらかじめ張っておく伏線のような作為的な印象を受けるかもしれないが、前半の項もついでにいじっておこう。

【数式 7】の前半の項

  Σ_x q(x) ln( q(x) / p(x|s) )

これは、q(x) と p(x|s) のカルバック・ライブラー距離である。2つの確率分布の非類似度を表す指標である。「距離」と呼ぶからには、A 地点から B 地点までの距離と B 地点から A 地点までの距離とが等しくなるべきだと期待するのがふつうである。これを「対称律」とよぶ。

数学において、距離の公理にも対称律を満たすべしと書いてある。あらたな空間を自分で勝手に定義するのはいっこうに構わないけど、その空間に距離という概念を導入しようとするならば、対称律を満たすように定義しとけよ、と。

ところが、カルバック・ライブラー距離は対称律を満たさない。2者の順番をひっくり返すだけで別物になってしまう。こういうのを距離と呼ぶのは公理に違反するので、「情報量」とか「ダイバージェンス」とか呼び換えたりする。まあ、分かってやっているなら、硬いこと言わず、距離でいいんじゃないかな。

さて、上記の項は、未知の確率分布 q(x) で平均をとるという形をしており、ここに違和感がある。感覚入力 s に応じて固定されている確率分布 p(x|s) を基準として、可変な確率分布 q(x) がどれだけそこへ迫っているかを評価するためには、カルバック・ライブラー距離の逆向きのほうを採用して、p(x|s) について平均をとるのがよいのではないか。

つまり、F の式において、前半の項

  Σ_x q(x) ln( q(x) / p(x|s) )

  Σ_x p(x|s) ln( p(x|s) / q(x) )

に差し替えるのがよいのではないか。

□差し替えてみる

さて、前述した2つの差し替えをいっぺんに適用すると、どんな数式が得られるか。これは、元の F とは別物になるので、これを F_K と表記することにする。途中の数式変形の過程を省略して、結論だけ言うと、こうなる。

  F_K = - Σ_x p(x|s) ln( q(x) )          ……【数式 8】

どうです? この数式は、元の F の定義式よりもいっそう簡潔な形をしている。原理と呼ぶからには簡潔に表現されているほうが美しい。

いま、F を改良するつもりで部品を差し替えて作った F_K が、よりいっそう簡潔な表現に落とし込めている。ということは、いよいよこっちのほうが原理っぽくないか。

さて、【数式 8】の形式で表される概念は、実はすでによく知られていて、「交差エントロピー」という名前がついている。これを H(・,・) で表せば、

  F_K = H( p(x|s), q(x) )             ……【数式 8'】

となる。

【数式 8】は、次の形に変形できる。

  F_K = - Σ_x p(x|s) ln( p(x|s) )
   + Σ_x p(x|s) ln( p(x|s) / q(x) )      ……【数式 9】

これは、単独のエントロピーと、カルバック・ライブラー距離との和の形をしている。

  F_K = H( p(x|s) ) + D_KL( p(x|s) || q(x) )    ……【数式 9'】

交差エントロピーがこの形に変形できることは、前々から知られており、Wikipedia の「交差エントロピー」の項にも書いてある。

これの前半の項が、先ほどの後半の項に、後半の項が、先ほどの前半の項に相当する。

さて、自由エネルギー最小化よりも、交差エントロピー最小化のほうこそ原理にあたるでしょう、という主張を認めたとしても、言っている内容に新しみはまったくない。

q(x) を p(x|s) に近づけたいのだから、それは両者の間の交差エントロピーを下げようとすればそうなるでしょう、というのは、もうあたりまえすぎて、何も言っていないに等しい。原理を見出した、などと取り立てて自慢するほどのことではないのである。

この意味において、新旧どっちの原理も、価値が骨抜きになったのではないだろうか。

□交差エントロピー原理から外界理解の理論を再構築する

フリストンのもともとの主張は、「変分自由エネルギー F を定義し、F の値を最小化しようとするという原理を導入すれば、個体の知覚、行動、学習のメカニズムを説明づけることができる」というものであった。

自由エネルギー F を交差エントロピー F_K に置き換えたとしても、知覚、行動、学習を説明づける論理は、ほぼ、そっくりそのまま引っ越しできる。その意味において、フリストンの理論は崩壊してはいない。

交差エントロピー最小化原理を出発点としなおして、どのような理論が再構築できるかをなぞるのは、ここでは省略しておく。学習の説明づけは、もともとでも省略していたことだし。

ただし、行動については、少し議論しておきたい。行動原理の説明づけに効いてくるのは後半の項であった。この項は別のものに差し替えている。

もともとだと、遭遇確率の高い感覚入力 s を選択する、という動機しかはたらかなかったので、見慣れた景色をずっと見ていればよいという「暗い部屋」問題にハマっていた。

新たな F_K の定義においては、エントロピーの低い確率分布 p(x|s) が得られるような s を選択しにいく、という動機に変更されているので、暗い部屋からは抜け出せると思う。

しかし、具体的にどのような行動を選択するかを一意に決定づけるメカニズムについては、説明が及んでいない。

たとえば、視界の隅っこに何かいるようだけど、ピントがボケているため、蝶だか蛾だか判別しきれない状況にあるとしよう。そこへ目を向けてピントを合わせれば分かりそうである。これは、エントロピーの低い確率分布を選択しにいくことに相当し、たしかに F_K の値を下げる行動ではある。

しかし、その行動をとらず、振り返って、背後に池があることが確実であると確認しにいくのはどうだろう。これでもエントロピーの低い確率分布を選択したことになり、池の存在の確実性から、こっちのほうが F_K の値をより小さくしているかもしれない。

F_K の値を下げようとするだけなら、見ている対象物が何であるか確実に分かっている、エントロピーがゼロの確率分布を呈するような s を見にいけばよいことになる。

つまり、交差エントロピー最小化の原理からだけでは、具体的にどのような行動を選択すべきか、一意に定まるように説明づけするところまでは至っていない。せいぜい暗い部屋から明るいところへ出ていける程度である。

蝶か蛾か判別しづらい何かがそこにいるようであれば、それがもっとちゃんと分かるように行動を選択するその動機、すなわち好奇心のようなものを数理的に定式化できないだろうか。

好奇心ばかりだと、そこにいるものをより詳細に詳細に観察する方向へ入り込んでいって、抜け出せなくなってしまう。だいたい分かったと思えたところで飽きて、関心対象を別の方面へ移す、その動機は何なのだろう。

エサを探しに行くという目的がある場合、好奇心をあまり優先しすぎて道草ばかり食っていてはいけない。目的対好奇心のバランスをどうとるのか。

可能な行動の候補から一意に絞り込むためには、他にどんな原理を導入すればよいのだろう。この疑問への答えは、もともと提示されていなかったが、改良版でもどうにもなっていない。抜けが解消しておらず、理論として整備しきれていないと言える。

この原理を組み込んだ機械を実際に試作してみようと企てても、行動を一意に選択する手法が確立していないため、いまだ設計できるまでの段階に至っていない。

ひょっとすると、そこに意識が効いてくる、ってことなのか?


【GrowHair】GrowHair@yahoo.co.jp
セーラー服仙人カメコ。アイデンティティ拡散。
http://www.growhair-jk.com/



━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
編集後記(08/01)

○お暑うございます。ご愛読ありがとうございます。デジクリは明日8月2日(金)から18日(日)まで夏休みです。次号は8月19日(月)の予定です。


●偏屈読書案内:山田真美「運が99%戦略は1% インド人の超発想法」

国際会議ではインド人を黙らせることと、日本人に発言させることが最も難しい。というジョークがあるが、会議のみならず、個人レベルにおいてもインド人の自己主張は生半可なものではないらしい。哲学者のような彫りの深くミステリアスな顔立ち、愁いを帯びた瞳、圧倒的なオーラ。しかもインド人の多くは恐ろしいほど自己PRがうまい。TPOに関係なく超弩級に押しが強いらしい。

筆者はインドの伝統文化の研究者で、「ブリタニカ国際年鑑」のインドの内政、経済、外交のページを20年にわたって担当する。インド工科大学の教壇にも立つ。36年に及ぶインド人とのつきあいを通じて筆者が痛感しているのは、「大部分のインド人は、初めて会ったときが一番すごい」であった。最初の衝撃波が最大で、それ以上の驚きを後年で提供してくれたインド人はほぼゼロだった。

日本とインドの違いを主として比較文化論的に、少し辛口にアプローチした本である。神秘なインド人の正体は、自分を限りなく大きく評価し堂々とアピールする人、に過ぎない。自己主張が通れば道理は引っ込む、そういうインド人を予め知っておけば、ビジネスでの失敗や個人レベルでの誤解を回避できる。

インド人の人生の目的は「アルタ(実利・富・財)」「カーマ(愛・性愛)」「ダルマ(法・義務)」の三つが、バランスよく実現することだという。たった三つしかない人生の目的の一つが、ビジネスと金儲けなのだ。日本人は金儲けよりも清貧をよしとするメンタリティがまだ残っている、と思う。じっさいわたしはそれを標榜している。人生不器用で稼ぎがない、というだけであるが。

インド人とのつきあいの中で日本人が困惑するワースト3は、時間を守らない、恐ろしく押しが強い(遠慮というものを知らない)、アルコールに対して非常に厳しい、である。インド人は酒をのまない(飲んでも飲んでいないふりをする)、飲酒自体をを軽蔑する。特に女性の飲酒については、絶望的に厳しい。

インドで女性として生きるとはどういうことか。インド人に嫁いだ日本人女性の話。ごく普通の日本人だが、インド人に一目惚れされ「すべて君の希望通りにする」と熱烈なプロポーズを信じてインドへ。10余年後、彼女は殆ど軟禁状態。家計は夫が握る。好物の牛肉・豚肉を食べられない。夫の同伴なしでは外出禁止(インド女性の62%がそんな状態)。インドのことを殆ど知らない。

彼女の現状はインドではごく普通らしい。社会の底辺に閉じ込められた女性がいて、一方で社会のトップで活躍する女性もいる。インド国民会議派(民主国家のなかでは世界最大級)党首のソニア・ガンディーは、なんとイタリア人。初めは普通の主婦だった。いくら夫がラジーヴ・ガンディーで、姑がインディラ・ガンディーとはいえ、イタリア人がインドで歴史ある政党の党首とは……。

日本人のインド人観は、1964東京オリンピックの頃にTVCMで流された「インド人もビックリ」というキャッチコピーにあるだろう。インド人は並大抵のことでは決して動じない、という暗黙の了解が拡散し定着したが、なんでもありがインド、超保守的で超革新的なインド、こんなわかりにくく、遠い国もない。その正体は「自己主張が通れば道理は引っ込む国・インド」らしい。(柴田)

山田真美「運が99%戦略は1% インド人の超発想法」2016 講談社+α新書
http://www.amazon.co.jp/exec/obidos/ASIN/4062729377/dgcrcom-22/



●「インドでキャバクラ始めました(笑)」を思い出した。

/コストコ続き。ベテランさんは保存方法に長けていた。何もかも大容量なのだが、冷凍方法や利用方法さえ気をつければいいのだと教えてくれる。

クロワッサン、12個入り。勧められたが、味がわからないし、そんなにいらないやとパスしようとしたら、3人で分けてもらえることとなり、4個ゲット。会員カードでは3人まで入れるためか、3で割り切れるものがとても多い。

これも帰宅してオーブントースターに乗せてはじめて、保存食として常用しているクロワッサンとの大きさの違いに気づく。保存食はひとつ36g、コストコのは60〜70g。

ひとつひとつラップして冷凍しておき、解凍しないままトースターで焼き、途中から焦げないようにアルミホイルをかぶせるとサクサクになるとのこと。美味しくて、冷凍せず二日で食べちゃったわ。次誘われたらまた買うぜ!

/今の時期が一番からだに堪えます。みなさま、熱中症にはお気をつけください〜!(hammer.mule)

クロワッサン(コストコ)
https://nomad-saving.com/39015/


クロワッサンリッチ(コモ)
https://www.comoshop.jp/item/detail_2_0_0_0_8_0.html