人工知能への道（4）；対話する構造

ミンスキー氏の対話構造
　 　
1961年に書かれた論文（参考資料3、4、5）は、人工知能（AI）開発に向けて同氏が課題と考えた案件が列記されている。 イントロ部と結論の章を除くと、その本文は、以下の5章からなる。

1.検索動作 ：The Problem of Search
2.パターン認識 ：The Problem of Pattern Recognition
3.学習システム ：The Problem of Learning Systems
4.計画策定と問題解決 ：Problem-Solving and Planning
5.抽象化情報の抽出とモデル群 ：Induction and Models

1章から4章までは汎用的に現れると想定する4種のアルゴリズムに関する課題であるが、「それらの整備だけでは知性が発現し得ない」として5章をスタートさせている。

5章の骨子は、以下である。
・知性の発現には、入力情報からの抽象化情報の抽出（帰納、Induction）が重要な役割を果たす
・脳の中に2つの自律動作する計算機構であるModels（抽象概念群が作る世界モデルと生成モデル)とMindが存在すると考えると、脳内の動作を理解しやすい
・Mindは、Modelsと対峙しModelsと対話する
・Modelsを構成する抽象化情報（群）には、サブマシン（群）が対応して存在する
・Modelsの計算機構の入出力インターフェースも、Mindの計算機構の入出力インターフェースも、Models内のサブマシンのサポートによって符号化（エンコード）、または、復号化（デコード）されている（従って、Modelsの回路は、入れ子的（再帰的）構造を持つ）

以下、筆者の想像する処を過剰に含んだ表現となっているかもしれないが、サブマシンやModelsは更に次のような特徴を持つと思われる。

・「モデル（a Model）」やサブマシンの動作を定義するのは、サブマシンが記憶するデータ（パラメータ）群である。 モデルやサブマシンは、様々な事象や対象物に対応した時の学習やトレーニングを通じて、それらデータ（パラメータ）群のより良い値を獲得する。
・Models（世界モデル群や生成モデル群）は、「モデル（a Model）」の集合である。
・サブマシン群は、時折、動作を効率化するためにメインテナンスされ、自律的に抽象概念を抽出する。 その抽象概念は、新たな「モデル（a Model）」であり、新たなサブマシンによってサポートされるとすべきかもしれない。
・獲得した抽象概念のサブマシンに関するデータは、画像理解や言語生成のための脳内の符号化（Encoder）や復号化（Decoder）の回路の動作を定義する。
・"a Model"もサブマシンも、複雑に階層化された内部構造を持ちうる。各々の階層が自律的に動作する。
・サブマシンが動作すると、他のサブマシンやそのサブマシン自身の次の動作に影響を与える学習動作を引き起こしうる。

ここでいう学習や抽象化は、1度の処理で完了する訳ではなく特定の集合全体へのオペレーションとなりうる。類似のデータが取り込まれた時、または、何らかの意味で関連データが短期記憶に取り込まれた時に、学習は繰り返され、その繰り返しを通じて、抽象概念（帰納化、Induction）の更新も行われるということであろう。

図1　ミンスキー氏の考える脳の中のModelsとMindの間の内省動作；　外部の事象（A）に関する情報は、脳内に符号化（エンコード）されて"a Model"を生成する。もし、対話者から、「Aは何ですか?」と問われると、Mindは、Modelsを検索し、返答された内容を元に解答文章を作成して、対話者に返答する。　
出典：参考資料2〜4を元に、筆者が作成

Modelsについては、以下のような表現での説明もある（図1）。
「脳は、脳内のいくつかのサブマシン（もしくは、彼の脳内に存在するModel）の振る舞いデータを符号化して出力することができる。 サブマシン群やModelsは、脳が、対話者からの質問に応答する主体である」。

筆者の理解では、サブマシンとは、次の通りである（注1）。
・Models（世界モデル群や生成モデル群）を表現するハードウエア・プラットフォームであり、
・学習によって獲得した「内部データ」を元に、次の入力情報を処理する計算機構

Mindと"State Machine"の違いについて

Mindは、参考資料4の中で、以下のように登場する。

「もし、脳内の知識を担う部分であるModelsと新たな質問を生成したり思考プロセスを管理したりする汎用装置部分であるMindの二つを、解剖学的に識別することができるのであれば話しはしやすい。 しかし、知識を担う部分と、エンコードを行う部分を解剖学的にも、機能面でも切り分けることができるとは思えない。なぜなら、知識は、エンコード（符号化）プロセスにも、デコード（復号化プロセス）にも使われるからだ」

つまり、Mindは、「Modelsのサポートの元に、新たな会話文章を生成したり、思考プロセスを管理したりする汎用装置」としている（注2）。

Mindの動作は状態遷移回路（State Machine）に似るが、状態遷移回路とは異なる。脳内の特にModels内のサブマシンは、各々自律的に動作しており、それぞれに「状態」が定義されうるためである。各サブマシンが自律動作するため、脳全体に対して単一の「状態」をいうことはできない。　

しかしながら、Mindは、Modelsに質問（実態としては、検索要求）を送ることによって、特定の情報（a Model）を切り出し、そのサブマシンの状態を読み出すことができる。 これは、特定の情報（a Model）への「注目（Attention）」である。　

Attentionとは

Attentionは、パターン認識の章（第2章）で登場する表現である。 ミンスキー氏は、

「対話者が、脳に、『Aは何ですか?』と尋ねると、Mindは、その質問をエンコードし、Aに関するモデル（"a Model"）を検索し、"a Model"の状態を読み出す（図1）」

Mindが「Modelsを検索して特定のサブマシンの状態を読み出す（特定の情報を切り出す）」動作をAttentionと呼んでいると思えるが、その動作は検索を用いたパターン認識動作としても理解されているのだろうと思われる。

"Attention"によって、Mindは、特定のサブマシンから出力を受け取り、その他のサブマシンの出力を（ほとんど）無視することになる。 従って、Mindから見ると、注目（Attention）によって読み出された特定"a Model"の状態は、Models全体の「状態」であるように見えるだろう。 その読み出された「状態」にて「Modelsの状態」を定義すれば、Mindは、"Models"の側の状態遷移とすることもできるだろう。

とすると、Mindは、「特定のサブマシンの状態をエピソードとして読み出し得た情報を元に、表現やシナリオを生成する回路」となりうるのではないだろうか? そのように仮定し、Modelsや"a Model"と、「表現（シナリオやエピソード）」の関係を図示すると図2のようになる（注3）。

図2　Modelsと"a Model"と「表現」の関係　Mindは、Modelsの中から、特定の"a Model"に注意を注ぎ、その中の情報を用いて、「表現」を組立て生成しようとする； 出典：参考資料4を元に、筆者が作成

計算複雑性理論におけるInteractive Proof Systemとの比較

ModelsとMindとの間の対話構造（内省）は、計算複雑性理論でいうInteractive Proof Systemの証明者と検証者の間の対話構造に似る（図3、参考資料2）。

図3　ミンスキー氏の知性（Intelligence）発現の機構と、計算複雑性理論でいうInteractive Proof Systemの構造の比較　共に、知識のための計算機構（Modelsや証明者）と、文章作成のための計算機構（Mindや検証者）を持ち、両者の間の対話にて適切な情報やシナリオ探すというオペレーションを行う
出典：参考資料1と2を元に筆者が作成

共に、知識のための計算機構（Modelsや"証明者"）と、文章作成のための計算機構（Mindや"検証者"）を持ち、両者の間の対話にて適切な情報やシナリオを探すというオペレーションを行う。

Interactive Proof Systemでは、命題証明の効率を最大限に高める観点から、証明者と検証者の間の役割分担を図3（B）のように設定するが、ミンスキー氏の知性発現構造におけるMindの役割もエネルギー効率の最大化である可能性が大きい。両者が、「乱数に基づく質問の作成」や「確率的応答」を採用するとの点も類似点である（ニューラルネットワークも、確率を応答しうる）。

相違点としては、Interactive Proof Systemは、命題の証明の装置であるため計算が停止することを重視するが、一方、「脳の場合は、生命活動であり、生ある限り計算が完了する必要はない」という点が上げられる。 サブマシンの各々は自律して動作するためループ状態を維持したり出力を迷い続けたりしても、それらのサブマシンをAttentionの対象から外すことは支障がないだろう。

脳内の複数のサブマシンによって質問への応答が生成されるとの考えは、前野隆司氏の受動意識仮説に似る（参考資料6）。 前野隆司氏は、一般向けの解説書の中で、脳の中のニューラルネットワークを「大勢の小人」と表現し、「脳の中の傍観者が注意を払って意識した『小人』の働きが意識に上る」と言い、また、「意識される『小人』の陰で、意識されない大勢の『小人』が機能している」という。

自律的、並列に動作する大量の"a Model"や"小人"をエミュレートする人工知能用のコンピュータは、現代の中央制御式のコンピュータとはハードウエアとは大きく違っているべきだと筆者は思う。

注
1. 機械学習や深層学習では、「生成モデル」と「世界モデル」は区別され、「生成モデルによって世界モデルが形成される」とするが、Minskyのモデルは、それら両方のモデルを包含しているように思える。
2. ミンスキー氏のMindには、日本語でいう『心』と『思考』を合わせた意味も込めていると思うが、「意識する」の意味合いで"Be conscious"という動詞的表現も使われており、"Be conscious"には受動的、Mindには主体的の能動的な機能を言い含め、使い分けていると思われる。
3. 脳は、入力情報である「真の対象」に似るように「表現」を制御しようとするかもしれないが、両者の間には一定の差があるのが通常である。 また、「表現」を受け取る他者の理解も、「表現」とは多少なりとも差のある内容となるだろう。 その誤差は、非建設的に作用することが多いかもしれないが、時には、建設的に作用することもある。
Modelsや"a Model"は階層構造を持つが、その下層の階層は共通の抽象概念を用いる。 従って、図2は、決して、「独立要素の集合」の包含関係を意味していないことに注意が必要である。

参考資料
1. 岡島義憲、「人工知能への道（2）：Intelligenceとは何か」、セミコンポータル、 (2021/07/28)
2. 岡島義憲、「人工知能への道（3）：対話する構造の重要性」、セミコンポータル、 (2021/08/26)
3. Minsky, M., "Steps toward Artificial Intelligence", Proceedings of the IRE Contents, Vol. 49, 1961.
4. Minsky, M., "Step Toward Artificial Intelligence", in Computers and Thought, published by McGrraw-Hill, pp. 406-450, 1963.
5. Minsky, M., "Step Toward Artificial Intelligence", in Marvin Minsky Homepage in MIT Media Lab.
6. Minsky, M., "Matter, Mind and Models", Proc. International Federation of Information Processing Congress, vol. 1, pp. 45-49, 1965
7.前野隆司、「脳はなぜ『心』を作ったのか」、ちくま文庫、2010年