人工知能への道（1）：ニューラルネットワークとCAMの類似性

CAMと連想メモリとAssociative Memory
　
筆者は、1990年代末に、検索回路の検討を進めた経験を持つ。メモリの設計部門への所属が長かったが、DRAM事業の行き詰まりの影響を受け、新設のロジック商品向けのDRAM混載ASICの開発に異動となり、グラフィックスやネットワーク・アプリで必要とされる大容量メモリとロジックの混載技術の担当となった。DRAM型のCAM（Content Addressable Memory）も、そのターゲットの一つであった（参考資料1）。

当時のCAMは明らかに発展途上の技術であった。その動作は、RAMの動作の逆である。 RAMが、アドレスを入力しデータを出力するのに対し、CAMは、データを入力しアドレスを出力する。 その動作のことを検索（Search）と呼ぶ。 予め、CAMに登録しておくデータは、例えば、MACアドレスやIPアドレス等である、検索してみて未だ登録されていないことが判明した場合には、自動的にそのアドレスを登録するという「自律学習」する機能を持っており、筆者には非常に魅力的な技術と思えた（注1）。 CAMの自律学習機能はFeed-Forward型であり、ヘブ（Hebb）学習（注2）を表現する方式へと拡張させうる。

CAMは、日本語では連想メモリと呼ばれることが多い。 しかし不思議なことに、「連想メモリ」を再度英訳すると、“Associative Memory”となり、数理統計脳科学や情報幾何学の創始者である甘利俊一先生、ネオコグニトロンの福島邦彦先生や、アソシアトロンの中野馨先生の名前が現れるニューラルネットワークの世界である。筆者は、CAMからスタートし、ニューラルネットワークの世界を垣間見ることとなった。

CAMとニューラルネットワーク回路

筆者は、CAMとニューラルネットワークは、基本動作としては等価な回路であると思っているが、両者の間には不思議なほどにすれ違いがある。慣例によると、ニューラルネットワークを表現する回路は、図1Aのように、左辺側から水平方向に前段ニューロンの軸索をモデル化した配線を引き、その軸索とシナプス接合する次段ニューロンのソーマ（細胞体内で行われる非線形動作をモデル化した回路）を下辺に配置するのが一般的である。

一方、CAMでは、これらの配置を反時計周りに90度回転させて表記する。前段の軸索に想定する配線が検索線（サーチ線）であり、下辺に配置し、一致判定用のセンス回路を右辺に配置する（図1B）。

図1　ニューラルネットワークモデルとCAM回路。　A（左）のニューラルネットワークモデルを反時計周りに90度回転させると、B（右）のCAM回路と等価な回路となる。

フィンランドのTeuvo Kohonenは、有名な著作（参考資料2）の中で、「ニューラルネットワーク研究者は、コンピュータに使われるCAMという回路を知らなかった」と記しているが、そのような意外な経緯で、両者の回路記述が違ってきたのだろうと思う。CAM技術を参考としなかったばかりに、ニューラルネットワークの電子回路化の開発プロセスは遠回りをしてしまったとの認識があったのではないだろうか。

基本的なニューラルネットワークでは、シナプス接合値（W）と前段軸索からの入力（X）の間で{Σ(w_i×X_i)}という内積計算を行い、その値と「バイアス値を意味するリファレンス値」と比較して、その差分を活性化関数で評価する。（古典的なモデルでは、プラスの時には発火し、マイナスの場合には発火させない）。

CAMの場合には、{Σ(w_i×X_i)}の値がゼロであればMatch（一致）と扱い、正の値ではMis-Match（不一致）とする。もし、CAMのMatch判定時に、{Σ(w_i×X_i)}の値が、「リファレンス値」以下の場合には発火し、以上であれば発火させないとすると、ニューラルネットワークと同じとなる。そのようなCAMは、Exact-Matchではなくとも、「閾値で設定した程度以上に一致するか、否か」を判定することになり、「曖昧検索（Approximate Search）回路」とでも呼びうる機能を持つこととなる。

その場合、一致の程度は、入力データが作るベクトルと、登録データが作るベクトルの間の「距離」を内積で定義することになり、一致度が高い時に発火する場合、ニューラルネットワークの動作と同じとなる。

実際には、{Σ(w_i×X_i)}を構成するw_iやX_iという値の諧調をどのように表現するか、また、その値をリファレンス値と比較するにはどうすれば良いかという細かな実装上の問題があり、現実的な回路を構成するには工夫が必要である。筆者は、w_iや X_i 「リファレンス値」等の値を全てディジタルとすべきと考え、その曖昧検索回路の方式を2000年に特許出願した。

スケールアップ技術

ニューラルネットワークを表現する電子回路には、スケーラブル（Scalable）であることが求められる。 同じアーキテクチャで、並列度を高めることによって、回路規模を拡大させたいからである。回路をスケーラブルとする機能は、ネットワーク機能でもあるはずだ。

筆者は、ヘブ学習を表現する能力を加えた曖昧検索回路は、ニューラルネットワークを階層的に表現する回路方式として魅力的だと考え、新規に起こした会社の中でそのネットワーク技術をまとめるつもりでいる。

注
1. CAMに登録しておくデータを、「ハッシュ・テーブルである」とか、「真理値表である」と呼べると思えるが、ここでは、そのような見方については深入りしない。
2. ヘブ（Hebb）則の説明を,Teuvo Kohonenの著作（参考資料2）より引用すると,「細胞Aの軸索が細胞Bを興奮させるのに十分近くにある時,そして,繰り返しまたは根気強くBを発火させようとしている時,ある成長過程または代謝の変化が1つまたは両方の細胞で起こる。このようにしてBを発火する細胞の一つとしてのAの効率は増加する」とある。　つまり、「発火することにより、シナプス接合強度を意味する結合パラメータ値が大きくなる」との神経生理学上の経験則をいう。

参考資料
1. J.G. Delgado-Frias (State University of New York), et. al., “A Dynamic Content Addressable Memory Using a 4-Transistor Cell”, International Workshop on Design of Mixed-Mode Integrated Circuits and Applications, 1999.
2. Teuvo. Kohonen著；「Self-Organization Maps（自己組織化マップ）」、Springer刊、1995　 年(初版)、1997年(第2版)、2001年(第3版)。