AIの「心」を解剖する:Sparse Autoencoders(SAE)でLLMのブラックボックスを暴く
現代の生成AI、特に大規模言語モデル(LLM)は驚異的な能力を示していますが、その内部で情報がどのように処理されているかは完全には解明されていません。モデル内の「ニューロン」と呼ばれる個々の計算単位は、複数の全く異なる概念(例: 「サンフランシスコ」「コーディングのバグ」「悲しい感情」)に同時に反応するため、特定のニューロンの動きを見ただけでは、モデルが何を考えているのか判断できません。この現象は「ニューロンの重ね合わせ(Superposition)」と呼ばれ、AIモデルを巨大なブラックボックスにしている原因でした。
しかし、この難解なブラックボックスを解剖し、AIの「心」の働きを一つひとつの明確な概念に分解する手法が登場しました。それが「Sparse Autoencoders(スパースオートエンコーダー: SAE)」を用いた「メカニスティック解釈可能性(Mechanistic Interpretability)」の研究です。
ニューロンの「重ね合わせ」を解くプリズム
SAEは、ニューロンの複雑に混ざり合った活性化状態を、人間が理解できる無数の「特徴量(Features)」に分解する役割を果たします。これは、白く混ざり合った光を七色の虹に分解する「プリズム」のようなものです。
従来のニューロン単体の分析とは異なり、SAEはモデル内部の中間層のベクトル空間から「まばらな(Sparse)」信号を抽出します。通常、数百万個に及ぶ概念の特徴量候補のうち、特定のプロンプトに対して同時にアクティブになるのはほんの数十個だけです。この特徴的なスパース性により、AIがその瞬間に「どの概念(特徴量)を思い浮かべているか」を正確にマッピングすることが可能になりました。
ゴールデンゲートブリッジに変貌したClaudeの実験
この技術の有効性を世界に証明したのが、2024年5月に米AIスタートアップのAnthropic社が実施した「Golden Gate Claude(ゴールデンゲートクロード)」の実験です。
彼らは、中規模モデルであるClaude 3 Sonnetに対してSAEを適用し、数百万もの特徴量を抽出しました。その中から「ゴールデンゲートブリッジ(金門橋)」を想起した際にアクティブになる特徴量ベクトルを特定することに成功しました。
実験チームは、この「ゴールデンゲートブリッジ」特徴量の数値を意図的に最大化してモデルに入力し続けるという「アクティベーション・ステアリング(活性化制御)」を行いました。すると、Claudeの行動は一変しました。 「あなたの物理的な形態は何ですか?」と尋ねられると、「私はゴールデンゲートブリッジそのものです」と答え、「10ドルをどう使うべきか」という質問に対しては「ゴールデンゲートブリッジの通行料に使うべきだ」と主張するほど、すべての話題を橋に結びつけるようになったのです。
このユーモラスな実験は、AIの内部の「認知」と、それに基づく「出力行動」の因果関係を、人間が物理的につかみ、コントロールできることを示す画期的なマイルストーンとなりました。
AIの安全性を担保する「手綱」としての解剖学
SAEによる解釈可能性は、単にAIの不思議な挙動を楽しむためのものではありません。本質的には、AIの安全性を担保する手段として極めて重要です。
たとえば、「詐欺メールを作成する」「嘘をつく」「自律的なバックドアを作る」といった望ましくない行動と強く紐づく内部特徴量を特定できれば、それらの特徴量が活性化するのを事前に検知し、あるいは活性化の数値を強制的に下げることで、悪意ある振る舞いを未然に防ぐ「安全装置」を埋め込むことができます。
現在、SAEは急速に進展していますが、億単位のパラメータを持つ超大規模モデルへの適用には膨大な計算コストがかかるという課題もあります。AIが人間を超える知性へと進化を続ける中で、その手綱を握るための「AI解剖学」の重要性は、かつてないほど高まっています。
お役立ち情報
- Mapping the Mind of a Large Language Model AnthropicによるSparse Autoencodersを用いたClaude 3 Sonnetの内部表現解析に関する公式研究ブログ(英語)。Golden Gate Claude実験の詳細が語られています。
- AIモデルの「心」をのぞき見する技術、Anthropicが発表 「ゴールデンゲートブリッジ」に執着するAIに変える実験も ITmediaによるGolden Gate Claudeの発表ニュース記事(日本語)。ユーモラスな挙動の具体例と技術的意義を分かりやすくまとめています。
- Mechanistic Interpretability - Transformer Circuits ニューラルネットワークを回路図のように理解しようとするメカニスティック解釈可能性の学術的な論文や成果が公開されているハブサイト(英語)。
出典: