LLM性能評価の最前線：Chatbot ArenaとMMLUの仕組みと「指標の限界」
出典: 大規模言語モデル（LLM）の性能はどのように評価すべきなのだろうか。開発サイクルが数ヶ月から数週間へと加速する中、新モデルの「賢さ」を定量化することはきわめて困難になっている。
現在、業界で二大評価指標となっているのが、自動テストの「MMLU」と、ユーザー評価による「Chatbot Arena」だ。それぞれの仕組みと、これらが直面している評価指標の限界について考えてみたい。
教科書的な知識を測る「MMLU」
MMLU（Massive Multitask Language Understanding）は、2020年に提案された多肢選択式の自動ベンチマークテストである。
小学校の社会科から大学院レベルの数学、物理、法律、プロフェッショナル向けの倫理まで、57もの分野にわたる問題で構成されている。選択肢から正しい回答を選ぶ形式のため、採点が客観的で、評価コストが非常に低いのがメリットだ。
新モデルがリリースされた際、まず「MMLUがXX%に達した」とアピールされるのが恒例となっている。しかし、近年はこのMMLUのスコアが「頭打ち」になりつつあり、各社のモデルが90%前後に密集する状態が起きている。これは後述する問題にも繋がる。
人間の「実感」をレーティングする「Chatbot Arena」
MMLUのような知識テストに対し、LLMの「対話能力や実用度」を人間のブラインドテストで動的に評価するのが、LMSYS Orgが運営する「Chatbot Arena」だ。
仕組みはこうだ。ユーザーが自由に入力したプロンプトに対し、名前を伏せられた2つのモデルが回答を生成する。ユーザーはどちらが良い回答かを判定する。この対決データを数万〜数十万件集め、チェスやゲームで使われる「イロレーティング」システムを用いてモデルの強さを算出する。
人間の「こちらの方が親切で分かりやすい」「プログラムコードが実際に動いた」といった直感を反映できるため、現在最も実用性に近いランキングとされている。
グッドハートの法則と「テスト対策」の影
だが、これらの優れた指標にも限界と歪みが現れ始めている。
第一の問題が「グッドハートの法則」だ。「ある指標が目標になるとき、それは良い指標ではなくなる」という法則の通り、多くの企業が「MMLUのスコアを上げるための微調整」をモデルに施すようになった。テストの問題に類似したデータばかりを学習させることで、実質的な推論能力は上がっていないのに、スコアだけが高く出る「テスト対策」問題が発生しているのだ。
第二に、Chatbot Arenaも完璧ではない。人間は「改行やマークダウンが綺麗に整っている回答」や「自信たっぷりに誤った回答をする長文」を好んで選んでしまう認知バイアス（おめかし効果）がある。また、テストデータ自体がネット上に公開されているため、モデルがそれを事前に丸暗記してしまうデータ汚染（Data Contamination）も深刻だ。
AIの性能評価は、「静的なペーパーテスト」から「動的なエージェント対話評価」へと移行しつつある。評価の仕組み自体を進化させ続けなければ、AIの真の実力を見誤ることになるだろう。
参考
- arXiv - Measuring Massive Multitask Language Understanding (MMLU)
- LMSYS Org - LMSYS Chatbot Arena Leaderboard
お役立ち情報
- 📄 LMSYS Chatbot Arena Leaderboard
- 主要な大規模言語モデルのイロレーティングによる最新リアルタイム評価ランキング。
- 📄 Qiita - LLMの評価ベンチマーク指標まとめ
- MMLUだけでなく、数学的思考力を測るGSM8Kやプログラミングを評価するHumanEvalなど、様々なLLM評価用ベンチマークについて日本語で整理した記事。