LLM-as-a-Judge（LLM審査員）とは？
読み方: エルエルエムアズアジャッジ
30秒まとめ
LLMで別のLLMの出力品質を採点・評価する手法。人間評価の代替として2026年のAI評価フレームワークの中核。OpenAI Evals/LangSmith/Ragasが採用。
LLM-as-a-Judge（LLM審査員）の意味・定義
LLM-as-a-Judge（LLM審査員）は、ある強力なLLM（GPT-5、Claude Opus 4.7、Gemini 3 Ultra等）に対して別のLLMの生成出力を採点・順位付けさせる評価手法です。2023年のVicuna評価論文以降に体系化され、2024-2026年でAI開発のデファクト評価手法に。人間評価の50-90%の合意率を達成し、コストは1/100以下、速度は1000倍以上のため、(1)RAGの回答品質評価、(2)LLMファインチューニングのリグレッションテスト、(3)プロダクション本番出力の継続監視、(4)A/Bテストの自動勝敗判定、(5)プロンプト最適化のループ評価、などに利用されます。代表的な評価軸はFaithfulness（事実忠実度）、Relevance（関連性）、Coherence（首尾一貫性）、Helpfulness（有用性）、Safety（安全性）、Toxicity（有害性）の6軸。実装パターンは(a)Pairwise Comparison（A vs B どちらが良いか）、(b)Pointwise Score（1-10点採点）、(c)Reference-based（理想回答と比較）、(d)Reference-free（基準なし採点）、(e)Multi-turn（マルチターン会話の総合評価）。OSS実装はLangSmith・LangFuse・Ragas・Phoenix・DeepEval・PromptFoo等が代表。注意点は(1)Position Bias（A→Bの順序に依存して前者を高評価）、(2)Length Bias（長い回答を過大評価）、(3)Self-Enhancement Bias（同じファミリーモデルを高評価）。これらをmitigateするためにスワッピング（順序入替）・温度0固定・複数モデル投票が推奨されます。2026年は「Evalsを書ける」がAIエンジニアの必須スキルに。