GGUFとは？
読み方: ジージーユーエフ
30秒まとめ
llama.cppで使用されるAIモデルのファイルフォーマット。ローカルLLM実行の標準形式。
GGUFの意味・定義
GGUF（GPT-Generated Unified Format）は、llama.cppプロジェクトで使用されるAIモデルのファイルフォーマットです。以前のGGML形式の後継として開発され、モデルの重み、トークナイザー情報、メタデータなどを一つのファイルに格納します。CPUでの推論に最適化されており、GPUがなくても一般的なPCでLLMを実行できる点が最大の特徴です。量子化されたモデルの配布形式としても広く使われており、Q4_K_M、Q5_K_Mなど様々な量子化レベルを選択できます。Ollamaはバックエンドでllama.cppを使用しており、GGUF形式のモデルを手軽に実行できます。Hugging Faceには多数のGGUF形式のモデルが公開されており、Meta LLaMA、Mistral、Gemmaなどの主要なオープンソースモデルがGGUF形式で利用可能です。ローカルLLM実行のデファクトスタンダードとなっています。