トークンとは？
読み方: トークン
30秒まとめ
AIが文章を処理する際の最小単位。料金計算やコンテキストウィンドウの基準。
トークンの意味・定義
トークンは、LLMがテキストを処理する際の最小単位です。英語では約4文字で1トークン、日本語では1文字で1〜3トークン程度になります。AIサービスの料金はトークン数に基づいて計算されることが多く、入力トークン（プロンプト）と出力トークン（生成テキスト）の両方がカウントされます。コンテキストウィンドウ（一度に処理できるテキスト量）もトークン数で表され、ChatGPTのGPT-4oは128Kトークン、Claudeは200Kトークン、Geminiは最大100万トークンに対応しています。トークン数が多いほど、長い会話や大量のドキュメントを一度に処理できます。