サンプリングパラメータ
以下のパラメータセットの使用が推奨されています。
思考モードと命令モード
- 思考モード:温度 1.0、top_p 0.95、top_k 20、min_p 0.0、presence_penalty 0.0、repetition_penalty 1.0
- 命令(または非思考)モード:温度 0.7、top_p 0.80、top_k 20、min_p 0.0、presence_penalty 1.5、repetition_penalty 1.0
ペナルティの調整
サポートされているフレームワークでは、presence_penalty を 0〜2 の範囲で調整すると無限ループを抑えられますが、値を上げすぎると言語が混在し、性能が若干低下する可能性があります。
推奨出力長
エージェントタスクの性能を最適化するため、十分な出力長を確保してください。1 M コンテキスト長以内で、内部推論は最大 262,144 トークン、最終応答は最大 131,072 トークンに設定することが推奨されています。
長時間ビデオの理解
プレーンテキストと画像の推論効率を高めるため、video_preprocessor_config.json の longest_edge パラメータを 469,762,048(224k ビデオトークンに相当)に設定し、shortest_edge は 4096 とします。この設定により、高フレームレートのビデオでも優れた性能が得られます。