News Observation Lab for Future

GGUF と Hugging Face の推奨設定

サンプリングパラメータ

以下のパラメータセットの使用が推奨されています。

思考モードと命令モード

  • 思考モード:温度 1.0、top_p 0.95、top_k 20、min_p 0.0、presence_penalty 0.0、repetition_penalty 1.0
  • 命令(または非思考)モード:温度 0.7、top_p 0.80、top_k 20、min_p 0.0、presence_penalty 1.5、repetition_penalty 1.0

ペナルティの調整

サポートされているフレームワークでは、presence_penalty を 0〜2 の範囲で調整すると無限ループを抑えられますが、値を上げすぎると言語が混在し、性能が若干低下する可能性があります。

推奨出力長

エージェントタスクの性能を最適化するため、十分な出力長を確保してください。1 M コンテキスト長以内で、内部推論は最大 262,144 トークン、最終応答は最大 131,072 トークンに設定することが推奨されています。

長時間ビデオの理解

プレーンテキストと画像の推論効率を高めるため、video_preprocessor_config.json の longest_edge パラメータを 469,762,048(224k ビデオトークンに相当)に設定し、shortest_edge は 4096 とします。この設定により、高フレームレートのビデオでも優れた性能が得られます。

免責事項・利用上の注意

本サイトは情報提供および調査研究を目的としており、投資勧誘を目的とするものではありません。掲載情報には自動取得・自動翻訳・AI分析による内容が含まれます。投資判断はご自身の責任で行ってください。

詳細を確認する →