
News Observation Lab for Future
NVIDIA Nemotron 3.5 Lightning 30B のハードウェア対応とデプロイガイド

概要
NVIDIA が開発した大規模言語モデル「NVIDIA‑Nemotron‑3.5‑Lightning‑30B‑A3B‑NVFP4」は、30 B パラメータ(うち 3 B がアクティブ)を持ち、最大 1 M トークンのコンテキスト長をサポートします。英語・スペイン語・フランス語・ドイツ語・イタリア語・日本語など複数言語に対応し、商用利用が可能です。
モデル構成
– アーキテクチャ:Mixture‑of‑Experts ハイブリッド(Mamba 2 と MoE 層、選択的 Attention)
– 学習データ:20 T トークン以上のコード・数学・科学・一般知識データ
– 訓練段階:事前学習 → MTP 継続学習 → 教師あり微調整 → 強化学習 → 後処理量子化(W4A16/FP8)
– ライセンス:OpenMDW‑1.1 モデルライセンス
ハードウェア対応
| ハードウェア | 対応方式 | コメント |
|—|—|—|
| NVIDIA Blackwell (GB200) | NVFP4 デフォルト | 1 M トークン検証済み |
| NVIDIA DGX Spark (GB10) | NVFP4 W4A16 (Marlin) | 推奨設定 |
| NVIDIA GeForce RTX 5090 | NVFP4 確認未実施 |
| NVIDIA Hopper (H100/H200) | NVFP4 W4A16 (Humming) | FP4 テンソルコアなし |
| NVIDIA Ampere (A100 等) | NVFP4 W4A16 (Humming) |
デプロイ手順
以下は代表的な vLLM コマンド例です。
export MODEL_CKPT=nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 export DSPARK_CKPT=nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DSpark vllm serve --model $MODEL_CKPT \ --moe-backend marlin \ --kv-cache-dtype fp8 \ --enable-prefix-caching \ --gpu-memory-utilization 0.85 \ --speculative_config.num_speculative_tokens 3 \ --mamba-backend flashinfer \ --mamba-cache-mode align \ --reasoning-parser nemotron_v3 \ --speculative_config.model $DSPARK_CKPT \ --tool-call-parser qwen3_coder \ --enable-auto-tool-choice
上記は DGX Spark 向けの推奨設定です。H100 で最大スループットを狙う場合はスペキュレーティブデコードを無効にし、Mamba キャッシュを FP16 に変更します。
ベンチマークと評価
– 評価基盤:NeMo Gym / NeMo Evaluator SDK(NVIDIA 内部測定)
– 主な指標:知識・推論、指示追従、コーディング、エージェント、ツール呼び出し、長文コンテキスト
– 結果は公式 NVFP4 チェックポイントに基づくものです。
利用条件とライセンス
本モデルの使用権は OpenMDW‑1.1 ライセンスで管理され、ダウンロード時に同意が必要です。
リリース情報
– 発売日:2026年8月11日(Hugging Face)
– バージョン:GA(2026‑08‑11)
– 開発期間:2025年12月〜2026年5月
– データ最終更新日:2026年5月
ソフトウェア統合
– ランタイム:PyTorch
– 対応 OS:Linux
– 推奨ハードウェア:NVIDIA Blackwell、Hopper、Ampere 系列
– 推奨ツールチェーン:vLLM(バージョン vllm/vllm-openai:v0.27.1)
まとめ
NVIDIA‑Nemotron‑3.5‑Lightning‑30B‑A3B‑NVFP4 は、最新の NVFP4 ハードウェア最適化と MTP 技術を組み合わせた高性能 LLM で、様々な GPU 環境で高速推論が可能です。公式ドキュメントとベンチマーク結果を参考に、用途に応じたデプロイ設定をご利用ください。
元記事: https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4