News Observation Lab for Future

NVIDIA Nemotron 3.5 Lightning 30B のハードウェア対応とデプロイガイド

Abstract representation of a multimodal model with dots and lines on a white background.

概要

NVIDIA が開発した大規模言語モデル「NVIDI​A‑Nemotron‑3.5‑Lightning‑30B‑A3B‑NVFP4」は、30 B パラメータ(うち 3 B がアクティブ)を持ち、最大 1 M トークンのコンテキスト長をサポートします。英語・スペイン語・フランス語・ドイツ語・イタリア語・日本語など複数言語に対応し、商用利用が可能です。

モデル構成

– アーキテクチャ:Mixture‑of‑Experts ハイブリッド(Mamba 2 と MoE 層、選択的 Attention)
– 学習データ:20 T トークン以上のコード・数学・科学・一般知識データ
– 訓練段階:事前学習 → MTP 継続学習 → 教師あり微調整 → 強化学習 → 後処理量子化(W4A16/FP8)
– ライセンス:OpenMDW‑1.1 モデルライセンス

ハードウェア対応

| ハードウェア | 対応方式 | コメント |
|—|—|—|
| NVIDIA Blackwell (GB200) | NVFP4 デフォルト | 1 M トークン検証済み |
| NVIDIA DGX Spark (GB10) | NVFP4 W4A16 (Marlin) | 推奨設定 |
| NVIDIA GeForce RTX 5090 | NVFP4 確認未実施 |
| NVIDIA Hopper (H100/H200) | NVFP4 W4A16 (Humming) | FP4 テンソルコアなし |
| NVIDIA Ampere (A100 等) | NVFP4 W4A16 (Humming) |

デプロイ手順

以下は代表的な vLLM コマンド例です。

export MODEL_CKPT=nvidia/NVIDI​A-Nemotron-3.5-Lightning-30B-A3B-NVFP4
export DSPARK_CKPT=nvidia/NVIDI​A-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DSpark

vllm serve --model $MODEL_CKPT \
  --moe-backend marlin \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching \
  --gpu-memory-utilization 0.85 \
  --speculative_config.num_speculative_tokens 3 \
  --mamba-backend flashinfer \
  --mamba-cache-mode align \
  --reasoning-parser nemotron_v3 \
  --speculative_config.model $DSPARK_CKPT \
  --tool-call-parser qwen3_coder \
  --enable-auto-tool-choice

上記は DGX Spark 向けの推奨設定です。H100 で最大スループットを狙う場合はスペキュレーティブデコードを無効にし、Mamba キャッシュを FP16 に変更します。

ベンチマークと評価

– 評価基盤:NeMo Gym / NeMo Evaluator SDK(NVIDIA 内部測定)
– 主な指標:知識・推論、指示追従、コーディング、エージェント、ツール呼び出し、長文コンテキスト
– 結果は公式 NVFP4 チェックポイントに基づくものです。

利用条件とライセンス

本モデルの使用権は OpenMDW‑1.1 ライセンスで管理され、ダウンロード時に同意が必要です。

リリース情報

– 発売日:2026年8月11日(Hugging Face)
– バージョン:GA(2026‑08‑11)
– 開発期間:2025年12月〜2026年5月
– データ最終更新日:2026年5月

ソフトウェア統合

– ランタイム:PyTorch
– 対応 OS:Linux
– 推奨ハードウェア:NVIDIA Blackwell、Hopper、Ampere 系列
– 推奨ツールチェーン:vLLM(バージョン vllm/vllm-openai:v0.27.1)

まとめ

NVIDI​A‑Nemotron‑3.5‑Lightning‑30B‑A3B‑NVFP4 は、最新の NVFP4 ハードウェア最適化と MTP 技術を組み合わせた高性能 LLM で、様々な GPU 環境で高速推論が可能です。公式ドキュメントとベンチマーク結果を参考に、用途に応じたデプロイ設定をご利用ください。

免責事項・利用上の注意

本サイトは情報提供および調査研究を目的としており、投資勧誘を目的とするものではありません。掲載情報には自動取得・自動翻訳・AI分析による内容が含まれます。投資判断はご自身の責任で行ってください。

詳細を確認する →