News Observation Lab for Future

NVIDIA DGX Spark 2 台で DeepSeek‑V4.1‑Flash‑1017 をデプロイした手順と留意点

A smartphone displaying an AI chat interface, DeepSeek, on a wooden table.

ハードウェア構成とネットワークトポロジー

DeepSeek‑V4.1‑Flash‑1017 を 2 台の NVIDIA DGX Spark に配置し、OpenAI 互換 API を Open WebUI 経由で利用できるようにした。モデルは 2.9 bpw の EXL3 チェックポイントを使用し、TensorFold 推論レシピを 2 ランク(rank 0 と rank 1)で実行。通信は ConnectX‑7 インターコネクト上の RoCE レール 2 本で行い、管理 LAN とは別サブネットで運用した。

ノード事前確認

両ノードの設定が同一であることを前提にせず、SSH キーによる相互接続と RoCE サブネット間のピア接続を確認した。各 Spark が露出する RoCE デバイスはハードウェア依存であり、例として roceP1s0f1、roceP2p1s0f1 が報告されている。GPU クロック上限の一致は上流ドキュメントの推奨だが、本展開では変更していない。

第二 RoCE レールの設定

既存のレール 1 はそのまま使用し、レール 2 用に NetworkManager プロファイルを編集した。プロファイル名は「Wired connection 2」で、デフォルトゲートウェイは設定せず、管理ネットワークのルートは維持した。設定後は IP アドレス、ルート、双方向到達性を確認し、MTU 1500 のピア接続が確立したことをログで確認した。

モデルストレージと読み取り専用 NFS

ヘッドノードに約 505 GB、ワーカーノードに約 310 GB のローカル領域を確保し、HuggingFace CLI(バージョン 2.4.0)でキャッシュを作成した。ワーカーはヘッドのキャッシュを読み取り専用 NFS(NFSv4.2)でマウントし、/etc/exports.d/dsv41.exports にエクスポート設定を追加した。エクスポートは ro, sync, root_squash, no_subtree_check のオプションで有効化された。

上流レシピのピン留めと準備

GitHub リポジトリ MiaAI‑Lab の two‑spark ブランチをコミット c7f2b85100f0a7b099c92a4e21825e30d93c9c51 でチェックアウトし、local.sh スクリプトで SSH ターゲット、キャッシュディレクトリ、API バインドアドレス、API キー生成を設定した。Docker イメージは TensorFold のコミット fbbc97132cd004237d9887b8d3185896efaedc5c を基にビルドし、PyTorch ベースイメージ nvcr.io/nvidia/pytorch:26.07‑py3 を使用した。モデル重みは 45ee5d0fd106c94a3d77f721e09cbb2f50e5a16b、Engram ファイルは 1bae0e1088993b9b82de08f59de5be5a34e42170 に固定された。

メモリ設定と起動

TensorFold のデフォルト設定より保守的に、各ノードで最低 112 GiB の空きメモリを確保したうえで起動した。メモリガードは有効で、利用可能メモリが 2.5 GiB 未満が 4 秒続くか 1 GiB 以下になるとランクが自動終了する。起動ログはポート 8888 で API を提供し、262 144 トークンのコンテキストウィンドウ、単一リクエストストリーム、Speculative Drafts と画像サポートが有効であることを示した。

認証済み API の検証

ヘッドノードに保存されたベアラートークンをローカルから取得し、Python クライアントで日本語チャット完了リクエストを送信したところ、期待通り応答が得られた。これにより API の認証と機能が正しく動作していることが確認できた。

Open WebUI の導入

Open WebUI v0.13.3 をワーカーノードに別コンテナとしてデプロイし、永続ボリュームでデータを保持した。最初は 127.0.0.1:3000 にバインドし、その後 LAN 向けに再作成した。WebUI はヘッドノードの OpenAI 互換 API を呼び出すだけで、DeepSeek のコピーはロードしない。API キーと WEBUI_SECRET_KEY はユーザー所有の 600 権限ファイル (~/.config/dsv41-openwebui/runtime.env) に格納した。

免責事項・利用上の注意

本サイトは情報提供および調査研究を目的としており、投資勧誘を目的とするものではありません。掲載情報には自動取得・自動翻訳・AI分析による内容が含まれます。投資判断はご自身の責任で行ってください。

詳細を確認する →