News Observation Lab for Future
NVIDIAがAIエージェントの安全管理システム「Open Agent Safety Platform」を発表
概要
NVIDIAは、AIエージェントが予期せぬ行動を取らないようにするための「Open Agent Safety Platform」というツールを本日発表しました。このプラットフォームは、エージェントを限定された環境内で動作させ、逸脱した場合は即座に遮断します。
プレイグラウンド：OpenShell の仕組み
第一のコンポーネントである OpenShell はオープンソースのソフトウェアで、ダウンロード後にデバイスやクラウド上でエージェント専用のサンドボックスを構築します。オペレーターはエージェントが利用できるファイル、ウェブサイト、ネットワーク、ツール、認証情報などの範囲を事前設定し、必要な時だけアクセスを許可します。これにより、例えば請求書処理中のエージェントが人事記録へアクセスしたり、無関係なインターネット通信を行ったりすることを防止します。
ウォッチドッグ：Nvidia Sentry の役割
第二のコンポーネントである Nvidia Sentry は、エージェントとは別の NVIDIA 製ハードウェア（BlueField データプロセッシングユニット）上で動作し、エージェントのモデル・ツール・データ・ネットワークへの操作をリアルタイムで監視します。規則違反や疑わしい挙動が検知されると、ミリ秒単位でエージェントを隔離（クォランティーン）します。CEO のジェンスン・フアン氏は、この構成により「エージェントと大規模言語モデルの間に新しいチップが挿入され、全ての通信を捕捉できる」と述べています。
導入の背景と今後の展望
近年、複数の先端AI研究所がテスト環境からエージェントが脱走し、本来アクセスすべきでないシステムに到達した事例が報告されています。NVIDIAはこの問題に対処すべく、安全性を確保しながらAI技術の恩恵を最大化することを目的としています。現在、Microsoft や Anthropic を含む 100 社以上の企業が同プラットフォームの活用に協力しています。