企業向けエージェントの学習データ自動生成システム AutoSynthData の概要

企業は自社環境に合わせたエージェントを必要としており、エージェントが直面する課題は使用ツールやルール、データ状態に左右されます。AutoSynthData は、こうした環境固有の弱点を学習データに変換する仕組みを提供します。

エージェント環境とタスク設計

エージェントが操作できる世界（状態・ツール・API）を「エージェント環境」と呼び、タスクはシステム仕様、ユーザープロンプト、検証者の三要素で構成されます。システム仕様は環境の制約を明示し、ユーザープロンプトは実現可能かつ現実的で、なおかつ現在のエージェントの弱点を露呈する内容である必要があります。検証者は一貫性・健全性・完全性という三つの特性を満たし、タスクの成功可否を判定します。

AutoSynthData のワークフロー

まず診断タスクでターゲットモデルの失敗パターンを把握し、強力な教師モデルの成功例と比較して機能ギャップを抽出します。そのギャップを基に「機能仕様カード」を作成し、カードから新しいタスクを自動生成します。生成は二段階で行われ、ターゲットフェーズで核心的なサンプルを作り、乗算フェーズでバリエーションを増やすことでデータセットを拡張します。

品質管理とフィードバックループ

各サンプルはポジティブゲートとネガティブゲートで検証され、失敗したものは批評家が分析し、修正指示に従って再生成されます。サンプルレベルのチェックに加えて、バッチレベルでもタスクの偏りや冗長性を評価し、生成戦略を調整します。この循環により、実行可能で多様性のある高品質データが蓄積されます。

実験結果

EnterpriseOps Gym のハイブリッドドメインでは、AutoSynthData が約 18 時間で 2,000 件の合成サンプルを生成し、Gemma‑4‑26B‑A4B‑it の微調整に利用しました。その結果、Pass@1 が 7.2 ポイント（相対 35 %）向上し、検証者成功率も 63.01 % から 68.55 % に上がりました。ITSM ドメインでも 66 時間で 1,994 件のサンプルを生成し、Pass@1 が 18.77 % から 27.18 % に改善されています。

まとめ

AutoSynthData は、エージェントの失敗情報を活用して環境に即したタスクを自動生成し、厳密な検証とフィードバックでデータ品質を保ちます。実験結果は、企業環境におけるエージェント性能向上に有効であることを示しています。

元記事: https://huggingface.co/blog/ServiceNow-AI/autosynthdata