
News Observation Lab for Future
エージェントパッチ検証のための単一コマンド手法と3段階テストラダー

概要
マージゲートはチェックリストではなく、ひとつのコマンドで完結すべきです。特にエージェントから提供されるパッチの場合、実行過程を観察できないため、パッチは仮説として扱い、検証は再現可能な実験として行う必要があります。
3段階テストラダーの構成
1. シード付きプロパティチェック
例ベースのテストが「この入力はどうなるか」を問うのに対し、プロパティテストは「決して起こってはならないことは何か」を問います。生成されたパッチは境界条件で予期せぬ振る舞いを示すことがあるため、固定されたサンプルだけでは不十分です。シードを指定すれば、Hypothesis が反例を見つけた際に同じ検索を再現できます。また、単一ユニットテストでは捕捉できない回帰(例:丸め処理による単調性違反)も検出可能です。
2. フィクスチャ契約
フィクスチャは単なるデータではなく、テストとドメイン間の契約です。エージェントパッチがフィクスチャローダーを変更した場合、フィールド名の変更などがテスト内部で混乱を招くことがあります。フィクスチャ契約は軽量なスキーマとして機能し、新しいテストフレームワークを導入せずにミリ秒単位で実行できます。フィクスチャを変更するときは、その契約変更をコード差分と同様に慎重にレビューすべきです。
3. TTL クォータイン(期限付きスキップ)
不安定なテストは長期間スイートに残っているとコストが増大します。@pytest.mark.skip で無効化したまま放置されるケースを防ぐため、TTL クォータインはスキップに期限を設定します。期限はシンプルな Python の辞書で管理し、例えば “2026-09-08” が過ぎると自動的に除外フラグが削除され、テストが再実行されます。期限延長は環境変化の説明が伴う場合に限ります。
実装と運用のポイント
* すべての段階は単一の pytest コマンドで実行でき、標準の pytest 出力が得られます。
* 依存関係は pytest と hypothesis のみです。
* MonkeyCode の無料モデルアクセスで初期契約辞書やクォータインヘルパーを作成でき、無料サーバーでローカルリソースを消費せずに実行可能です。
留意点と適用対象
* プロパティチェックは反例探索であり、正しさを証明するものではありません。探索は時間・シード・戦略に制限されます。
* フィクスチャ契約はテストデータの妥当性を保証しますが、本番データに新たなフィールドが追加された場合はカバーできません。
* TTL クォータインはスキップの一種であり、毎週期限をリセットするチームは実質的に永久ミュートになる恐れがあります。
* 不安定なテストがなく、信頼できるオラクルとレビュー工程が整っている場合は、このラダーは不要なメンテナンスコストとなります。
導入のステップ
まずは既存のスキップリストに有効期限を付与することから始め、各段階を順次追加していくことで、1 コマンドで安全にパッチを検証できる体制を整えてください。