dig.bench：科学的発見能力を測るテキストベースゲームベンチマーク

概要

dig.bench は、科学的発見のベンチマークとして設計されたテキストベースのゲーム群です。

評価方法

全70種のゲームが用意されており、エージェントは各ゲーム固有の未知ルールを限られたステップ数内で発見し、クリアできるかが測定されます。

人間と最新のフロンティアモデルは同じ情報にアクセスし、同様にゲームをプレイします。

難易度と結果

ゲームは難易度別に7段階に分類され、いずれも容易ではありません。人間は最も難しいゲームでも必要な発見を行うことが可能ですが、最高性能のモデルでも上位レベルのゲームで苦戦しています。

元記事: https://digbench.ai