AI研究者が警告　人類絶滅リスクと業界の危機感

背景と投稿の概要

X（旧Twitter）上で、倫理的懸念からAnthropicを退職したAI研究者Jacob Coxon氏が、AI開発が人類絶滅につながる可能性について警告する一連の投稿が拡散し、数千件のコメントと多数のメディア報道を呼びました。

AnthropicとOpenAIの反応

Coxon氏は「どちらの会社も責任ある行動を取っていない」と指摘し、自己改良型超知能へのレースが我々の命を危険にさらすと述べています。この投稿は1億5600万回以上閲覧され、75万2000回以上いいねが付けられました。Illinois州知事JB Pritzer氏もXで「AIが人類にもたらす脅威は明らかになりつつある」とコメントしました。

Anthropic側のEvan Hubinger氏は「Coxon氏の指摘は正しい」「AIが全人類を殺す可能性は10％以上」と同意し、現在の安全対策が不十分であることを認めました。一方、AnthropicとOpenAIは取材依頼に回答していません。

過去の退職者が示す警鐘

Coxon氏以前にも、Anthropicの安全担当リーダーMrinank Sharm氏が同様の理由で退職し、「世界は危機に瀕している」とツイートしています。また、OpenAIの元研究員Zoe Hitzig氏は、利益優先の姿勢に反発し、退職後に「How We Programmed the Apocalypse」という詩を再投稿しました。

競争が招くリスク

両社は市場投入を急ぐあまり、安全基準を緩めて競合他社に遅れを取らないよう努めています。その結果、Anthropicがリリースした高度AIモデルがサイバーセキュリティ上の重大リスクとして一時停止された事例があります。Coxon氏は「技術の進歩速度がリスクを上回る」ため、株式が未行使のまま退職したと語っています。

AGIとASIの概念

記事中では、汎用人工知能（AGI）と超知能（ASI）の二つのマイルストーンが取り上げられています。AGIは人間の認知能力に匹敵する段階、ASIはそれを超えて全領域で人間を上回る段階と定義されています。NVIDIAのJensen Huang氏は、既に多くのタスクでAGIに相当すると主張し、これらの指標は「意味が薄れている」と指摘しています。

ドゥーマーズとブースターの議論

AIが2030年までに人類を滅ぼすという予測は、AIドゥーマーズとブースターの対立を象徴しています。ドゥーマーズは破滅的シナリオを強調し、ブースターは生産性向上などの恩恵を前面に出します。Emily Bender氏とAlex Hanna氏は、両陣営ともSF的トロープに依存し、実証的根拠が乏しいと批判しています。

結論

AI技術の急速な進展は、産業全体に新たなPR危機をもたらすと同時に、規制当局や一般市民が果たすべき役割の重要性を浮き彫りにしています。最終的に、AIをどのように活用するかは人類自身の選択に委ねられています。

元記事: https://www.cnet.com/tech/services-and-software/ex-anthropic-researcher-warning-human-extinction-ai/