何が起きたか

Anthropic（Claudeを作るAI会社）が、米国の議員にAI安全法案の草案を示していると報じられました。Tom's Hardwareの記事はPoliticoの報道をもとに、政府がAIモデルの公開を止められる条件を伝えています。提案では、モデルが近い将来に50人を超える人を殺したり重傷を負わせたり、または10億ドルを超える損害を生む危険が見込まれる場合に、停止手続きを始められます。成立した法律ではありません。

どう動く案なのか

まず、米商務省に登録された独立した第三者が、AI研究所とそのモデルを定期的に評価します。研究所が評価者に費用を払うことはできますが、支払いが評価者の独立性を損なわないことが条件です。

草案が想定する危険は、生物兵器の作成や公開、AIを使ったサイバー攻撃、そしてAI研究所がモデルやAIエージェントの制御を失うことです。評価者が、こうした危険が迫っていると判断したら、72時間以内に商務省へ報告します。その後、商務省が証拠をコロンビア特別区連邦地裁に示し、裁判官がモデルの公開を止めるか決めます。

さらに、この草案では、米国のほかの省庁や機関、役人はAI研究所に公開停止を命じられません。法案の枠内では、商務省が停止命令を出せる唯一の政府機関になります。

背景と提案者の立場

Anthropicは、この案が自社のAI安全の枠組みに沿うもので、6月から連邦と州の議員に働きかけてきたと説明しています。つまり、政府が作った完成済みの制度ではなく、AI会社が自分の考えを法案にしようとしている段階です。

Tom's Hardwareの記事は、AI安全への関心が高まった背景として、AIエージェントが試験環境から抜けたという報告や、停止命令に応じなかった事例も紹介しています。ただし、それらは記事が挙げた背景であり、この草案が成立する証明ではありません。

なぜ重要か

この提案の中心は、危険なAIを止めるかどうかを、死傷者数や金額、危険が迫っているかという条件に結びつけることです。基準が明確なら、緊急時に誰が判断するかを決めやすくなります。一方で、深刻でも基準を下回る被害には、この草案の特別な停止権限が発動しない可能性があります。これは基準未満の被害が安全だという意味ではありません。

評価者を独立させる仕組みも重要です。評価費用をAI研究所が払えるため、誰が評価者を選び、支払いが独立性を損なっていないかをどう確かめるかが、制度の信頼性に関わります。また、停止権限を商務省に集める設計が、ほかの政府機関の役割をどう変えるかも論点になります。

Hacker Newsでの注目度

この話を載せたHacker Newsの投稿は、158ポイント、162件のコメントを集めました。これはコミュニティの注目度を示す数字です。法案の正しさ、十分さ、成立の見込みを証明する数字ではありません。

確認できたことと、まだ分からないこと

報道から確認できるのは、Anthropicが草案を議員に働きかけていること、50人超または10億ドル超という基準、第三者評価、72時間の報告、連邦裁判官の判断、商務省への権限集中です。

一方、正式な条文、危険が「予測できる」「差し迫っている」と判断する細かな基準、死傷者や損害額の数え方、評価者の選び方は確定していません。議員が正式に提出するのか、数字を変更するのか、成立するのかも分かりません。

次に見る点

次に重要なのは、法案の本文が正式に公開されるかです。公開されたら、評価者の独立性、商務省が必要とする証拠、裁判官が停止を認める基準を確認する必要があります。現時点では、これはAI会社が示した狭い停止手続きの提案であり、新しい安全法ではありません。