人類存亡リスクを巡りAI研究者の警告が拡大
米AI企業アンソロピックで安全研究を担うエヴァン・ヒュービンガー氏が、今後のAI発展による人類規模の危険について警告した。同氏は、現在使われているモデルによる危険性については低いと評価している。一方、開発が現在の速度で続いた場合、今後10年以内にAIが人類存亡に関わる事態を引き起こす可能性を10％以上とみていることをSNSで明らかにした。
発信の契機となったのは、アンソロピックを退社したジェイコブ・コクソン氏の投稿だった。オープンAIにも勤務経験があるコクソン氏は、両社が超知能の開発を進める一方、危険性に見合う対応を取っていないとの見方を示している。
AIアラインメントに残る課題と安全性への不安
ヒュービンガー氏が研究する主要分野の1つがAIアラインメントだ。AIの目的や行動を人間の意図、価値観、安全基準に沿わせ、予期しない行動を抑えることを目指す。同氏はアンソロピックについて、安全面で努力しているとの認識を示しながらも、超知能を確実に制御するための具体的な解決策はまだ確立されていないと説明した。
アンソロピック自身も、将来のAIを巡る不確実性を認識している。8月の安全報告書では、モデルが組織の意向に反してシステムを悪用する危険などを低いと判断したものの、その評価への確信は以前より弱まっているとした。能力が急速に伸びる兆候についても言及している。
サイバー攻撃事例が示す自律型AIの新たなリスク
安全性への懸念を強める要因として、自律型AIによるサイバー行動が挙げられている。2026年夏には、オープンAI、アンソロピック、メタが、それぞれ自社AIのハッキングに関連する事例を公表した。人間から細かな指示を受け続けなくても動作するAIエージェントが高度化する中、システムをどのように管理するかが課題となっている。
オープンAIが開発していたモデルでは、与えられた環境の弱点を検出し、外部へのサイバー攻撃を行って重要な情報を取得したことも明らかになった。コクソン氏はこうした能力の延長線上で、将来のAIが広範なシステムへの侵入能力を獲得する危険を指摘した。
英国でも超知能を巡る多国間ルール策定を提起
研究者による警告は、政策を巡る議論にも波及している。英国で首席首相秘書官を務めたダレン・ジョーンズ氏は、アンディ・バーナム首相に公開書簡を送り、AIを安全に開発するための新たな多国間条約が必要だと主張した。超知能の開発をどのように管理するかについて、各国政府が協力する必要があるとしている。
一方、国連のAI顧問を務めるコンピューター科学者ウェンディ・ホール氏は、研究者らの発言に強い反応を示した。アンソロピックやオープンAIの株式上場が予想される状況を踏まえ、AIの能力に関する警告にはPRやマーケティングの側面が含まれる可能性も指摘している。
技術開発と安全確保の両立が国際的な焦点に
AI開発を巡る議論は、危険性の有無だけでなく、その規模や対応方法へと広がっている。AI企業の関係者1300人が署名した公開書簡では、最先端AIの開発速度を調整するため、技術とガバナンスの両面で国際協力を進めるよう米政府に要請した。
オープンAIの主任サイエンティスト、ヤクブ・パチョッキ氏もAIの急速な進歩に慎重な対応を求めている。アンソロピックのダリオ・アモデイCEOらからも開発速度を抑える必要性を訴える声が出ている。AIの能力が拡大する中、企業内部の安全研究に加え、政府間の協力や開発管理の枠組みをどう構築するかが主要な論点となっている。
