あわせて読みたい
【シンギュラリティ】核より恐ろしいAI兵器vs AI兵器の戦争は人知を超える 行動の監視と関与する仕組み必要 ヘンリー・キッシンジャー
自律型兵器システムには、その行動を人間が外部から監視する仕組みや、特定の行為に人間の承認を必要とする仕組みを設けられる。
だが確実に遵守され検証可能な相互合意によって制限を課さない限り、後者のような自律型兵器システムはいずれ、戦略や目的（国境防衛や限定的な反撃など）の全てを担い、人間の実質的関与なしに行動するようになるだろう。
これらの分野では、行動の監視と武力行使の指示に人間の判断が関与する仕組みが絶対に必要だ。
このような制限は一部の国家が採用するだけでは意味がない。先進的な技術を持つ諸国の政府は、強制力のある検証作業に裏付けられた相互抑制の課題に向き合わねばならない。
AIは先制攻撃や、早まった実力行使による紛争拡大のリスクを高める。敵が自律型兵器を開発することを恐れる国は、先制攻撃に走るかもしれない。意図せざる紛争の深刻化を防ぐには、軍拡競争も検証可能な制限の範囲内に限る必要がある。
交渉では、軍拡競争の緩和だけでなく、当事者が一般的な意味で互いの行為を理解していることを確認すべきだ。
ただし最も機密性の高い秘密は互いに公表しないだろうし、相互に完全に信頼することもあり得ない。だが冷戦時代の核軍縮交渉が示すように、理解の方法が全くないわけではない。
核兵器の時代を画することになったもろもろの軍縮協定（と、それに伴う対話や相互検証のメカニズム）は、決して歴史の必然ではなかった。それは人間の努力がもたらしたもの──互いの脅威を知るだけでなく、互いの責任にも気付いた人間がもたらしたものだ。
https://www.newsweekjapan.jp/stories/world/2021/11/aivs-ai.php
ホーキング博士が遺したメッセージ：わたしはAIが「人間を超える」可能性を恐れている
ホーキング博士：わたし個人としては、宇宙開発をもっと追究したいですね。もちろん最終的な目標は、移住に適した惑星に人類を入植させることです。われわれは、もはや引き返せないところまで来てしまいました。地球という星はすでに狭すぎるのです。
世界の人口は危険なまでの速さで増えつつあり、人類が滅亡する危険すらあります。環境破壊や壊滅的な核戦争の結果、自滅するのかもしれません。だとしても、人類があと1,000年生き延びようとするなら、別の生き方を積極的に模索してゆく必要があります。
