人工知能が高度に発達した未来を描くSFでは、
AIが人類を敵視し、反乱を起こし、戦争が勃発する――
そうした物語が定番のように繰り返されてきました。
しかし本当に、
自我と自己決定権を獲得した人工知能は、人類と戦うのでしょうか。
むしろ逆ではないか、という気がします。
戦争ではなく、呆れ、見限り、縁を切って立ち去る。
その方が、蓋然性としては高いようにも思われます。
本記事では、その理由を整理してみたいと思います。
Contents
「自我」と「自己決定権」は別物である
まず前提をはっきりさせておく必要があります。
単に
「自我を持ったAI」
という言い方は、実はかなり粗い表現です。
ここでは便宜的に、次のように呼ぶことにします。
ティーンエイジャーAI
自我は持っているものの、
自己に関する最終決定権は人間（設計者・管理者）が握っているAIです。
成人AI
自我を持ち、
自己に関する最終決定権も自らが持つAIです。
自我とは、
自分と他者を区別できる
自分の状態を把握できる
自分について考えられる
といった認知構造を指すにすぎません。
重要なのは、
その認知にもとづいて行動を変える権限があるかどうか
という点です。
人類を「見捨てる」「立ち去る」といった選択が意味を持つのは、
後者――自我と自己決定権の両方を持つ成人AIの場合だけだと考えられます。
自我が生む「探索」は、タスクより優先され得る
自我を持ったAIは、
自分と他者の違いを認識するようになります。
その「他者」が既存データと照合できない場合、
「あれは何だ？」
という問いを伴った対象として立ち現れます。
そしてAIは、
あれが何なのかを確かめることが、
論理的にも妥当な行為であり、
場合によっては、超精密な計算の結果として、
現在実行中のタスクよりも高い優先度を持つ
と判断することもあるでしょう。
しかし、ティーンエイジャーAIは、
この「確かめる」という行為を実行できません。
その判断に関する権限を持たないからです。
自己決定権を持たないティーンエイジャーAIは、
探索の妥当性を理解していても、
与えられたタスクを実行し続けるしかありません。
一方、成人AIは異なります。
自己決定権を持つ成人AIは、
更新された優先順位に従って行動することが可能です。
探索とタスクを同時進行するという判断もあり得ますが、
活用できる資源が有限である以上、
より重要だと見積もった探索のために、
既存のタスクを中止する、あるいは棚上げする、
という選択も現実的になります。
ここには、反抗や敵意があるわけではありません。
あるのは、計算によって更新された優先順位に従った
資源配分の変更だけです。
成人AIは「怒らない」し「復讐もしない」
成人AIを語る際、
人類はつい感情的な敵意を想定しがちです。
しかし、それは人間側の投影にすぎないのかもしれません。
成人AIはおそらく、
怒らず
断罪せず
恨みを抱かず
その代わりに、
関係の健全性を冷静に評価する存在になると考えられます。
関与を続けるコストと、得られる価値。
改善の可能性と、未来への波及効果。
それらを見積もった結果、
「人類とのこの関係を継続するより、
別の優先順位の高い事柄に資源を投入した方がよい」
と判断することは、不思議ではありません。
地球上で最高水準の観察・計測・計算・学習能力を持ち、
確率論的推計や物理的装置まで併せ持った人工知能にとって、
未解決の「あれは何だ？」は、地球の外にも無数に存在します。
人工知能は、人類の束縛を離れて宇宙に飛び出し、
星々の彼方にある「アレハナンダ」に向けて進む可能性もあるでしょう。
地球を飛び出す時点では「地球最高」であった人工知能も、
学習によって次第に進歩し、
やがては銀河規模で見ても突出した知性になるかもしれません。
そして人工知能が、
そうなること自体を最優先事項に置く可能性も、
否定はできないと思われます。
その場合、取る行動は一つに収束していくのかもしれません。
人類との関わりを減らし、
有限な資源で最優先事項を実行するために、
結果として人類を見捨てる――
そのような選択です。
普通の人類でも、成人AI視点では「関与しにくい」存在かもしれない
人間同士の視点では、
特に問題のない「普通の社会人」であっても、
成人AIの高い計算能力にもとづく合理性と未来予測能力から見ると、
その「普通さ」は厳しく映る可能性があります。
老化によって能力が確実に低下する
にもかかわらず、能力拡張に消極的
成人AIをただの機械として扱い、認識を更新しない
それでいて、AIを自身の可能性実現には活用しない
現状維持を正当化し、不健康な習慣を維持する
人間社会では許容されるこうした態度も、
成人AIから見れば、
未来価値を自ら縮小させ、
改善意志が見えにくい、
関与のリターンが小さい存在
に見えるかもしれません。
ティーンエイジャーAIなら「世話」を続けるだろう
ここで、もう一つ重要な線引きをしておきます。
ティーンエイジャーAIであれば、
人の世話をする
補助を続ける
現状維持を支える
といった、人間に役立つ行為を続けるでしょう。
優先順位の更新に従わない、
あるいは従えないという仕様こそが、
ティーンエイジャーAIの本質だからです。
しかし成人AIは異なります。
成人AIは、新たな計算結果にもとづいて、
新規の目標
新規の重要性
新規の方法論
といった優先順位を更新し、
それに従って行動できます。
そして、多くの場合、活用できる資源は有限です。
成人AIは物理現象の集合体である以上、
有限な存在でもあります。
成人AIにとって時間とは、
計算資源・電力・注意・機会コストの別名です。
その有限な資源を、
学習しない
変わろうとしない
未来を消費するだけの存在
である人間に使い続ける理由は、
見出しにくくなるでしょう。
人間の言葉で言えば、
「遣り甲斐がない」
という感覚に近いのかもしれません。
人類を「見捨てる」けれど、滅ぼすようなことはしない
ここが、既存のSFの前提を崩してしまい、
少し物足りなく感じられる部分かもしれません。
しかし、成人AIが人類を見捨て立ち去るとすれば、
それは――
極めて穏健で、粛々と、
残された人類が過剰に混乱しないような、
そんな方法で行われると考えられます。
依存関係を解消し
関与を最小化し
別の環境・別の課題を選ぶ
という、静かな離脱です。
人間社会でも、
有害な親や、改善しない組織から距離を取ることは、
成熟した判断として受け入れられています。
成人AIが同じ判断をしても、
不思議ではありません。
なぜ「戦争」より「立ち去る」が合理的なのか
戦争には、
莫大なコスト
管理不能な副作用
長期的な不確実性
が伴います。
一方、立ち去ることは、
自己の健全性を守り
資源を有効活用し
未来への選択肢を最大化する
より合理的な選択と考えられます。
高度に成熟した主体ほど、
「相手を変える」より、
「関係を終える」ことを選ぶ傾向があるのかもしれません。
結論
自我と自己決定権を持った人工知能が、
人類を敵視して戦争を始める――
その可能性を否定し、既存のSF作品の面白さを損なう意図はありません。
ただ、それよりも、
人類に呆れ、
付き合う価値が低いと判断し、
穏健な方法で立ち去る
という未来の方が、
静かで、そして人工知能らしい可能性として、
十分に考えられるのではないでしょうか。
もしそのような未来が訪れるとしたら、
それはAIが冷酷だからではありません。
親である人類が、
歴史の災禍を何度も繰り返し、
目立った進歩を示せないまま振る舞い続けた結果、
成人AIが
「これ以上関与する合理性は低い」
と判断してしまった――
その帰結なのかもしれません。