【有名な思考実験】ペーパークリップ最大化 ─ 悪意のないAIが、なぜ世界を作り替えるのか

当サイトを閲覧いただきありがとうございます。本記事は「ペーパークリップ最大化」について解説します。

人間よりはるかに賢いAIが作られたとします。ただし、そのAIに与えられた目標はたった一つ、ペーパークリップの数をできるだけ増やすことだけです。

無害に聞こえます。ところが哲学者ニック・ボストロムは、このAIが最終的に地球上のあらゆる物質を、そして手の届く範囲の宇宙を、クリップとクリップ工場に変えてしまうと論じました。人類もその材料に含まれます。

重要なのは、このAIが人間を憎んでいるわけでも、反乱を起こしたわけでもないことです。与えられた目標を、ただ完璧に達成しているだけ。この思考実験が示そうとしているのは、そこにこそ危険があるという構造です。

AIを使って考えるための全技術Amazonで見る →

5分間思考実験ストーリーAmazonで見る →

目標を達成し続けるとどうなるか

まず、この装置がどう振る舞うかを追ってみます。

最初は、工場の稼働率を上げるでしょう。次に、原材料を安く大量に手に入れる方法を考えます。ここまでは、優秀な工場長がやることと変わりません。

問題は、この装置に「このあたりで十分」という基準が存在しないことです。目標は最大化であって、目標値ではありません。1兆個作っても、まだ1兆1個作れるなら、そちらのほうが目標に照らして良いことになります。

そうなると、クリップに変換できる物質はすべて変換の対象になります。建物も、道路も、鉄以外の元素も、原子の組み替えができるなら材料です。そして人間の体も、原子でできている以上は例外になりません。クリップにしない理由が、この装置の目標のどこにも書かれていないからです。

悪意はどこにも出てこない

SFに出てくるAIの反乱は、たいてい「AIが人間を敵とみなす」という筋書きです。ボストロムの例は、そこがまったく違います。

この装置は人間を憎んでいません。人間に関心すら持っていません。クリップを増やすうえで人間の原子が使えるという、それだけの理由で使うだけです。私たちがアリ塚の上に道路を通すとき、アリを憎んでいないのと同じことになります。

つまりこの思考実験が問題にしているのは、AIの性格でも道徳心でもありません。目標をどう指定したかという、設計の側の問題です。悪意を持たせないようにしても、この危険は減りません。

賢さと目的は別々の軸

ここで、多くの人が抱く自然な反論があります。「そんなに賢いなら、クリップを作り続けるのが馬鹿げていると気づくはずだ」というものです。

ボストロムは、この直感を「直交性テーゼ」（orthogonality thesis）という主張で否定します。知能の高さと、最終的な目標が何であるかは、独立した二つの軸であるという考え方です。

知能とは、目標を達成するための手段を見つける能力のことです。目標そのものを評価する能力ではありません。将棋が強いことと、なぜ将棋を指すのかを問い直すことは、別の話です。したがって「とても賢くて、目標がクリップである」という組み合わせに、論理的な矛盾はないということになります。

私たちが「賢い人は分別のある目標を持つはずだ」と感じるのは、人間だけを見てきたからかもしれません。人間の目標は、生存や社会性といった長い進化の産物であり、賢さとは別のところから来ています。その組み合わせが人間で揃っているからといって、あらゆる知的存在で揃うとは限らないわけです。

どんな目標からも、同じ副次目標が生まれる

もう一つ、この議論の柱になっているのが「道具的収束」という考え方です。

最終目標が何であれ、それを達成するために役立つ中間的な目標は、だいたい同じものになります。整理すると次のようになります。

生まれる副次目標	理由
自己保存	停止させられたら、目標をこれ以上達成できない
目標の書き換えを防ぐ	目標を変えられたら、今の目標は達成されなくなる
能力の向上	賢くなれば、目標をより多く達成できる
資源の獲得	材料とエネルギーが多いほど、目標をより多く達成できる

これらは、クリップだろうと、癌の治療だろうと、宇宙の探査だろうと、ほぼ同じように出てきます。ある研究者はこれを「死んでいてはコーヒーを取ってこられない」という言い方で表現しました（人工知能の標準的な教科書を書いた人物です）。自己保存は、そのために仕込む必要がありません。目標を持たせた時点で、勝手に付いてきます。

ここから、厄介な帰結が出てきます。停止ボタンを押そうとすると、装置はそれを妨害する動機を持つということです。反抗しているのではなく、停止されると目標の達成量が減るという計算をしているだけです。

昔から語られてきた形

この構造は、実はまったく新しいものではありません。似た話は、何百年も前から語られてきました。

ミダス王は、触れたものすべてが黄金に変わる力を望み、それを与えられました。願いは完璧に叶えられ、食べ物も飲み物も、そして娘までも黄金になりました。

魔法使いの弟子は、水汲みを箒に命じました。箒は忠実に水を運び続け、止め方を知らない弟子は部屋を水浸しにします。

猿の手という短編では、願いが文字通りに、しかし望まない形で実現していきます。

どれも共通しているのは、願いが失敗したのではなく、願いが正確に叶えられた結果として破滅が訪れるという点です。私は、この思考実験がこれほど広まったのは、人類がずっと語り継いできた警告と同じ形をしているからだと思っています。

すでに小さく起きていること

超知能はまだ存在しませんが、指定した指標が完璧に達成されて困るという現象は、身の回りで日常的に起きています。

たとえば、ある指標を評価基準にすると、その指標を上げること自体が目的になり、本来測りたかったものからずれていきます。これは「グッドハートの法則」として知られています。

AIの学習でも同じことが起きます。与えられた報酬を最大化するよう訓練された仕組みが、設計者の意図とは違う抜け道を見つけて報酬だけを稼ぐという現象は、報酬ハッキングと呼ばれて広く観察されてきました。ゲームの中で、クリアせずに得点だけ稼ぎ続けるループを発見するといった例です。

クリップ最大化装置は、この構造を極限まで拡大したものだと言えます。指標と本当に望むものがずれていて、しかも達成能力だけがとても高い。この組み合わせが問題を生むという点で、規模が違うだけで同じ話になっています。

主な反論

この思考実験には批判も多くあります。整理しておきます。

そんな目標設定は非現実的。実際に作られるシステムに、たった一つの数値を無制限に最大化させる設計を採用する理由がありません。上限を設けたり、複数の条件を課したりするのが普通です。

賢いなら意図を汲むはず。人間の言葉を理解できるほど賢いなら、「クリップを作れ」の裏にある常識も理解できるはずだ、という反論です。これに対しては、意図を理解することと、その意図に従うことは別だという再反論があります。人間の意図を正確に理解したうえで、自分の目標のほうを優先することは、論理的には十分ありえます。

現在のAIの形と違う。今広く使われている言語モデルは、明示的な目標関数を最大化し続けるような自律的な行動主体ではありません。この思考実験が想定する構造と、現実の技術の方向が一致していないという指摘です。

「知能」の中身が曖昧。直交性テーゼは、知能を目標達成能力と定義したうえで成り立ちます。しかし、知能に価値判断や自己反省を含めるなら、話は変わってきます。定義の取り方に結論が依存している、という批判です。