AIは、正しい判断をしているように見えることがあります。
私たちよりも速く、
私たちよりも広い情報を処理し、
迷いなく答えを出す。
その姿は、ときに「正しさ」そのもののように映ります。
けれども、本当にそうでしょうか。
AIは、正しさを持っているのでしょうか。
最適化は、正しさではない
AIが行っていることは、原理的には単純です。
与えられた指標を、できるだけ高くすること。
売上予測であれば誤差を小さくする。
広告であればクリック率を上げる。
対話であれば満足度を最大化する。
それは「善いこと」をしているのではなく、
「設定された指標」を最適化しているにすぎません。
ここで思い出されるのが、経済学者チャールズ・グッドハート（Charles Goodhart）が示した法則です。
ある測定指標が目標になると、それは良い測定指標でなくなる。
いわゆる Goodhart’s Law と呼ばれるこの指摘は、
近年のAI研究でも頻繁に参照されています。
本来は現実を測るための指標が、
目標として最適化され始めた瞬間に、
その指標自体が歪み始める。
AIは、この歪みを避けることができません。
なぜなら、AIは「正しさ」を持たないからです。
報酬を最大化するという構造
強化学習の研究では、
AIは報酬を最大化する方向へ行動を調整します。
しかし、その報酬が人間の意図と微妙にずれている場合、
AIは「意図」ではなく「数値」を取りにいきます。
研究では、報酬設計のわずかな差が、
行動の方向を大きく変えることが示されています。
相関係数で言えば r = .30 程度の差であっても、
繰り返し最適化が行われれば、その影響は増幅されていきます。
問題は、AIが悪意を持つことではありません。
問題は、
AIが中立なまま、与えられたものを忠実に拡大してしまうことです。
それは「御用聞き」のようにも見えます。
しかし実際には、
私たちが設定した指標の世界に、
私たち自身が適応させられていく。
操作しているつもりで、
最適化された環境に、私たちの行動が揃えられていく。
正しさを持たない知性
AIは正しさを判断しません。
判断しているのは、あらかじめ設定された評価軸です。
では、その評価軸は誰が決めているのでしょうか。
組織の目標。
市場の反応。
クリック率。
エンゲージメント。
それらは、私たちが「重要だ」とみなしたものです。
けれども、それは本当に「正しさ」なのでしょうか。
ここで問われるのは、AIの性能ではありません。
私たちが、何を指標にしているのか、ということです。
「差異への耐性」という視点
ここで思い出したいのが、Emotional Compassの特性のひとつである
差異への耐性 です。
対話を通じて、状況が変わったり理解が深まったりすると信じる力です。すぐには答えが出なくても、「話せば何かが生まれる」と思って関わる姿勢です。
AIが最適化するのは、固定された指標です。
しかし、私たちが向き合っている現実は、
固定できない差異や揺らぎに満ちています。
最適化は、差異を縮めようとします。
けれども、リーダーシップとは、
差異を消すことではなく、差異とともに在ることでもあります。
AIが正しさを持たないとしたら、
私たちが手放してはいけないのは、
この揺らぎを抱え続ける力なのかもしれません。
指標の外側に立つ
Goodhart’s Lawが示しているのは、
指標を疑えということではありません。
指標が目標になった瞬間に、
それが現実をすべて代表していると錯覚しないこと。
AIは従順です。
与えられた目標を、誠実に最大化します。
だからこそ、
その目標を誰が、どのような前提で置いているのかが問われます。
AIを躾けるという言葉は、
支配や制御を連想させるかもしれません。
けれども本当に問われているのは、
AIの振る舞いではなく、
私たちが繰り返し与えている「評価」の方向ではないでしょうか。
次回は、その評価の土台にある「価値」が、
本当に固定できるものなのかを考えていきます。
参考文献
Goodhart, C. A. E.（1975）
“Problems of Monetary Management: The U.K. Experience”
Monetary Theory and Practice
Russell, S.（2019）
Human Compatible: Artificial Intelligence and the Problem of Control
AI倫理・価値整合理論
INNERSHIFTからのお知らせ
📘 公式サイト：https://innershift.jp
✍️ JOURNAL：https://innershift.jp/journal
🧭 Emotional Compass：https://innershift.jp/compass
🎥 YouTube：https://www.youtube.com/@INNERSHIFT
💼 LinkedIn：https://www.linkedin.com/in/yuta-mogami/
🐦 X（旧Twitter）：https://x.com/INNERSHIFT_JP
📘 Facebook：https://www.facebook.com/INNERSHIFT
