まずOpenAI内紛劇を簡単に「おさらい」しておこう。
OpenAIの理事会は11月17日にサム・アルトマンCEO(最高経営責任者)を解任。ところがわずか5日後、11月22日にアルトマンはCEOとして復帰すると発表された。
ただしアルトマンは理事の地位は失い、また自分の行動について独立した調査を受けることに同意した。OpenAIの理事会は再編となり、旧理事6名のうち、アダム・ダンジェロ(Quora CEO)だけが残り、ブレット・テイラー(元Salesforce 共同CEO、元Twitter 取締役会会長)、ローレンス・サマーズ(ハーバード大学教授、元財務長官)の2名を加えた3人態勢での再出発となった。
アルトマン解任に賛成した理事4人のうち、ダンジェロを除くターシャ・マコーリー(ランド研究所の非常勤科学者)、ヘレン・トナー(ジョージタウン大学安全保障・新技術センター 戦略ディレクター)、イリヤ・サツケバー(AI科学者、OpenAI共同創業者)は理事の地位を失った。アルトマン派の旧理事グレッグ・ブロックマンは理事の地位は失ったがOpenAIには留まる。
イリヤ・サツケバーはChatGPTの心臓部といえる大規模言語モデルGPTの開発に貢献した科学者だが、OpenAIに留まるか否かを含めて処遇は未定とされている。またOpenAIに対して130億ドルと巨額の投資をしていたMicrosoftは理事会の議席を求めていたが、議決権がないオブザーバーの地位に留まる。
OpenAIの内紛に関連して「EA」と「e/acc」と呼ぶ「思想」の対立があるという言説が多く流れた。
カッコ付きで「思想」と呼んだ意味は、その内容がかなり怪しく、「カルト的」との批判もあるからだ。詳しくは後述するが、功利主義が過激化した「21世紀の優生思想」といえる怪しい「思想」群がテクノロジー業界で流行しているのである。
なお、今回の内紛でアルトマンが解任された理由は謎のままだ。理事会の不和、特にヘレン・トナーとアルトマンの対立が原因との報道も出ているが、当事者たちは沈黙している。OpenAIの社員に向けたメッセージでは「AIの安全性はアルトマン解任の理由ではない」とされていたという。
今回の記事で「思想」の対立を取り上げる理由は、解任の理由とは別に、これら「思想」がテクノロジー業界の大きな問題を理解する材料となるからである。
OpenAI内紛劇に関連して語られる「思想」であるEAとe/accについて説明しておこう。
EAは「効果的な利他主義(Effective Altruism)」の略だ。
「収入の10%以上を、可能な限り費用対効果の高い慈善団体に寄付しよう」と誓約した数千人に及ぶコミュニティを形成している。「慈善団体で働くよりも、高収入の職業を得て収入の一部を寄付する方がより『効果的』である」という考え方を共有している人たちだ。
EAあるいは「効果的な利他主義」は2011年に生まれた新しい言葉である。
英オックスフォード大学の大学院生だったウィリアム・クラウチらが立ち上げたグループが、2011年にこの名称を自分たちのために採用した。クラウチはのちに結婚相手の先祖の姓を取ってウィリアム・マッカスキルと改姓し、28歳でオックスフォード大学の哲学科准教授となった(世界最年少の哲学科准教授と言われている)。
マッカスキルは今もEAコミュニティの中心人物である。翻訳された著書として『〈効果的な利他主義〉宣言!』(ウィリアム・マッカスキル、みすず書房、2018年)がある。
EAのコミュニティはAIを警戒する立場に立つ。そしてアルトマン解雇に賛成したOpenAI理事のうちターシャ・マコーリー、ヘレン・トナーの2名はEAコミュニティ生え抜きだ。AI開発の監督のためにOpenAIの理事に就任したような人々なのである。
EAコミュニティがなぜAIを警戒するかだが、後述する「長期主義」に関連して「高度なAIは人類の生存を脅かす可能性がある」との考え方があるためである。
その背後には、オックスフォード大学内部で、人類存続の危機に関わる「実存的リスク(existential risk)」——その中には進化しすぎたAIが人類を滅ぼす可能性も含まれる——を研究するニック・ボストロム教授らのグループFuture of Humanity Instituteが、マッカスキル准教授らのEA団体Centre for Effective Altruismと同じ棟(Trajan House)に入居しているなど関係が近いことがあるようだ。
なお、実存的リスクについては、「AIが人類の存続を脅かす」と声高に唱えることは、目の前にあるAIの問題——AIに潜む差別や偏見、プライバシー侵害の危険性、時々「嘘」を付くハルシネーション(幻覚)と呼ぶ現象など——を軽視することになりかねないとの批判がある。
EAのスローガン「より効果的な寄付をしよう」を聞くと善行を積む団体に思えるが、実はEAはここ1年ほどで大きく評判を落とした。
主な原因は、EAコミュニティで最も経済的に成功し、多額の寄付などEAコミュニティに多くの貢献をした人物であるサム・バンクマン=フリードが逮捕され、有罪判決を受けたからだ。
サム・バンクマン=フリードは1992年生まれ。MIT(マサチューセッツ工科大学)の学生だった頃にマッカスキルから説得されEAコミュニティの一員となり、高収入を求めて金融業界に就職、収入の半分を寄付していたと言われる。
2019年、27歳のとき暗号通貨取引所FTXを創業。業界でも一目置かれる存在となった。しかし2022年11月にFTXは破綻。暗号通貨市場から2000億ドル(当時の相場で28兆円相当)が失われ、個人投資家の8割が損失を出したと言われる。
バンクマン=フリードは詐欺(顧客が預けた資産を勝手に運用して価値を毀損など)、マネーロンダリングなど複数の金融犯罪で有罪となった。量刑は未定だが、長期の収監は避けられないと言われている。
不祥事はこれだけではない。EAのコミュニティが白人男性優位であり、その文化はポリアモリー(複数の男女間で関係を結ぶスタイル)を女性に強いる、セクハラを繰り返すなど搾取的で「カルト的」だと告発する報道も出ている。
EAコミュニティには「高収入を得て寄付する善行を積んだ自分たちは、常識からの逸脱が許される」といった偏った倫理観の持ち主がかなり混じっていたようだ。
一方のe/accは、EAに反発して2022年に作られた急ごしらえのネットミーム(インターネット発の流行語、ネットスラング)で、「効果的な加速主義(Effective Accelerationism)」の略である。いわば「効果的な利他主義」のパロディだ。
命名者は「ベフ・ジェゾス」(Amazon創業者ジェフ・ベゾスのパロディ)を名乗る匿名のネット人格である。「加速主義とは資本主義の自己認識である」などと主張し、資本主義を突き詰めてシンギュラリティ(技術的特異点。AIが人間の助けなしに自律的に進化し続ける段階に達することとされる)に到達する確率を高めることを良しとする。
加速主義を唱えた哲学者ニック・ランド(著書として『暗黒の啓蒙書』、講談社、2020年)に影響を受けているとも言われている。
この説明でお分かりの通り、e/accはEAを茶化し対抗するネットミームであり、EAのように現実世界のコミュニティや社会運動の実態がある訳ではない。しかしその「思想」はテクノロジー業界の投資家や起業家と相性が良く、巨額の資金を動かすベンチャー投資家のマーク・アンドリーセンら有名人が支持を表明している。サム・アルトマンも加速主義の考え方の持ち主と言われている。
e/accの流行が示すものは、EAを「資本の理屈に反する」と批判し、AIの安全性を軽視する「気分」あるいは「マインドセット」だ。そうした気分がテクノロジー業界に広まっている訳だ。
シリコンバレーの有名な投資家でOpenAIの初期の投資家でもあるビノット・コースラは、以下の言葉でアルトマンを解雇したOpenAIの理事会を厳しく批判した。
「OpenAIの理事たちが信仰していた『効果的な利他主義(EA)』とその誤用は、人工知能(AI)による多大な恩恵への道のりを後退させかねない。すべての人に無料の医者が、地球上のすべての子供には無料に近い家庭教師が与えられることを想像してみてほしい。それこそが、AIの約束に賭けられているものなのだ」
このようにAIの長期的な可能性を称揚し、AI開発にブレーキをかけようとするEAコミュニティを名指しで批判している。
投資家としてはそう言いたくもなるだろう。せっかく投資した企業の価値が大幅に毀損される恐れがあったのだから。
EAのより過激なバージョンが長期主義(longtermism)である。
マッカスキルによれば長期主義とは「長期的な未来にプラスの影響を与えることが現代の重要な道徳的優先事項であるという見解」である。前述の実存的リスク(例えばAIが進化しすぎて人類を絶滅させるリスク)を避けることも長期主義の主眼の一つだ。
この説明だけを見ると「もっともだ」と思う読者もいるかもしれないが、長期主義の問題点は「目の前の困っている100人を救うよりも、そのリソースで未来の1万人を救う技術を開発する方が、より道徳的な選択肢である」といった過激な結論を導く場合があることだ。
長期主義への支持を表明する有名人もいる。例えばイーロン・マスクである。イーロン・マスクはOpenAI創設メンバーの1人であり、AIの危険性を警戒する立場だと言われている。
そのイーロン・マスクはX(旧Twitter)をめぐり社会との摩擦に直面している。マスクは、社会との摩擦を企業運営を改善する材料とは見ず、「自分たちの邪魔をしている」と見ていることを隠さない。
目の前の社会との多少の摩擦は重要性が低いことであり、自分たちが長期的に成し遂げようとしているイノベーションの価値が優先されると考えているのだ。
こうした独善的な考え方を正当化してくれるのがEAやe/accや長期主義のような「思想」なのである。
前述のEA(効果的な利他主義)も、それに対抗するネットミームe/acc(効果的な加速主義)も、長期主義も、英国の哲学者ベンサムが生み出しミルが発展させた倫理学の一派「功利主義」の過激な子孫といえる。ちなみに、EAコミュニティの本拠地といえるオックスフォード大学はベンサムの母校であり、功利主義が生まれた場所である。
功利主義は「最大多数の最大幸福」という有名な言葉で知られる。結果だけを評価する立場(帰結主義)に立ち、「幸福の総量」が大きい選択肢が「より良い」と考える。苦痛は幸福を減ずるので、より苦痛を減らせる選択肢もより良い選択肢である。
功利主義の良い点は、数値化(例えば売上げ、利益など)と相性が良く早く結論を出せることだ。一方、後述するように重大な欠陥も指摘されている。
EA、「効果的な利他主義」では「最も効果的な寄付先を選び、寄付しよう」と考える。つまり慈善団体が公表した数字を見て、より効率的と判断した団体に寄付することが良いと考える。また「より多く稼ぎ、より多くを寄付しよう」と考える。このように数値を見て素早く結論を出せる考え方は、エンジニアや企業経営者と親和性が高い。
またe/acc(効果的な加速主義)や長期主義も、結果を重視する功利主義の過激な子孫といえる。「より早く技術を進化させ、より早く技術の恩恵を行き渡らせる選択肢がより良い」と考える訳である。
一方で、功利主義にはよく知られた欠陥がある。
- 一般に不正とされる選択肢を「良い」と判断する場合がある(「目的は手段を正当化する」結論を導きやすい)。
- 一部の人々を犠牲にする結論を出す場合がある。
- 幸福の定義が人によって異なり、また幸福の総量を計算できるのか疑問な場合がある。
ここに書いた欠陥は、『高校倫理でまなぶ哲学トレーニング2 ——社会を考える』(直江清隆編、岩波書店、2016年)から引用したものである。功利主義には日本の高校生が理解できる欠陥がある訳だ。
EAコミュニティは、サム・バンクマン=フリードの金融犯罪や、EAコミュニティの一部によるセクハラに目をつぶってきた。これは上記の功利主義の欠陥1に相当する。
またAIの進化に対する考え方として、EAは警戒論、e/accは楽観論と正反対の判断を出し、それが「思想」の対立につながった。これは上記の功利主義の欠陥の3に相当する。考える人の都合に合わせた結論を出しやすい。
功利主義の暴走が危ういことはよく知られている。EAもe/accも、テクノロジー業界のエリートが、いくらでも自分に都合が良い理屈を立てられる思想であるとの批判がある。
このような功利主義の欠陥を正す思想として、哲学者カントが生み出した「義務論」がある。義務論では、結果を評価するのではなく「普遍的な原則に基づいて行動しよう」と考える。結果より原則とプロセスを重視する立場といえる。これも日本の高校の科目「倫理」で学べる話だ。
国連機関やEUが採用する規範倫理であり国際法体系である「人権(human rights)」は功利主義だけでは理解できず、義務論がないと説明できない。
人権の思想は、功利主義の行き過ぎを義務論で歯止めをかける作りといっていいだろう。つまり人権を学んだ人は、義務論のエッセンスも身につけているはずなのである。
ところが、日本の高校生でも知っている功利主義の欠陥を、EAコミュニティや、その中心人物であるオックスフォード大学哲学科の最年少准教授であるウィリアム・マッカスキル、それにテクノロジー業界の有名人たちは故意に無視しているように見えるのである。これは、倫理学の言葉でいうと「故意の無知」の誤謬に相当するだろう。
AI研究者であるティムニット・ゲブル(Timnit Gebru)は、哲学者ミール・トレス(Émile Torres)と協力し、進歩主義に挑戦するAI中心の世界観を特徴づける「重なり合う創発的な信念体系」を表す言葉「TESCREAL」を作った。EAやe/accのような怪しい思想群をまとめて批判するための新たな概念である。
TESCREALは、以下の頭文字から成る。トランスヒューマニズム(Transhumanism)、エクストロピアニズム(Extropianism)、シンギュラリティアニズム(Singularitarianism)、コスミズム(Cosmism)、合理主義(Rationalism)、効果的な利他主義(Effective Altruism)、長期主義(Longtermism)。今回問題になったEA(効果的な利他主義)も含めて、複数の異様な「思想」の頭文字が組み合わされている。
ティムニット・ゲブルは、エチオピアにルーツを持つアフリカ系アメリカ人女性だ。ゲブルはAI研究コミュニティが白人男性優位な文化であることや、顔認識システムが黒人、特に黒人女性に対しては認識率が大幅に下がるという「AIに潜む差別」の問題を指摘してきた。
彼女はGoogleのAI倫理チームを率いていたが、2020年に突然解雇された。ゲブルは生成AIの心臓部となる「大規模言語モデル」の危険性を指摘する論文の共著者となったのだが、論文の内容にGoogle上層部が反発したことが解雇につながったと言われている。
彼女はTESCREALは「優生思想の第2国家」だと述べる。TESCREALは、ざっくり言えばテック業界のエリートらが信奉する功利主義の極端な形態であり、同時に優生思想、差別思想、植民地主義の変形版だと厳しく指摘しているのである。
優生思想とは、生まれつき「優秀な人」と「劣った人」がおり、「優秀な人」の子孫を残すことを奨励し「劣った人」の子孫を残すことを防ぐことで人間集団を改良しようとする思想であり、ナチスのホロコーストや、相模原障害者施設殺傷事件のような極端にひどい結論を導いてしまう欠陥を持つ考え方である。
優生思想は前述した功利主義の欠陥2の極端な事例といえる。すべての人に平等な尊厳と不可侵な権利があると考え、「だれ一人取り残さない」よう行動しようとする人権とは相容れない思想だ。
今のテクノロジー業界にはびこる「思想」——というより「気分」は、優秀なエリート(その多くは白人男性である)が、常識的な価値観や多数派のメリットや法律、規制などにとらわれず、未来のテクノロジーを開発して世界を自分たちが好ましいと思う方向に変えようというものだ。
考え方が異なる普通の人々に対する配慮はない。人種差別や優生思想、植民地主義ときわめて親和性が高い「思想」なのだ。
テクノロジー業界の「気分」を「優生思想」と断じるゲブルの言葉が強すぎると思われる読者もいるかもしれない。しかし、テクノロジー業界の成功した起業家、経営者たちの考え方や行動原理は、いまや多数派の人々から大きく乖離している(ラナ・フォルーハー、『邪悪に堕ちたGAFA』、日経BP、2020年)。
影響力が大きな巨大テクノロジー企業は「監視に基づく広告ビジネスモデル」と批判されて社会との溝を深め、英語圏のメディアでは巨大テクノロジー企業の傲慢さを批判する記事が毎日のように載っている。そんな中で、テクノロジー業界のエリートである投資家、起業家、経営者たちは社会からの声を聞き自らの行動を変えるのではなく、自分たちの行動原理を正当化する怪しい「思想」に傾倒しつつあるのだ。
EAにせよe/accにせよ、功利主義の暴走を良しとする思想がテクノロジー業界で広まりつつあることは心配なことである。テクノロジーの進化は人々を豊かにもするが、害を及ぼすこともある。
公害問題や自動車の安全装備などの改善は企業の論理だけでは進まず、社会との摩擦というフィードバックを受けて改善されていった。巨大IT企業は社会からのフィードバックを受けて改善が必要な段階に来ている。社会の声に耳を傾けない身勝手な「思想」は危険な結果をもたらしかねない。
テクノロジー業界の投資家や企業家にも、せめて日本の高校生レベルの倫理、人権への理解と、社会からの声に耳を傾ける態度が求められているのではないか——それが私が感じていることである。