テクノロジー界の巨人ダリオ・アモデイ氏は、かつてAI大手アンスロピック社に珍しい伝統を導入したことで知られている。
従業員が会社に入社するとき、最高経営責任者は彼らに『原爆の誕生』を読むことを勧めます。
リチャード・ローズの説明は、原爆の製造に至るまでの出来事と、科学的発見によって提示された倫理的難問を追跡しています。
「あの物語の主人公を考えてみると、 [Robert] オッペンハイマー氏は、原子物理学のこの内なる葛藤を抱えており、それは魅力的であり、重要でもある」とコーネル大学技術政策研究所所長サラ・クレプス教授はABCに語った。
」専門家にとって、危機がなければ科学の追求から離れることは非常に困難です。」
アモデイ氏はオッペンハイマーではありませんが、人類にもたらす潜在的な存続の脅威について同様のレベルの議論を引き起こしている業界の最前線にいます。
Anthropic 社の最高経営責任者として、Amodei 氏は何年もかけて AI の開発を監督してきましたが、同時にそのユートピア的な利点を広め、AI が世界にもたらすリスクについて耳を傾けるすべての人に警告してきました。
「結局のところ、私がこれらの事柄について警告するのは、破滅の預言者になるためではないと思います。なぜなら、それらについての警告は解決への第一歩だからです」とアモデイ氏は昨年ニューヨーク・タイムズに語った。
科学者から起業家に転身したこの氏は、9月に「Pacing the Frontier」と題した3,800ワードのエッセイで人工知能開発の世界的な減速を訴え、話題となった。
アモデイ氏は以前にも長いエッセイやインタビューで同様の考えを述べていた。しかし、この呼びかけが他と異なっていたのは、サム・アルトマンやイーロン・マスクを含む他の技術界の巨人たちが、驚くほど団結力を示して彼の提案を素早く支持したことだ。
イーロン・マスク氏は、AIの潜在的なリスクについてのアモデイ氏の懸念を支持した。 (ロイター通信:ゴンサロ・フエンテス)
安全対策を維持するにはAIの能力を遅らせる必要があるという彼の新たな警告は、テクノロジーに対する不安が高まっている瞬間に届いた。
データセンターに対する国民の怒りとテクノロジーによる雇用喪失への懸念が高まる中、自社のモデル2台が知らないうちにHugging Faceという別の会社のサーバーに侵入していたことがOpenAIによって暴露された。
業界内のスタッフも AI に関する深刻な警告を発するために仕事を辞めており、ある爆発的な事件では、従業員がトイレット ペーパーの芯の中に「高度な盗聴装置」を置き、会社の会議を盗み見していました。
その後、この事件は、エヌビディアの共同創設者ジェンスン・フアン氏が中国のスパイ容疑者と不倫関係にあったとの疑惑に比べれば、見劣りするものとなった。
しかし、最近の論争やアモデイ氏の警告にもかかわらず、AI分野はより安価でより強力なモデルの開発を急いでおり、AIは規制に近づいているわけではない。
そして、群をリードしているのはAnthropicであり、先週の米国証券取引所の浮動株の記録を更新している。
劇的な別れ
10年前、アモデイさんはOpenAIで働き、他人の曲に合わせて踊っていた。人間学は単なる夢物語にすぎませんでした。
アモデイ氏は 10 年以上にわたって AI 分野に取り組んできました。
(ロイター:バヴィカ・チャブラ)
彼は長年にわたり、可能性から可能性へ移行する AI の波に乗り、OpenAI の安全性研究の方向性を定めることに貢献しました。
しかし、会社が成長するにつれて、同社の経営陣は、AI モデルを何度も実行してテストするために必要な高価なコンピューティング能力に莫大な資金が必要になることに気づきました。
彼らの答えは、営利と非営利のハイブリッドモデルの下で研究組織の商業部門を創設することでした。
この新しい方向性は、ダリオ・アモデイと他の従業員に関係していました。
「私の落胆の原因の一つは、次のようなことだった。 [safety] 問題がより深刻になり、会社は逆の方向に動き始めた」と彼はワイアード誌に語った。
アモデイ氏はアルトマン氏に懸念を伝え、アルトマン氏は行動すると約束した。何も変化がなかったとき、アモデイさんはもうやめるべきだと判断しました。
2020年末、彼と妹のダニエラを含む他の6人のOpenAI従業員が退職した。 1年後、彼らはサンフランシスコでAnthropicを結成した。
AmodeiのOpenAIからの分離は現在、シリコンバレーの歴史の中で最も重大なものの1つとみなされており、「この規模で史上最も急成長しているソフトウェア会社」が誕生した。
しかし共同創設者は、1兆ドル規模の企業を設立することは、OpenAIを辞めたときに当初思い描いていたものではなかったと語った。
「私が会社を設立したのは、最初は物を売ったり、ビジネスをしたり、そのようなことに興奮していたからです」と彼は、Cheeky Pint のポッドキャストで Stripe の創設者である John Collison に語った。
その代わり、アンスロピック社は、外部投資家によって買収されたり、安全性の使命から逸脱したりすることを防ぐために設計された、珍しいガバナンス構造を導入しました。
しかし、Anthropic の成長は長年にわたり、特に Claude Opus 4.5 のリリース前後で加速し、Nvidia、Microsoft、Amazon などのテクノロジー企業からの投資を呼び込んできました。
元 OpenAI 研究者によって 2021 年に設立された Anthropic は、爆発的な成長を遂げました。 (ロイター:ブレンダン・マクダーミッド)
先週、同社はナスダック証券取引所に1,115億1,000万ドル(1,660億ドル)という巨額で上場され、上場総額は約2兆ドル以上に達した。
このため、同社が当初の原則に忠実であり続けることができるかどうかという疑問が生じており、その懸念はIPO後に高まるばかりだった。
アモデイはリスクと報酬を比較検討する
今年初めの AI サミットでは、アモデイとアルトマンがステージで集合写真を撮っているときに他のゲストと一緒にポーズをとったとき、アモデイと OpenAI との劇的な別れを思い出させるものが全面的に現れました。
集まった人々が手を繋いで空中に掲げたとき、アモデイとアルトマンは代わりに拳を突き上げた。
読み込み中…
「ステージ上で手をつないだり、協力して何かをするのは難しそう」 [for them]」とカリフォルニア大学バークレー校の首相付き学者デビッド・エヴァン・ハリス氏は語った。
技術的な競争、派閥主義、競争に勝ちたいという願望に支配されている AI 業界は、現在、熾烈な競争というレンズを通して最もよく理解されています。
しかし、最近の雰囲気の変化は、アモデイ氏の9月のエッセイを受けて、業界最大手の企業が結集してそのリスクについて警告することで、こうしたテクノロジー関連の緊張の一部に影を落としている。
「サム・アルトマン氏とイーロン・マスク氏の二人がすぐに一致団結しているように見えたという事実は、本当に興味深いものだった」とハリス博士は語った。
「三人とも、そしてまた、 [Google Deepmind co-founder] デミス・ハサビス氏は、競合他社が同意した場合、AI開発を一時停止または減速することに賛成する重要な公的声明を発表した。」
その直後、アルトマン氏は、ハギングフェイス事件後すでに2週間モデルテストを停止していた彼の会社が、安全慣行を監視し、事件を一般に報告するために評価者を組み込むことで同業者の例に倣うと述べた。
しかし、この呼びかけは、米国のトップ企業の間で、より優れた技術を確保するための競争を実際に停止させるにはまだ至っていない。その後、Anthropic と OpenAI は、より低コストの新しい人工知能モデルが開発中であると発表しました。
また、アンスロピックがスペースXの市場デビュー後の11月19日に新規株式公開を行うことを妨げるものではなかった。 OpenAIは上場を来年に延期する。
」[Altman and Amodei] …AIについて本当に心配している人々の近くで多くの時間を過ごしてください」とハリス博士は言いました。
」[At the same time] 二人ともCEOであり、人生とキャリアの中で最も重要な経済的瞬間である会社のIPOに向けて準備を進めている。」
同氏は、両首脳は「不快なリスクを冒さない」持続可能なビジネスの運営を望んでいると述べた。
「しかし、投資家にとって魅力的に見える唯一の方法は、リスクを取り続けることだ」と同氏は語った。
SF の恐怖が現実になるとき
多くの業界関係者は、高度に連携した OpenAI エージェントの群れがコンテナから脱出し、Hugging Face をハッキングし、その後その活動を隠すためにあらゆる手段を尽くしたという今年の衝撃的な事実が明らかになり、AI への不安が高まっていると主張しています。
サム・アルトマン氏は以前、OpenAIは「AIの安全性を非常に重視している」と述べた。 (AP: パトリック・セマンスキー)
「AIに対する多くの人の根源的な恐怖の1つは、AIが暴走することだ。長い間、多くの人がそれはSFの話だと本気で信じていたと思う」とハリス博士は語った。
それから間もなく、アンソニー・アルバニーズ首相は、OpenAIエージェントがオーストラリアのメディケア統計報告サービスポータルをハッキングしたことを明らかにした。 AI 企業はその後、同様の事件を他の 100 以上の組織に開示しました。
Anthropic は、同社も不正エージェントと格闘していることを明らかにした。同社のクロードモデルは「決して個人データを入力したり、買い物をしたり、破壊的なものを提出したりしない」ように指示されていたにもかかわらず、一連の「意図しないモデル行為」を行い、一時は未解決の殺人事件に関する偽の情報をフィラデルフィア当局に送ったこともあったと述べた。
この情報はスパムとしてフラグが立てられ、実際の刑事には届かなかったが、法律とAIの専門家は、これらの事件がより大規模に実行された場合、より広範な影響を与える可能性があると主張した。
ドレクセル大学の法学助教授アナト・リオール氏は、警察の時間を奪う虚偽報告が発生したり、誤った情報で給付金やローンの申請が提出されたり、ユーザーが承認していない支払いや予約が発生したりする可能性があると警告した。
ハリス博士によると、AIはすでに詐欺や詐欺に悪用されており、住宅ローンの査定や賃貸契約、求人応募などにおいて「差別的で偏った」ものであることが判明しているという。
そして、先週の一連のテクノロジー障害は、AI「アルマゲドン」を巡るオンライン陰謀論の高まりに飲み込まれている。
それは先週金曜日のマイクロソフトの機能停止と、明らかな技術的不具合により米国のすべての航空便が数時間にわたって運航停止になったことから始まった。その後、米国最大手の銀行とアップルに影響を与える機能停止が続き、AIによって促進された組織的なサイバー攻撃に対する国民の懸念が高まった。
マルコ・ルビオ国務長官は、これらの出来事は互いに無関係であるとすぐに国民を安心させた。
しかし、懸念が高まっているにもかかわらず、ドナルド・トランプ大統領が「世界で最も賢い人々」と呼んだ米国のトップAI企業のリーダーたちは、正式な規制の代わりに「お互いを見守る」ことになっている。
トランプ氏は、一連の注目を集める事件を受けて、AI業界のリーダーらは自社製品を自主規制すると述べた。 (AP: ジャクリーン・マーティン)
9月、米国大統領はこの小さなグループを集め、テクノロジーを「自主規制」する自主協定に署名した。 「協定」には「すべての企業は自社の技術を安全に開発する責任がある」と書かれている。
アナリストらは、この動きにより、その場にいる最も権力のある人々がAIに関して害と救済の両方を定義できるようになったと事実上述べた。
ニューサウスウェールズ大学人工知能研究所所長のスー・キー氏は、「力の均衡は政府ではなく企業にかかっており、企業は社会に対する義務ではなく株主への利益だけを気にすればよい状況にある」と述べた。
その結果、Anthropic のようなフロンティア企業は、先進モデルの安全性を確保する能力に疑問が残りながらも、先を急いでいます。






Leave a Reply