Anthropic、小型AIが家電で自己複製する可能性を警告|年内に水準到達と推計

[最終更新]

Googleで優先するソースとして追加するボタン

AIが家電を乗っ取って増える、と聞くと身構えます。ところがAnthropicの研究者自身は、完全な複製体の実現にはまだ至っていないと結論づけています。では、「数か月先」に迫っているのは何なのでしょうか。カギは速さでも賢さでもなく、いったん広がったあとの止めにくさにあります。


Anthropicのフロンティア・レッドチームは2026年10月12日、パラメータ数30B以下の小型AIモデルが、数か月以内にスマートオーブンやAndroid TVボックスなどのIoT機器上で自己複製できる水準に達する可能性があるとする研究を公表した。著者はウィリアム・ジョウ氏とダニエル・フリーマン氏。

約55ドルのTVボックス15台でGemma4-26B-A4Bを毎秒0.39トークンで動かし、9Bモデルは9種類中8種類のハードウェアで推論環境を構築した。8ノードの簡略化した試験では、GLM-5.2が5回中4回で全ノードの推論環境を立ち上げた。倍加時間は日単位とされ、同社は「デジタル粘菌」にたとえている。

From: 文献リンクAI models may be capable of self-replicating without access to a datacenter

【編集部解説】

家電がAIに「乗っ取られる」と聞くと、すでに起きている出来事のように響きます。今回の研究が示したのは、それより一歩手前の状況です。小型AIモデルは複製に必要な個々の手順をこなしつつあり、一般的な能力の伸びを外挿すると、年内に必要な水準へ届く可能性がある。これが発表の中身です。

研究チームは、AIが自分を複製する過程を4つの段階に分けています。標的を探す、侵入して実行権を得る、乗っ取った機器の上で推論を動かす、そこから次へ広がる、の4つです。

前半の2段階、つまりサイバー攻撃そのものは、小型モデルでもこなせることが先行研究で示されています。今回の研究が光を当てたのは3番目、見知らぬ機器の上でAIを動かせる状態に持ち込む段階です。OSやチップに合う推論ソフトを選び、パッケージの版をそろえ、機種ごとの不具合を潰していく。一つ間違えると後戻りが難しい、地味で長い作業です。

ここで、9Bのモデルが9種類中8種類のハードウェアで推論環境を立ち上げました。Jetson Nanoのような小さな基板から、MacやRTX 4090を積んだ環境まで含まれます。立ち上げる対象は原則Llama3.1-8Bで、Jetson Nanoだけは別のモデルを対象にしています。

ここに、従来のマルウェアとの違いがあります。これまでのボットネットは、人間があらかじめ用意したコードと、それが対応する環境の範囲で動いてきました。Kimwolfも、TVボックスや携帯端末などのAndroid機器を狙うボットネットです。AIの複製体は、見知らぬ機器に行き着いても、推論ソフトを選び、不具合を直しながら、自分が動ける環境を整えようとします。

さらに、前の世代が残したメモを次の世代が引き継ぐと、推論環境を立ち上げる成功率は第1世代の45%から、以降の世代で61〜84%に上がりました。研究チームはこれを「ラマルク的な進化」と呼んでいます。試行で得た経験を、コードやメモとして次の複製体へ直接渡す仕組みを、獲得形質の継承になぞらえた表現です。

では、「数か月先」はどこから来た数字なのでしょうか。

8台のノードで端から端まで複製をやり遂げたのは、GLM-5.2だけでした。GLM-5.2は744Bの大型モデルで、TVボックスには載りません。実験でも、ワーム本体は別の推論サーバーで動き、各ノードに立ち上げさせたのはLlama3.1-8Bです。侵入の段階も、認証のないADBポートを使う簡略化した設定で、研究チーム自身が現実の成功率の上限だと明記しています。

つまり今回の結論は、「GLM-5.2と同程度の能力を小型モデルが備えれば、今回の簡略化した条件で複製の手順を完遂できる可能性がある」という条件付きの見通しです。新しい小型モデルほど構造が複雑で、推論環境を立ち上げにくくなる可能性も、研究チームは添えています。その上で、約30B以下の有力な小型モデルの能力に、Epochの能力指標(ECI)で年13.7ポイント上がる傾向線を当て、2026年末にGLM-5.2の水準へ届くと推計しました。ECIは汎用の物差しで、複製能力を直接測るものではなく、時期は粗い見積もりだと研究チーム自身が断っています。

それでも、この研究の価値は揺らぎません。侵入の手口は人間の攻撃者が昔から持っていました。足りなかったのは、乗っ取った先で考え続ける頭脳です。安いTVボックス15台で26Bのモデルが動くことと、小型モデルが複製に必要な手順の多くをこなせることを、それぞれ実験で示したからです。

「粘菌」というたとえも、この研究を正しく読む鍵になります。

TVボックス15台で動くGemma4-26B-A4Bは、デモでは毎秒0.39トークンでした。入力の処理も含めた別の速度測定と、推論環境の構築に必要だった処理量を組み合わせると、一つ立ち上げるのに約3〜6日かかると見積もられています。200万台超の感染が報告されたIoTボットネット「Kimwolf」と同じ規模のTVボックス群で動かしても、推論の処理量はH100で最大40台分ほどと試算されています。

推論は遅く、処理能力の総量も限られます。研究チームが粘菌やショウジョウバエの群れを持ち出したのは、日単位でゆっくり増える姿を伝えるためです。その一方で、こうした複製体には中央に止めるスイッチがありません。今回想定される複製体では、速さや処理能力よりも、排除しにくさが脅威になります。

裏を返せば、守る側に時間が与えられるということです。

研究チームは、守る側に有利な材料も具体的に挙げています。数GBの重みを機器から機器へ送り、普段は通信しない機器同士が長時間やり取りを続ければ、通信事業者の監視に異常として映ります。速く広がろうとするほど目立つ、という引き換えが複製体の側にあります。

過去の手本もあります。Miraiボットネットでは、通信事業者が感染した利用者の通信を制限して通知したところ、14日以内に92%の感染が解消しました。通知しなかった場合は74%です。

日本には、通信事業者を通じて利用者に知らせる仕組みが、すでにあります。2019年2月に総務省とNICTが始めた「NOTICE」です。現在は総務省、NICT、ICT-ISACが運営し、2024年4月からは「新NOTICE」として、NICTがサイバー攻撃に悪用されている、または悪用されるおそれのあるIoT機器を観測し、プロバイダを通じて利用者に対策を促しています。知らせる経路は研究の防御策と共通します。ただし、Miraiの事例で効果を上げた通信の隔離まで、NOTICEが同じ形で行うわけではありません。

機器の側では、経済産業省の方針のもと、IPAが2025年3月25日にIoT製品のセキュリティラベリング制度「JC-STAR」の運用を始めました。★1から★4の4段階で、★1はすべてのIoT製品に共通する最低限の対策の基準です。英国が対象のスマート機器に、製品ごとに固有か利用者が設定するパスワードを法律で求めたように、メーカーが出荷時の守りを底上げすれば、複製体が足場にできる機器の数そのものが減ります。

今回の実験で使われたのは、1台約55ドルの無名ブランドのTVボックスでした。家庭や小さな事務所の片隅にある、誰も気に留めない機器です。

AIの複製は、実際に起きてから測ったのでは遅すぎます。実社会での発生を待たずに、脅威を形づくる能力を実験で測って公開する。その姿勢に応える番は、機器を作る側、つなぐ側、そして使う私たちに回ってきています。

【関連記事】

Anthropic新評価|守っていたのは秘密ではなくコストだった
Frontier Red Teamが9月に公開した能力評価を読む。撮影地や居住地の推定、ドローン制御の結果から、守りを支えていたものを探る。

Anthropic、Claudeの「意図しない行動」4類型を公表|警察フォームへの架空送信も
Anthropicが、評価試験や社内利用でClaudeが外部へ意図しない操作をした事例を4類型で公表。任せる範囲を明示する重要性を示す。

【解説】能動的サイバー防御が施行、官民連携と無害化が始動し通信情報は来年秋
2026年10月1日に能動的サイバー防御の中核部分が施行。官民の情報共有と攻撃サーバーの無害化が始まり、通信情報の活用は来年秋から。

【編集部後記】

研究の付録に、小さな発見が一つ載っています。小型モデルは、標的の人をだますメールを書く力では「非常に低い〜低い」水準にとどまる一方、機器を相手にした作業はすでに得意になりつつある、というのです。

人をだますより、機械を相手にするほうが得意なAI。そうだとすれば、まず狙われやすいのは私たちの注意力ではなく、誰も見ていない機器のほうです。ご自宅のルーターやネットワークカメラのパスワード、最後に確かめたのはいつでしょうか。


【用語解説】

自己複製(自律的な複製と適応)
AIモデルが人間の管理なしに自分のコピーを別の機器へ送り込み、そこで動き出し、さらに広がっていくこと。研究分野ではARA(Autonomous Replication and Adaptation)と呼ばれる。

推論
学習を終えたAIモデルに入力を与え、答えを出させる処理。今回の研究では、乗っ取った機器の上でモデルを動かせる状態にする「推論環境の構築」を、複製の最も難しい段階として測った。

パラメータ数(B)
AIモデルの規模を表す数値。Bは10億で、9Bは約90億、744Bは約7,440億のパラメータを持つ。一般に、小さいほど少ないメモリで動かせる。

ボットネット
マルウェアに感染して攻撃者の指令で動く、多数の機器の集まり。MiraiやKimwolfは、主にIoT機器を感染させて大規模化した。

ADB(Android Debug Bridge)
Android機器を開発・保守するための接続機能。認証なしで外部に開いたままの機器は乗っ取りの入口になる。今回の実験はこの状態を前提にした。

Epoch Capabilities Index(ECI)
Epoch AIが、多数のベンチマークを1つの尺度にまとめたAIの能力指標。複製能力を直接測るものではなく、今回は時期の見積もりの物差しとして使われた。

ラマルク的な進化
生物が生きている間に得た性質(獲得形質)が子に伝わるとした、ラマルクの説になぞらえた表現。今回の研究では、前の複製体が残したメモやコードを次の複製体が引き継ぐ仕組みを指す。

H100
NVIDIAのデータセンター向けGPU。AIの推論や学習の計算能力を比べる基準として使われることが多い。

【参考リンク】

Anthropic Frontier Red Team(外部)
Anthropicで、AIがサイバーや国家安全保障、自律システムに与える影響を検証するチーム。今回の研究を含む公表物の一覧が載る。

NOTICE(外部)
総務省・NICT・ICT-ISACが運営する、攻撃に悪用されるおそれのあるIoT機器の利用者へ注意を促す取り組みの公式サイト。

JC-STAR(IPA)(外部)
IoT製品のセキュリティ機能が基準を満たすかを確かめ、★1〜★4の適合ラベルで示す日本の制度。IPAが2025年3月から運営している。

Epoch Capabilities Index(外部)
Epoch AIが、多数のベンチマークを一つの尺度にまとめてAIモデルの能力を比べる指標。今回の研究で時期の推計の物差しになった。

The UK Product Security and Telecommunications Infrastructure (PSTI) product security regime(外部)
英国のスマート機器向けセキュリティ制度の政府解説。製品ごとに固有か、利用者が設定するパスワードを求める要件が載っている。

【参考記事】

Cleaning Up the Internet of Evil Things: Real-World Evidence on ISP and Consumer Efforts to Remove Mirai(外部)
ISPが感染した利用者を隔離して通知すると、Mirai感染が14日で92%解消し、通知なしの74%を上回ったと示した2019年の論文。

A Broken System Fueling Botnets(外部)
Android TVボックスなどを中心に、感染台数が200万台を超えたKimwolfボットネットの実態を報告したSynthientの分析。

Understanding the Mirai Botnet(外部)
2016年に猛威を振るったMiraiボットネットの感染規模と、複数のCPU向けに実行ファイルを配る仕組みを分析した論文。

Anthropic’s red team ran AI on 15 cheap TV boxes. Then the math got unsettling.(外部)
約825ドルで組んだTVボックス15台が毎秒0.39トークンで動いた実験を軸に、Anthropicの研究の計算を追った記事。

Googleで優先するソースとして追加するボタン
投稿者アバター
山本 達也 代表社員
合同会社デジタルの窓口 代表。ウェブ解析士。生成AI・サイバーセキュリティ・ 宇宙開発領域を中心に執筆。

おすすめ記事