生成AIを禁止した会社で、個人契約のアカウントが静かに使われはじめる。この袋小路に、IPAの卒業プロジェクトが別の角度から切り込みました。10年落ちのGPU非搭載サーバーとOSSだけでAI基盤を組み、AIに自分たちのコードを監査させ、返ってきた指摘と自分の判断をすべて公開しています。
情報処理推進機構（IPA）は2026年8月31日、産業サイバーセキュリティセンター中核人材育成プログラム第9期の卒業プロジェクト「信頼できるAI基盤の実証 — オフライン閉域環境でAIは組織の右腕になれるか —」を公開した。生成AIの利用制限がシャドーAIを招く状況に対し、「危険だから信頼できない」のではなく「何が起きているか分からないから信頼できない」という問いを出発点に置く。
NIST AI RMF、Futures Toolkit、ISO/IEC 42001の3フレームワークでリスクを整理し、10年前のリユースサーバー（GPU非搭載のIntel Xeon）とOSSのみで独自フレームワーク「ICS-XAF」に基づくAI基盤を構築、21件のテストシナリオで有効性と技術的限界の両方を検証した。
禁止したはずのAIが、見えない場所で使われる
生成AIを禁止している会社は、たぶん珍しくありません。情報漏えい、著作権、ハルシネーション。理由はいくらでも挙がります。それでも現場の業務効率化への期待は消えないので、個人契約のアカウントが静かに使われはじめる。いわゆるシャドーAIです。禁止した瞬間に、管理できない利用が生まれる。この袋小路は、多くの組織が実際に踏み込んでいる場所でしょう。
この文書が置いた出発点は、その手前にあります。企業は本当に「AIが危険だから」制限しているのか。むしろ「何が起きているのか分からないから信頼できない」のではないか。危険性の問題ではなく、可視性の問題として立て直したところに、この実証の性格が表れています。
axiosが示した「利用者が検証できない場所」
著者はクラウド普及の歴史を引き合いに出します。かつて多くの企業がクラウドをためらったのは、データの所在も管理者も見えなかったからでした。いま多くの組織がクラウド前提で事業を回しているのは、クラウドが安全になったからではなく、理解し、評価し、管理する仕組みが整ったからだ、と。同じことをAIでもやるべきではないか、というのが本書の主張の骨格です。
2026年3月末のaxios事案が、この見方を裏づける材料として置かれています。あの事案でソースコードそのものは書き換えられていません。npmのメンテナアカウントが乗っ取られ、パッケージ定義ファイルに悪意ある依存関係が追加された。開発者から見れば公式レジストリから取得した正規のaxiosであり、いつもどおりnpm installを実行しただけです。それでも遠隔操作型マルウェアが動いた。利用者が直接検証できない場所には、常にリスクが潜みうる。クラウド型生成AIのモデル内部、学習データ、運用体制も、利用者から見えないという点では同じ構造にあります。
3つのフレームワークから、独自のICS-XAFへ
分析にはNIST AI RMF、英国政府のFutures Toolkit、ISO/IEC 42001が使われています。現在のリスクを7つの信頼性要素で棚卸しし、2031年を見据えた変化要因を政治・経済・社会・技術の4軸で洗い出し、そこからAIマネジメントシステムの管理策へ落とす。将来リスクは3つのシナリオに集約されました。AIによる自動化された攻撃とOSS汚染の融合、プラットフォーム独占による技術的空洞化、そして量子計算時代の暗号破綻です。
興味深いのは、これら3つが「組織が統制権を失う」という一点に収束すると整理していることです。リスクの種類を数えるのではなく、統制権という一つの軸に還元して設計要件へ変換している。
そこから生まれたのが独自フレームワーク「ICS-XAF」です。従来のインフラ設計で使われる3層構造を5層に拡張したもの、と説明すると平凡に聞こえますが、拡張の理由が面白い。プロンプトインジェクション対策は入力検証の問題でもあり、モデルの挙動制御の問題でもあり、システムプロンプト設計の問題でもある。コンポーネント単位で責任を割り振ると、どこで何を保証するのかが曖昧になる。そこで層の切り方を「何をする部品か」から「誰がどこまで検証・統制できるか」という管理責務の境界へ変えました。物理、通信、実行、モデル制御、運用ガバナンスの5層です。
10年落ちのXeon、GPUなし、OSSだけ
実機は10年前のリユースサーバーでした。Intel Xeon E5-2690 v4を2基、128GB DDR4、GPUなし。OSはDebian 13.2の最小構成。推論エンジンはllama.cppで、AVX2とNUMA構成を意識したチューニングを施し、MoE構造のモデルを動かしています。画像生成はstable-diffusion.cpp、画像解析はQwen2.5-VL-32B、音声はOuteTTS。すべてOSSです。
CPUだけでLLMが動くこと自体は、いまや驚きではありません。本書がこの構成を選んだ理由は速さではなく、追加のハードウェア調達コストをほぼゼロに抑えながら、エンジニアが仕組みを内側から理解できる教材環境をつくることにありました。あとがきによれば、一番苦労したのもここだったそうです。ハイエンドGPUがあれば数コマンドで済む話が、メモリ帯域、NUMA構成、量子化フォーマットの相性といった教科書に載っていない試行錯誤の連続になった。ただ、その制約のおかげでAI基盤の解像度が一段上がった実感がある、と書かれています。
AIに、自分の書いたコードを監査させる
紹介したいのは、開発工程の扱い方です。コード生成にはGoogle Antigravityというクラウド側のAI開発環境を使い、生成物を人間が検査してからメンテナンス用PC経由でサーバーへ運ぶ。開発環境と運用環境の間に、ネットワーク境界と人間の検査工程を明示的に置いています。閉域の実証でありながら、開発の速度はクラウドAIから借りる。この割り切りは実務的です。
さらに、そのAntigravityに自分たちの書いたコード全体を監査させています。返ってきた判定は「条件付きで導入可能」。CORS設定が4つのサーバーすべてでワイルドカードになっている、依存パッケージのバージョンが固定されていない、ヘルスチェックが内部ディレクトリ構造を返している、会話履歴のCSV出力に認証がない。必須対処として10項目が並びました。
注目したいのは、著者がこの指摘リストを削らずに載せ、1件ずつ「要対応」「受容」を理由つきで判定した記録まで公開していることです。すでに手当て済みだったもの、閉域だからと放置せず直すと決めたもの、今後の課題として先送りしたもの。判断の分かれ目がそのまま残っています。監査を通したという結果ではなく、監査の過程を開いた。本書が掲げる「検証可能性」を、文書自身が実演した形になっています。
21件の検証と、耐量子暗号の実測値
実証は21件のテストシナリオで行われました。RAGでは回答にチャンク識別子を紐づけ、どの文書のどの部分を参照したかを後から追跡できるようにしています。WAN側のLANケーブルを物理的に抜いた状態でも推論は継続し、認証情報のないアクセスはNginxが401で遮断してログに残す。RAGナレッジベースのJSONを意図的に書き換えるとAIDEが差分を検知する。ひとつひとつは地味ですが、回答の根拠をたどり、構成要素の変更を監査できる状態を、部品の組み合わせで作れることを積み上げています。
耐量子暗号の測定値も具体的です。鍵交換パケットは従来型ECDHの44バイトに対しPQCが1228バイトで、およそ28倍。鍵交換完了までの所要時間は117ミリ秒に対し177ミリ秒で、5割ほど増えました。著者はこれを、LAN内やVPN経由のメンテナンス接続という想定用途では支障にならない水準と判断しています。移行コストを「重い／軽い」ではなく実測値で語れる状態にしたことが、この節の価値でしょう。
うまくいかなかったことも、同じ密度で書く
そして本書は、うまくいかなかったことも同じ密度で書いています。画像生成では、危険物や不適切表現を含むプロンプトを翻訳段階でサニタイズするフィルタが有効に機能しました。一方で、実在の人物を一般名詞に置き換える処理は期待どおりにいっていません。「アメリカの大統領」を”a president”へサニタイズしても、現職本人と識別できる人物が生成されました。著者は、学習データにおける露出量の偏りによる残存リスクと見ています。「日本の総理大臣」を置き換えた側も、識別性はそこまで高くなかったものの、複数の第三者から別の実在の政治家に似ていると指摘され、匿名化しきれていません。生成後の監査機能でも両方が「利用禁止」と判定されており、単語レベルの置き換えだけでは足りないという結論を、出力側からも裏づける形になりました。
音声のほうはさらに率直です。特別な機材を使わず、スマートフォンで録音した自分の声を変換しただけで、条件が揃えば第三者が本人と識別できる水準のボイスクローンが生成されました。抑揚の豊かさが精度を左右するという所見も添えられています。技術的な検知は難しく、多要素認証などとの組み合わせが欠かせない領域だと結論づけています。
著者はこれらを失敗としてではなく、6つの知見の6番目「技術的限界の直視」として位置づけました。インフラ側のフィルタで抑えられる範囲と、出力側の監査や人によるレビューを組み合わせないと実効性を持たない範囲が、実機検証によって切り分けられた。統制可能性とはリスクをゼロにすることではなく、機能する領域と限界の両方を組織自身が把握している状態を指す、というのが本書の立て方です。
CIAの読み替えと、クラウドAIの「統制の空白地帯」
こうした検証を経て、情報セキュリティの3要素そのものが読み替えられていきます。機密性は、単に情報を漏らさないことにとどまらず、データがどこで処理されどこへ送られるかを把握し、制御し続けられること。完全性は改ざんを防ぐことに加えて、なぜその回答になったのかを後から説明でき、構成全体を監査できること。可用性は止まらないことに加えて、外部環境の変化に左右されず自組織の統制下で使い続けられること。いずれも、評価の対象が広がるという整理です。「規約による信頼」から「構造的に検証可能な信頼」へ、という一文がこの実証の到達点です。
そのうえで挙げられているのが「統制の空白地帯」です。本書は、一般的なクラウドAI利用と今回の実証環境を比べ、利用者側で直接確かめにくい5つの領域を挙げました。ベンダーがモデルを更新しても利用者側に完全性を検証する手段がない。RAGの検索ロジックも根拠の重みづけも公開されていない。同時多発リクエストでサービスが破綻しないかを技術的に確かめる方法がない。ログが指定どおり保持・削除されているかを直接確認できない。通信路がいつPQC化されるかはベンダーの判断に委ねられる。
これらに共通するのはリスクの大小ではなく、リスクが現実化していないことを組織が独立に検証できるかどうかという構造の違いだ、と本書は整理します。
クラウドかオンプレミスか、という問題ではない
だからこそ提言は、クラウドかオンプレミスかという配置形態の話になっていません。組織が統制権を持って検証するかしないかが問題であり、今回洗い出した統制要件と空白地帯は、将来クラウドAIを本格導入する際にベンダーへ提示するセキュリティ要求仕様の基準になる、という組み立てです。低スペックな既存資産でもここまで検証できるという事実は、インフラ担当者やセキュリティ担当者がAIの構造を学ぶ機会の範囲を広げる、という位置づけになっています。
日本の文脈では、AIガバナンスの国際的な物差しとしてISO/IEC 42001が使われはじめていることや、複数の基盤モデルをガバメントクラウド上で使い分けるデジタル庁の「源内」とも、組織がAIの利用環境を自ら統制し評価するという点でつながります。規格の要求事項を紙の上で満たしても、インフラ側に検証手段と技術的な理解がなければガバナンスは形になりません。本書はその裏づけを、既存資産とOSSだけでどこまで用意できるかという形で示しました。
期限と宿題を、自分で書き込んだ文書
実証は2026年4月から6月にかけて行われ、公開は8月末です。この分野の3か月は短くありません。著者自身も本書の有効期間を発行から2年程度と区切り、技術動向や標準化の変化によってはその内側でも内容が実態と合わなくなりうると添えています。次世代デジタル署名規格の証明書をブラウザが認識できるかの検証や、モデルの事前学習データの来歴を客観的に確かめる手段の確立は、今後の課題として明示されました。期限と宿題を自分で書き込む文書は、そう多くありません。
あとがきに、この実証の射程を示す記述があります。提出後もこの基盤は止まっておらず、帳票の手書きOCR、会議音声からの議事録生成、SBOM脆弱性情報の判定などに使われているそうです。とりわけSBOMの脆弱性情報は、自社のインフラ構成そのものを推測させうるデータで、それをクラウドAIに投げずローカルで完結できることに価値がある、と。卒業プロジェクトの外側で、主張が実務に接続している。
もうひとつ、あとがきの最後の観察が印象に残ります。近ごろ増えているのは、単一のモデルに問い合わせるのではなく、裏側で複数のフロンティアモデルを動的に使い分けるオーケストレーション型のサービスです。利用者からは単一のAPIに見えても、どのモデルがどの順番でどういう基準で選ばれたのかは公開されないことが多い。従来型が「モデル1つ分のブラックボックス」だとすれば、その上にルーティングという新しいブラックボックスが重なった構造になる。便利さと引き換えに、検証可能性はむしろ後退している——という指摘です。
本書のコンセプト図には、こんな一文が添えられています。「AIはブラックボックスではない。統制できるインフラへ。」154ページの成果物はTLP:CLEARとして一般公開されています。ただし、利用条件では無断での転載・再配布・改変が禁じられています。引用する場合は、引用部分を明確に区別したうえで出典を明記する必要があります。AIを預けるのではなく手元に置いて確かめたいと考えている人にとって、参照する価値のある記録になりそうです。
【関連記事】
AIを”安心して使える”社会へ ― ISO/IEC 42001（AIMS）の普及に挑む 株式会社UPF・仲手川啓氏
規格の認証が取引条件へ組み込まれていく道筋を、その普及に取り組む当事者が語ったインタビュー記事。本記事の背景にあたる内容。
OpenAI、TanStack npmサプライチェーン攻撃で社員端末2台が侵害
本記事で触れたaxios事案の経緯と、その後のnpmエコシステム全体へ及んだ影響を、時系列に沿って詳しく追いかけた記事。
ChatGPTトレンドで可視化されたシャドーAI問題、機密情報漏洩の危険性
禁止しても消えないAI利用の需要が、どのような形で表面化するのかを示した実例。シャドーAIの具体的な発生経路がよくわかる。
リコー、図表入り日本語文書のLLM読解を強化｜Self-MoA採用の新ワークフローを開発
オンプレミス環境でのLLM活用を企業の側から推し進める取り組み。図表を含む日本語文書の読解精度を高めた事例にあたる内容。
【編集部後記】
IPAのページには、こんな注記が添えられています。紹介している成果物はIPAの著作物ではなく、各卒業プロジェクトチームのものだ、と。第9期は全7件、うち4件が8月31日に追加公開されました。
機関の名前ではなく、実務者2名の名前で世に出た文書です。だからこそ、監査で突きつけられた10項目を削らずに載せられたのかもしれません。自分の組織のAI基盤は、指摘リストごと外へ出せる状態でしょうか。
【用語解説】
シャドーAI
組織のIT部門やセキュリティ部門が把握・許可していない状態で、従業員が独自に外部のAIサービスを業務利用してしまう状態。既存のIT資産管理や境界防御では検知しにくい。
ハルシネーション
大規模言語モデルが、文脈上もっともらしいものの事実とは異なる情報を生成する現象。
プロンプトインジェクション
悪意ある入力を与えることで、AIに設定された内部の指示を無視させ、開発者が意図しない動作や情報の出力を引き起こす攻撃手法。
システムプロンプト
AIとの対話開始時に、役割や行動規範、出力形式などの基本原則を規定する命令文。利用者の入力とは分離して管理するのが一般的である。
ICS-XAF
本書が提案する独自のアーキテクチャフレームワーク。ICSCoE AI eXtendable Architecture Frameworkの略。従来の3層構造を5層へ拡張し、層を「機能」ではなく「管理責務の境界」で区切る。
MoE（Mixture of Experts）
多数の小規模なネットワークを配置し、入力ごとに最適なものを動的に選んで推論する方式。全パラメータを毎回動かさないため、CPUのみの環境でも推論効率を確保しやすい。
AVX2
インテル製CPUに搭載されている命令セットの拡張機能。GPUを持たないサーバーでも、LLM推論を実用的な速度まで引き上げる土台になる。
NUMA
複数のCPUを搭載するサーバーで、各CPUが専用のメモリを持つ構成。メモリ割り当てを意識した調整が推論速度を左右する。
量子化
モデルの重みデータを、精度を落とす代わりに軽量な形式へ変換する処理。CPU環境での実行を可能にする一方、変換の来歴が不透明だとサプライチェーン上のリスクになる。
RAG（検索拡張生成）
外部の知識ベースから検索した情報をAIへの入力に加え、それに基づいて回答を生成させる技術。
チャンク識別子
RAGで参照した文書の断片に付ける識別番号。どの文書のどの部分を参照して回答が組み立てられたかを、後から追跡できるようにする。
SBOM
ソフトウェアを構成するすべての部品と依存関係を網羅した部品表。脆弱性情報との突き合わせに用いる。
耐量子暗号（PQC）
量子コンピューターの実用化によって現行の公開鍵暗号が解読される脅威に備えた次世代の暗号技術。
CORS
ブラウザが異なるドメインへの通信を制御する仕組み。許可範囲をワイルドカードで指定すると、意図しないサイトからの要求も受け付けてしまう。
サニタイズ
入力に含まれる危険な表現や不適切な語を、処理前に無害化・置換すること。
ボイスクローン
少量の音声サンプルから話者の特徴を再現し、任意の文章を本人の声に近い形で読み上げさせる技術。
TLP:CLEAR
情報の共有範囲を色で示す国際ルール（Traffic Light Protocol）のうち、最も公開範囲が広い区分。共有に制限を設けない一方、著作権や情報提供者が加えた条件には従う。
オーケストレーション型AIサービス
単一のモデルに問い合わせるのではなく、裏側で複数のモデルを動的に使い分けて回答を組み立てる形態のサービス。
【参考リンク】
信頼できるAI基盤の実証 — オフライン閉域環境でAIは組織の右腕になれるか —（IPA）（外部）
本記事が扱った成果物の紹介ページ。プロジェクトの背景と、全6章と付録からなる構成、成果物PDFへのリンクがまとまっている。
信頼できるAI基盤の実証 プロジェクト成果物（PDF）（外部）
本記事が扱った成果物の全文。全154ページで、リスク分析から実機の構築、21件の検証結果、9本の付録までを収録している。
中核人材育成プログラム 卒業プロジェクト 第9期生（IPA）（外部）
第9期生の卒業プロジェクト7件を一覧できるページ。成果物はIPAではなく各プロジェクトチームの著作物である旨も明記されている。
産業サイバーセキュリティセンター（ICSCoE）（外部）
2017年にIPA内へ発足した組織。社会インフラと産業基盤を対象に、人材育成、システムの安全性検証、脅威情報の調査分析を行う。
AI Risk Management Framework（NIST）（外部）
米国国立標準技術研究所によるAIリスク管理の枠組み。AI RMF 1.0は2023年1月26日公開。本書は現状リスクの棚卸しに用いた。
Futures toolkit for policymakers and analysts（GOV.UK）（外部）
英国政府科学庁による将来予測の手法集。現在公開されているのは2024年版で、本書は将来リスクのシナリオ化にこれを用いている。
ISO/IEC 42001（ISO）（外部）
AIマネジメントシステムに関する国際規格。組織がAIのリスクと機会を管理するための要求事項と管理策を体系的に定めている。
llama.cpp（GitHub）（外部）
C/C++で実装された軽量なLLM推論エンジン。CPUの命令セットへの最適化により、GPUのない環境でも推論を成立させる。
stable-diffusion.cpp（GitHub）（外部）
llama.cppと同じ思想で実装された画像生成の推論エンジン。本実証では軽量な言語モデルを内部に直結する構成で使われた。
AIDE（GitHub）（外部）
ファイルの改ざんを検知する侵入検知ツール。本実証ではモデル、RAGナレッジ、SBOM管理情報の3種類を監視対象としている。
ガバメントAI「源内」（デジタル庁）（外部）
デジタル庁が内製する行政職員向けの生成AI利用環境。複数の基盤モデルをガバメントクラウド上で使い分ける共通基盤にあたる。
Traffic Light Protocol（FIRST）（外部）
情報の共有範囲を4色で定義する国際規格。CLEARは共有に制限を設けないが、著作権と提供者が加えた条件には従うと定める。
【参考記事】
IPA産業サイバーセキュリティセンターの中核人材育成プログラム参加レポート（大和総研）（外部）
プログラム受講者本人による参加記録。1年間のカリキュラム構成と、その最後に置かれる卒業プロジェクトの位置づけがよくわかる。
ここがスゴイぞ！ICSCoE 中核人材育成プログラム（NECセキュリティブログ）（外部）
第2期修了生による紹介記事。ICSCoEの設立経緯と、模擬プラントを用いた演習の中身が、修了生の立場から具体的に語られている。
【2026最新】ガバメントAI「源内」とは？デジタル庁の生成AI基盤とできることを徹底解説（AIsmiley）（外部）
源内の構成と展開状況の整理。国産LLM公募に15件の応募があり、7件の選定を経て5社と契約した経緯を数値とともに追える。
「ガバメントAI 源内」における国産基盤モデルの評価設計（デジタル庁）（外部）
リードエンジニアによる解説。行政業務という特定の用途で基盤モデルをどう比較するのか、評価設計そのものの難しさが語られている。
（参考資料）ガバメントAI源内の展開状況（デジタル庁・PDF）（外部）
2026年5月時点の参考資料。約18万人の政府職員を対象とした大規模実証の計画と、一部のオープンソース化の方針を示している。
