ブラックボックスの謎に挑む「究極の数学パズル」
あなたがスマホに話しかけると、AIは驚くほど自然な文章を返してくれます。医療画像の解析を助け、交通や安全に関わるAIは周囲の状況を瞬時に判断し、金融AIは膨大なデータからリスクや市場の変化を推定します。
でも、ここで一つ、少しゾッとする事実を打ち明けましょう。
そのAIが「なぜ」その答えを出したのか、実は作った本人たちにも正確には分からないことがあるのです。
これをブラックボックス問題といいます。中身が真っ暗な箱。データを入れると答えが出てきます。でも、その箱の中で何が起きているのかは謎のまま。数百万、数億、ときに数十億個ものパラメータが複雑に絡み合い、計算された結果だけが私たちの前に現れます。
「答えが合っているなら、それでいいじゃないか」
そう思うかもしれません。ところが、世界はそれを許さなくなってきています。
2024年に成立したEUのAI法（Regulation (EU) 2024/1689）では、医療診断、採用選考、交通・安全に関わるシステムなど、人の人生に大きな影響を与える「ハイリスクAI」に対して、利用者が出力を適切に解釈できるだけの透明性、十分な情報提供、人間による監督などを求めています。
つまり社会は、AIにこう問い始めているのです。
「AIよ、その判断を人間が検証できる形で示しなさい」
しかし、ここに大きなジレンマがあります。社会は検証を求めている。ところが現在の高性能AIは内部がブラックボックス化していて、開発者自身でさえ完全には説明できないことがあるのです。
まるで「宇宙一難しい問題を解け」と言われたあとに、「どうやって解いたかも全部説明しろ」と言われているようなものです。
さあ、この難問をどう解けばいいのでしょうか。
1．これまでの「説明可能なAI（XAI）」の限界と罠
「説明できないなら、説明する技術を作ればいい」
そう考えた研究者たちが生み出したのが、説明可能なAI（XAI: Explainable AI）という分野です。
たとえば画像診断AIが「この画像は肺炎です」と判断したとします。するとXAIは「この影の部分を重視しました」「この領域が診断に強く影響しました」といった説明を表示してくれます。
なるほど、確かに分かりやすい。
しかし、ここで少し立ち止まってみましょう。実は多くのXAI手法は、AIが答えを出したあとで「たぶんこう考えたんだろう」と推測しているだけなのです。AIの内部を直接読んでいるわけではありません。
これは、テストの答案だけを見て、後から「きっとこう解いたのだろう」と推理しているようなものです。
その推理が当たっていることもあります。しかし、本当にそうだったとは限りません。
さらに問題なのは、人間は「もっともらしい説明」に弱いということです。Bordtら（2022）は、こうした事後説明（ポストホック説明）が、人間にとって納得しやすい説明を作れてしまう一方で、本当の判断理由を正しく反映していない場合があると指摘しています。
たとえばAIが犬を見分けていると思っていたら、実際には背景の芝生の色を手がかりにしていたとしましょう。ところが説明画面には「耳の形を見ています」と表示されるかもしれません。
完全な嘘ではありません。しかし、本当の理由でもありません。
説明しているように見えて、実は後付けの言い訳かもしれない。
これが現在のXAIが抱える根本的な問題です。人間が納得しやすい説明と、AIが本当に行った計算は、必ずしも一致しないのです。
では、世界の研究者たちは、この問題にどう挑んでいるのでしょうか。
補足 世界ではどんなXAI技術が研究されているのか？
AIのブラックボックス問題に対して、世界ではさまざまな技術的アプローチが研究されています。
なお、XAI研究は国ごとに完全に分かれているわけではありません。米国、欧州、日本を含む大学・企業研究所・国際共同研究が、それぞれ異なる角度からブラックボックス問題に挑んでいます。
重要なのは、XAIには一つの正解があるわけではないということです。「あとから理由を説明する方法」もあれば、「最初から中身を追跡しやすくする方法」もあります。代表的な流れを整理すると、次のようになります。
ここで、表に並んだ手法の中から、テンソルネットワークとは異なる代表的なXAIの試みを二つだけ見てみましょう。
Kimら（2018）のTCAVは、AIの判断を「しま模様」「丸い形」といった人間が理解できる概念で説明する方法です。たとえば画像AIがシマウマを判定するとき、「しま模様」という概念がどれくらい判断に影響したかを測ります。例えば、AIの頭の中に「しま模様メーター」を仮に置き、そのメーターが答えにどれくらい効いたかを調べるイメージです。ただし、どの概念を用意するかは人間が決めるため、主観が入るという限界があります。
Wachterら（2018）の反実仮想説明は、「何を変えれば別の結果になったか」を示す方法です。たとえばローン審査でAIが不合格と判断した場合、「年収があといくら高ければ結果が変わった可能性がある」と説明します。利用者にとって行動につながりやすい利点がありますが、「年齢が若ければ」のように本人が変えられない条件を提案してしまうこともあり、提案する条件の妥当性が課題になります。
一方、今回注目するテンソルネットワークは、これらの事後的な説明とは異なり、AI内部の高次元構造そのものを小さな部品のネットワークとして整理しようとする、別の方向のアプローチです。
このように、XAI研究には、判断後に理由を説明する方法、人間が理解できる概念で説明する方法、結果を変える条件を示す方法、論理ルールを組み込む方法、概念を経由させる方法、そして内部構造を数学的に調べる方法があります。
ただし、どの方法も万能ではありません。だからこそ、AIのブラックボックス問題には複数の技術を組み合わせて挑む必要があります。
このうち、内部構造を数学的に整理するテンソルネットワークが、今回の記事の主役になります。
つまり、透明なAIを作るには、単に「説明文を出すAI」を作ればよいわけではありません。
AIの判断を説明する技術。AIにルールを組み込む技術。AIの内部構造を数学的に調べる技術。
これらを組み合わせて、ようやく信頼できるAIに近づいていくのです。
だからこそ研究者たちは考え始めました。後から説明を付け足すのではなく、最初から中身を追跡しやすいAIを作れないだろうか、と。
ここから、今回の主役であるテンソルネットワークの話に進みましょう。テンソルネットワークは、この中でも特に「AIの内部構造を数学的に整理する」ための有力な候補です。
2．ブラックボックスをこじ開ける「物理学のパズル」
後付けの説明が信用できないなら、発想を逆転しましょう。
最初から計算プロセスそのものを追跡できるAIを作ればいい。
この考え方は、実は有力な研究者たちからも強く支持されています。デューク大学のRudin（2019）はNature Machine Intelligence誌で、「ハイリスクな場面ではブラックボックスに後付けの説明をつけるのをやめ、最初から本質的に解釈可能なモデルを使うべきだ」と主張しています。後付けの説明は、第1章で見たように「もっともらしい嘘」になりかねない。ならば、最初から中身を追跡しやすいAIを設計すればよいのです。
では、具体的にはどんなアプローチがあるのでしょうか。
一つの有力な方法は、スタンフォード大学のKohら（2020）が提案した概念ボトルネックモデル（CBM）です。これは、AIに答えをいきなり出させず、途中で人間が理解できる「概念」を必ず経由させます。たとえば関節のX線画像から「関節炎の重症度」をいきなり予測するのではなく、まず「骨棘があるか」「関節の隙間は狭いか」といった中間概念をスコア化し、その概念だけから最終診断を出します。医師が「骨棘のスコアが間違っている」と修正すれば、診断結果も変わる——AIと「概念」を通して対話できるのです。
そしてもう一つの有力な候補が、テンソルネットワーク（Tensor Network）です。
名前だけ聞くと難しそうですが、本質は意外とシンプルです。巨大な計算を小さな部品に分解して整理する「数学パズル」だと思えばよいのです。
まず、AIの内部には膨大な数字の集まりが存在します。数学では、このような多次元の数字の配列をテンソルと呼びます。
ベクトルが1次元。行列が2次元。テンソルは、それをさらに高次元へ拡張したものです。
ところがテンソルは巨大になると、とんでもない問題を引き起こします。たとえば10個の要素がそれぞれ10通りの状態を持つだけで、組み合わせは10を10回かけた10の10乗、つまり100億通りに膨れ上がります。
要素が増えると計算量は爆発します。これを次元の呪いといいます。
テンソルネットワークは、この爆発をそのまま扱いません。代わりに、「本当に重要なつながりはどこか」「どの情報はまとめられるか」「どの関係は小さな部品に分解できるか」を見つけ出し、巨大なテンソルを小さなテンソルのネットワークとして表現します。
巨大なブラックボックスを、小さなブロックの組み合わせへと分解するのです。
そしてここで、驚くべき事実があります。実はテンソルネットワークは、もともとAIのために作られた技術ではありません。そのルーツは量子物理学にあります。
物理学者たちは長年、「何百、何千もの粒子が互いに影響し合う世界をどう計算するか」という難問に挑んできました。粒子が増えるほど状態数は爆発的に増え、普通の計算では到底追いつきません。そこで考え出されたのがテンソルネットワークでした。
量子世界では、粒子同士の関係が複雑に絡み合います。一方、AIの世界でも、データや特徴量同士が複雑に相関します。もちろん、この二つはまったく同じものではありません。しかし、どちらも「巨大な関係性をどう整理するか」という数学的な問題を抱えています。
だから量子物理学のために磨かれた技術が、AIの内部構造を整理するヒントとして使える可能性があるのです。
実際、Aizpuruaら（2025）は、サイバーセキュリティの異常検知を例に、MPSと呼ばれるテンソルネットワークを使うことで、従来の深層学習モデルに近い性能を保ちながら、特徴ごとの確率、エントロピー、相互情報量などを通じて判断の構造を読み解ける可能性を示しています。
もちろん、これで全てのAIが一瞬で理解できるわけではありません。しかし少なくとも、「AIがそう言ったから」ではなく「この数理構造だからこう判断した」と説明できる未来への扉を開いています。
最先端の物理学が、最先端のAIの謎を解く。その交差点に、次世代の透明なAIへのヒントがあります。
3．数式ではなく「お絵かき」で理解する？ペンローズの魔法
「テンソルネットワークがすごいのは分かった。でも数式だらけなんでしょう？」
そう思った人に、とっておきの話があります。
実はテンソルネットワークは、お絵かきで理解できるのです。
普通のテンソル計算には、シグマ記号（Σ）が大量に登場し、添字もずらりと並びます。見ただけで頭が痛くなる数式です。ところがテンソルネットワークでは、それらを図で表現できます。
ルールは驚くほど簡単です。
- テンソル（数字のかたまり）を丸や四角で描く
- テンソルの次元を線（脚）で表す
- 計算は線同士をつなぐことで表現する
たったこれだけ。複雑な数式が、丸と線をつなぐパズルへと変わるのです。
この図でテンソルを表す考え方は、2020年にノーベル物理学賞を受賞したロジャー・ペンローズが1971年に提案したグラフィカル・テンソル表記法にさかのぼります。Taylor（2024）は、この図解表現を用いてテンソル計算を視覚的に理解する方法を紹介しています。
たとえば、丸から線が3本出ていれば3階テンソル。線同士をつなげばテンソル同士の計算。それだけで複雑な数式と同じ意味を表現できます。
重要なのは、これは単なるイラストではないということです。図そのものが数学なのです。
線をつなぐことは、対応する添字について和を取ることを意味します。線が外に伸びていれば、その情報はまだ残っています。
だから図を見るだけで、「どこで情報が混ざったのか」「どこが重要なボトルネックなのか」「どの経路が結果に影響したのか」が見えてきます。
まるで迷路の地図を手に入れたような感覚です。ブラックボックスだったAIの内部を、少なくとも一部は見える構造として扱える可能性が出てくるのです。
未来のAIエンジニアを目指すあなたへ
これからのAI開発は、大きな転換点を迎えています。
これまでは「どれだけ高い精度を出せるか」が競争の中心でした。しかしこれからは、「なぜその判断をしたのかを説明できるか」「安全性や公平性を検証できるか」が重要になります。
EUのAI法が示すように、社会はすでにその方向へ動き始めています。
未来のAIエンジニアに必要なのは、プログラミングだけではありません。
数学。物理。論理。そして複雑な世界を構造として理解する力です。
今、学校で学んでいるベクトルや行列、確率や物理法則は、実はAIの心を解き明かすための強力な武器になります。テンソルネットワークは、その冒険の入り口にすぎません。
しかし、ここで新たな疑問が生まれます。AIの頭の中を透明にするだけで、本当に十分なのでしょうか。
もしAIが透明でも、その中で差別的な判断をしていたら？ もしAIが説明できても、人間の倫理を理解していなかったら？
透明性だけでは、公平性は保証されません。
では、AIに「特定の性別や人種を差別してはいけない」という人間のルールそのものを、数式として教え込むにはどうすればよいのでしょうか。
次回は、その答えを数学と論理の視点から探っていきます。
参考文献
- European Parliament and Council. (2024). Regulation (EU) 2024/1689: Artificial Intelligence Act.
- Ribeiro, M. T., Singh, S., & Guestrin, C. (2016). “Why Should I Trust You?” Explaining the Predictions of Any Classifier. Proceedings of the 22nd ACM SIGKDD, 1135–1144.
- Lundberg, S. M., & Lee, S.-I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems (NeurIPS) 30.
- Kim, B., Wattenberg, M., Gilmer, J., Cai, C., Wexler, J., Viegas, F., & Sayres, R. (2018). Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV). Proceedings of the 35th International Conference on Machine Learning (ICML).
- Wachter, S., Mittelstadt, B., & Russell, C. (2018). Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR. Harvard Journal of Law & Technology, 31(2).
- Bordt, S., Finck, M., Raidl, E., & von Luxburg, U. (2022). Post-Hoc Explanations Fail to Achieve their Purpose in Adversarial Contexts. Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency (FAccT).
- Aizpurua, B., Palmer, S., & Orús, R. (2025). Tensor networks for explainable machine learning in cybersecurity. Neurocomputing, 639, 130211.
- Taylor, J. K. (2024). An Introduction to Graphical Tensor Notation for Mechanistic Interpretability. arXiv:2402.01790.
- Badreddine, S., d’Avila Garcez, A., Serafini, L., & Spranger, M. (2022). Logic Tensor Networks. Artificial Intelligence, 303, 103649.
- Rudin, C. (2019). Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead. Nature Machine Intelligence, 1(5), 206–215.
- Koh, P. W., Nguyen, T., Tang, Y. S., Mussmann, S., Pierson, E., Kim, B., & Liang, P. (2020). Concept Bottleneck Models. Proceedings of the 37th International Conference on Machine Learning (ICML), PMLR 119, 5338–5348.
