近年、Transformer が登場して以降の AI の進展は目覚ましく、企業はこぞって生成 AI を活用したサービス開発に乗り出し、学生のキャリア選択にも「AI に代替されにくい仕事」という観点が浸透しつつあります。日常でも、ChatGPT に触れない日はほとんどなく、わからないことがあれば AI に尋ねる――そんな風景が当たり前になりました。
しかし、その一方で課題も浮かび上がっています。私たちは AI がどのような仕組みで学習し動作するのかを概ね理解していますが、「なぜその出力になるのか」については依然として明確な説明ができません。一般にこれは「ブラックボックス問題」と呼ばれます。
人類は形式的な説明に基づき科学や文化を発展させてきました。数学の定理が成り立つ理由を定義から説明できるように、私たちは結果だけでなく、その背後にある筋道を重視します。業務上の判断であっても、「なんとなく」や「長年の経験からの肌感」という理由では納得できず、判断の根拠を求めるのが自然です。私たちは「説明できる世界」の中で生きてきた、と言えます。
それだけに、「理由は示せないが AI がそう判断したから」という未来は、社会に大きな不安をもたらします。責任の所在が曖昧になり、判断の妥当性も評価しにくくなるからです。AI が社会の基盤に深く入り込むこれからの時代、説明可能性を備えた AI（XAI: Explainable AI）をどう実現するかは、人類にとって重要なテーマとなっています。
今回、こうした課題に長年取り組んできた横浜国立大学 人工知能研究拠点 拠点長・長尾智晴 上席特別教授に、XAI 研究の現在地と今後の展望について伺いました。
インタビュー
(株)マシンインテリジェンスでの活動
( マシンインテリジェンスHP: https://machine-intelligence.co.jp/index.html )
野村「長尾さんはマシンインテリジェンスという大学発ベンチャーにて、CTOとして活動をされていますね。どのような企業か教えていただけませんか？」
長尾「JST(科学技術推進機構)の大学発ベンチャー創出推進事業に採択されて、支援を受けて2008年に起業しました。元々は成果の社会実装が目的だったのです。販売含めて細々と経営しています。NEDOから受けた支援についても３種類ほどのDNN2ENEとかGCPを画像分類の判断根拠、あと結構私が作って自信があるのが浸透学習を用いたプロダクトですね」
野村「具体的に浸透学習(PLM)とはどのような技術ですか？」
長尾「そうですね。PLM(浸透学習法）というのは簡単に言えば『学習時のみに利用できる情報を常に利用できる情報に浸透させて学習する手法』と言えます。ニューラルネットワークは入力層、隠れ層、出力層があると思うのですが、そのうちのAuxと呼ばれる部分を学習時だけ用いて、Auxとそのサブネットワークとの結合荷重を減らしていきつつ、Auxのデータが浸透したノードが変わらないように今度はmainからの重みを調整していき、最終的には運用時にはAuxの入力がなくても同様、ないしは近い結果を得ることができる技術です。
野村「なるほど…..確かに凄そうですね。たくさんの入力データを基に判断していたものが、運用時にはmainだけでよくなる。そうすると計算資源の節約にもなると思います。さらに考慮する変数が少ないということは、出力結果を説明しやすいということにもつながりそうですね。ほかにも、これはどのような利点がありますか？」
長尾「運用時に使えなくなる未来のデータを使ったり、例えばですが、学習時にAIは判断をする際には多数のセンサーを使うけど、運用時には少ないセンサーでいいようにしたりということが想定されます。例えば『人の怒り』を測定したい場合に、体温、血圧、心拍数、表情から筋肉の収縮まで様々なデータが必要だったものを、表情だけで判断できるようになる。ということも考えられますね。マルチモーダルなAIというのも複雑な話ではなくなる未来もあると思います」
長尾「入力数を減らせるということはセンサーの数を減らせるということで、これは非常に経済的です。かなり、ビジネスに直結していますね」
野村「AIというと私たちのPCでローカルに扱うことはなかなか難しいですよね。どうしてもデータセンターやGPUサービスに頼るということがあります。しかし、入力や計算資源をうまく節約すれば、スタンドアローンにできたりしますかね。小さくできるというのはどのぐらい小さくできるのですか」
長尾「処理の内容によってはスタンドアローンにできます。具体的には入力が２５００個だったものが浸透学習によって３５まで減らしたり１０個以下に減らしても精度が落ちないことが最近はわかってきて、かなり圧縮できていますね」
野村「お話を聞いていると、人間の脳のシナプスに近い動きをしているんですね。だんだん使わない結合が切れて簡略化されていくみたいな雰囲気です。運用の中でどんどんオプティマイズされて考慮することが減っていくというか、、、」
長尾「なるほどです。もともと人間の脳が着想にあるので当然PLMも人間の脳から着想を得ています。ニューラルネットワーク自体がまさにそうですね。その中でも浸透学習は多くの企業様からお声がかかっていて自信をもって世界初の技術と私たちは感じています」
八百万AIについて
長尾「私が思うところとしては、説明が可能なAIの存在によってAIに対する信頼が高まりAIと人間の共働を促進できると考えています」
野村「確かに、社員に『なんでこうしたの？』って聞いて説明されなければ意思決定をしようにも会社内ではできないですよね。私もXAIである必要は業務上避けられないと思います
長尾「つまり、XAIが発展すれば『AI社員を業務に利用する』という社会実装、AIとの共生は進むと考えています。例えばベテランの職人技のデータを収集して再現をする。そして社員をAI化すれば色々なAI社員が生まれてくるのかなとも思います」
野村「そうですね」
長尾「私は今八百万AIという概念を提唱しているのですが、つまり、こうやって様々な学習をした多様なAIがいることで、意思決定に強力なAIの意見が一つあり人がそれに従属するという形ではなく、まずはAIが多数決をとってそれぞれの専門値を持ったAIが納得のいく回答をしてトップダウンではなく人間の専門知からボトムアップでAIによる意思決定をしていくという考え方ですね。日本的で馴染みやすいかなと思い、最近はこのようなことを提唱しています」
野村「確かに勝手にディストピア小説の世界の様に押し付けられるよりも健全そうですし、様々な意見を尊重するというのは社会的で良いですね」
人工知能研究拠点での取り組み
(人工知能研究拠点HP: https://machine-intelligence.co.jp/index.html)
野村「長尾さんが拠点長をされている人工知能研究拠点ではVRから医療までいろんな研究をしているなと思ったのですが、人工知能研究拠点全体としてのコンセプトをお聞かせください」
長尾「人工知能の研究は理論的な部分から手法の開発とか実用システム、そういうの全部やる研究拠点ではあります。ただそうすると他大学と変わらないので、進化的機械学習に強いというところに特徴を持たせています。人とAIの共生がかなり理念の中心にあります。テキストの処理や言語処理やメカトロニクス、医学もそうですが、分野横断的で広いのが特徴ですかね。深層学習一辺倒ではなく、使う立場になって、AIを研究しているというところが特色です」
野村「なるほどです。確かに仕事で生成AIを使わない日は僕はないかもです。日常生活でもAIのサジェストを商業施設で受けていたりエージェントに道案内をしてもらっていますし、共生というのは非常に重要なテーマですね」
長尾「拠点のＨＰには、『人と共に進化し共生できるＡＩの創出』というのがあり、ロジカルなすごいものを作るのではなくて人が中心というのを考えています」
野村「なるほどです。確かにVRや医療の研究が多いのも人間生活との関わりにAIが、介在して、そして、人とともにAIが進化を促進させそうな技術ですね」
長尾「AIを使う立場になって、AIを研究しているのが特色ですかね」
深層学習の登場で時代が一変？
野村「例えば、なのですが僕は「アンドロイドは電気羊の夢を見るか」という小説が好きなのですが、巷では『ＡＩと人間の違い』みたいな議論がよくなされていますね。ただ本当に見分けがつかなくなるのって、まだまだかなり先かなと思うんです」
長尾「そうですね。ここまでくると、かなり先の話ですかね」
野村「多くの企業や大学がこぞって研究をしている、最近のＡＩの進化の中で研究者として驚いたことは何かありますか？」
長尾「量子コンピュータの技術的進歩は目を見張るものがありますが、AIについては、まだまだハードウェアの進歩を待っている雰囲気はあり、それはもっと先の話なのでは？とは思います。人の身体がなくてもしゃべればできる仕事は置き換わるのかなと思いますね」
野村「確かにそうですね。僕も自分の業務の何割かはAIがやってくれていて生産性が高いだけで僕自身は、、、と悩むことがあります。最終的に人間にはどのような仕事が残るんだろう、と考えたりもします」
長尾「人間の仕事は何が残るのか、という質問はかなり難しいですね。どうＡＩと付き合うのかについても一つの意見があるわけではなくて、かなり難しいなと思います。昔は創作は人間の力でしたがＡＩが作ったものが賞をとったり動画もあふれてますし、なかなか難しいですね」
野村「かなりお答えいただくのが難しい質問かと思いますが、AIによって労働から解放されると思いますか？それとも人間は仕事を失うと思いますか？」
長尾「確かに、一概には言えないですね。例えば、仕事が生きがいの人もいますが、かたや西洋では労働というのは罰という価値観もあります。わからないですが、共存共栄できるのが一番いいんですが……そこが難しいですね」
近年大盛り上がりのAI
野村「これだけＡＩが盛り上がっているのはどのような事情があるのですか？」
長尾「深層学習でできることが多いように見えることがわかってしまったのがあると思います。これでブームになってビジネスや他分野の方の目を惹いたんじゃないかなと思っています」
野村「確かにそうですね。それまで関心の外側でしたが、論文を読むときにDeepLを使って昔感動した覚えがあります。あの時は衝撃でした」
野村「私たちの会社でもかなりの数の社員がAIをうまく使って業務をしています。例えば大学とかだと、仄聞するところですと、レポートの不正や、LLMを使って授業内容を要約させて授業中寝ているといった話を結構聞くのですが、学生のAIの使い方についてどのようにお考えですか？」
長尾「オフィシャルとして、自分の頭では考えなさいとは言うのですが、技術の進歩とそれを使うという行為は止められないですね。そもそも論としてツールとして便利なものは使うべきとは思います。ただ、自分自身でAIの出力が間違っているかどうかをちゃんと調べる必要はあると思います。
長尾「いろんな意見があるのですが、私として一番恐ろしいのはこのような不正ではないです。むしろChatGPTにフィルタリングされて、それでChatGPTの意見になってしまうというのは危険かなと思います。自分が思ってもないのに洗脳されるのが怖いなと。具体的なハッキングはないのですが、AIの危機ってAIを壊されるとかではなく、AIを通して思想を制御される可能性があり、だからこそ説明可能である必要があるかなと思います」
野村「AIになんでそう思うの？って聞ければいいんですけれど、そうはいかないですし、説明可能であることは重要ですね」
野村「AIが面白い使われ方をしている。AIが浸透していると研究の世界や教員として感じる瞬間はありましたか？」
長尾「そうですね。大学の教員としてですと、『ChatGPT』を使って解きなさいって問題を作って、アウトプットを見てもらってわざと学生に使わせてみるということを講義の中でしたことはありますね」
長尾「昔は材料開発の人たちは、『なんでこのような結果を生むのか説明可能ではない。そんな得体の知れないものは使えないよ』と言ってたのに、最近はマシンインフォマティクスという単語がある通りちゃんと使われていますね。AIは色んな事にシナジーがあります」
野村「長尾さんの長い研究生活の中で、このような人工知能のブームや人々の受け入れられ方が変わっていく様子をどのようにとらえられていましたか？」
長尾「だいぶ昔の話になりますが、もともと私は画像処理の研究をしていて、特に画像処理でもAIが便利だという話になっていって今や多くの画像認識はAIが使われていますね」
野村「確かに、画像のクラスタリングとかはここ数年でよく聞くようになりましたね。最初に画像解析とかの研究をしようと思われたきっかけを教えてください」
長尾「小学生のころアニメがかなり好きで、例えば鉄人２８号とかアトムとか、、、特撮とかだとサンダーバードを見て『科学ってすごい！科学者になろう』って思って、そのまま教授になったというところです」
長尾「そういう兼ね合いで最初はロボットを作りたかったけど、『ハードよりもメインは脳だな』と思って、あとは結果が分かりやすい……ミーハーなんですが、目に見えて面白いから画像解析の道に進みましたね」
野村「僕もアニメとか漫画の影響はあったと思います。最初のあこがれってきっとそうなんですかね」
長尾「この大学の先生でもガンダムが好きって人がいましたね。なんですかね……ロマンティストが多いんですかね。この業界は(笑)」
野村「こういう好奇心って案外そういう場所から生まれるのかもしれないですね。しばらくしたら、コードギアスやエヴァンゲリヲンの影響で…という方も出てきそうですね（笑）」
野村「例えば、そういう好奇心を持つ方。例えば、理系の高校生や情報学科の学部生で人工知能に関心のある人でおすすめの本とかありますか？」
長尾「レイ・カーツワイル著「ポスト・ヒューマン誕生」ですかね。コンピュータが人の知能を越えるシンギュラリティの可能性について，遺伝子工学、ナノテクノロジー、ロボット工学、AIなどの広い観点から論じられています」
長尾「最近という話だと、画像処理が脳の処理と同じで脳のことを研究したり医学をしたり色々していましたね。人工知能って非常に広い概念ですもんね。昔は画像処理の手法で色んな研究が分かれていたのですが」
野村「最近はAIブームですね。私からすると非常に急進的にディープラーニングブームが１０年前からきていると感じています。強化学習の開発者が最近チューリング賞をとりましたね」
長尾「実は、ニューラルネットワークも強化学習も昔は『なんでそんなことやってるの』って感じだったんですよ。昔は人工知能と言えば特徴量は研究者の頭で考えたり、形態素解析の場合はロジカルに文法を考えるというものでした」
長尾「ただニューラルネットワークができてから時代が一変しました。『入力があって適切な出力が出ればそれがもう処理だよね』という風になり、昔は例えば自動車の画像認識とかですと、自動車の特徴量を人間が考えてやっていたのですが、いくつも層を増やしてディープラーニングをするという発想の転換が起きました。そうすると、入力と出力のつじつまを合わせるものになり、急に発展したような気がしますね。結果オーライで合ってるでしょ。という発想の転換です」
長尾「昔みたいにちまちま人間が特徴量を考えるのは時代遅れで構文解析とか要約も昔は研究分野として分かれていたのですが、『全部言語モデルじゃん』ってなってすべてがLLMで済むようになりましたね。ビッグデータの賜物ですね。人間が色々考えるのではなく、凄く巨大な辞書を持ってきてそれで解決したようなものです。ここで時代が一変しましたね」
野村「今までは人間が車の特徴量とか慮ってたんですけど、巨大なコーパスから持ってきて出力さえ合っていればいいという発想の転換があったんですね。最初のアルゴリズム型では人間が特徴量を考えていたので説明ができていたものが説明が難しいものになっていたのですね」
長尾「そうですね。そういう面からも、これから企業の意思決定にしても何にしても説明が可能であるということはAIとともに生きていくうえで重要なことだと私は考えています」
【編集部後記】
精度99%のAIモデルが存在したとしても、そのアウトプットに至るプロセスが見えなければ、企業の意思決定者はそれを採用できません。なぜその判断に至ったのか。どの要因が決定的だったのか。偏りはないのか。この問いに答えられない限り、AIはどこまでいっても「参考情報」の域を出ることはないのではと感じました。
XAI(説明可能AI)が求められる理由は、技術的な課題というよりも、むしろ人間の認知と組織の論理に深く関わっています。CFOは株主に、医師は患者に、人事担当者は候補者に、それぞれ説明する責任を負っているのです。AIを活用したとしても、この説明責任そのものがなくなるわけではありません。
こうした背景を考えると、XAIの開発は技術的な選択肢の一つというよりも、AIが本格的に高度な業務領域に入り込んでいくために避けては通れない道筋だと言えるでしょう。ChatGPTのような対話型インターフェースの進化ももちろん大切ですが、それ以上に重要なのは「意思決定のプロセスが見える」という、より根本的な信頼関係を築くことではないでしょうか。
長尾先生の論文情報をこちらに記載します。今回は取材に協力して下さりありがとうございます。
[1] 柳元美玖，長尾智晴：「学習時のみに使用可能な情報を浸透させるニューラルネット」，情報処理学会 第115回 数理モデル化と問題解決研究会，北海道大学，2017年9月25日–26日（2017）．
[2] Miku Yanagimoto, Chika Sugimoto and Tomoharu Nagao: “Frequency Filter Networks for EEG-based Recognition,” Proceedings of the 2017 IEEE International Conference on Systems, Man, and Cybernetics (SMC 2017), No.347, Banff, Canada, Oct. 5–8 (2017).
[3] Kazuki Takaishi, Masayuki Kobayashi, Miku Yanagimoto and Tomoharu Nagao: “Percolative Learning: Time-Series Predictions from Future Tendencies,” Proceedings of the 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC 2018), Miyazaki, Japan, Oct. 7–10 (2018).
[4] 渕上淳子，長尾智晴：「バルチック海運指数の予測に対する浸透学習法の提案」，日本船舶海運工学会論文集，第33号，pp.199–207（2021）．
[5] Masayuki Kobayashi, Shinichi Shirakawa and Tomoharu Nagao: “Auxiliary Data Selection in Percolative Learning Method for Improving Neural Network Performance,” Proceedings of the 14th International Conference on Agents and Artificial Intelligence (ICAART 2022), Vienna, Austria (online), Feb. 3–5 (2022).
また、長尾先生の単著で「説明可能AI入門」がコロナ社にて出版されます。現代の社会において「説明可能AI」の重要性はさらに増しています。目次を見る限り、AIの仕組みからXAIに話題が移っていき「入門書」として非常に丁寧な構成です。
