NEC、スマホ映像だけで最短約1分─AIで不要物を自動除去し高精細3Dモデル、慶應AIセンターとの共同研究成果

作業員が歩き回る稼働中の現場を、スマホでただ撮る。それだけで、人も余計な物も自然に消えたクリーンな3Dモデルが最短1分ででき上がる——NECが見せたのは、そんな軽やかな未来です。「専用機材が要る」という長年の常識を、手元の一台がどこまで置き換えていくのか。わくわくしながら、その先を覗いてみたくなります。


NECは、慶應AIセンターとの共同研究成果として、スマートフォンなどの汎用カメラで撮影した映像のみから、独自AIで不要な被写体を自動除去し、高精細な3Dモデルを最短約1分で生成する技術を開発したと2026年7月14日に発表しました(世界初はNEC調べ)。

ガウシアン・スプラッティングと独自AIを組み合わせ、映像の複雑さに応じて粒の密度を最適化することで、従来のガウシアン・スプラッティングと比べ生成時間を10分の1(NEC発表値)に短縮しています。生成過程では映り込んだ作業員や一時的な物体を検出・除去し、周囲映像から背景を補完。生成した3Dモデルはパソコンやタブレットで閲覧できます。NECはインフラ事業者や建設業でのデジタルツイン導入促進や人材不足の解消などに貢献するとし、2027年度中の実用化を目指します。

From: 文献リンクNEC、世界で初めて、汎用カメラの撮影映像のみから、独自AIで不要な被写体を自動除去し、高精細な3Dモデルを高速生成する技術を開発

【編集部解説】

「スマホで撮った動画から、最短1分で現場の3Dモデルができる」——今回NECが発表した技術を一言でいえば、そういうことになります。ただ、この技術の本当の面白さは「速さ」だけではありません。

まず押さえておきたいのが、ベースとなっているガウシアン・スプラッティングという技術です。

これは2023年8月に代表的な論文が公開されて以降、研究と商用実装が広がった3D復元手法で、空間を「広がりを持った無数の粒(ガウシアン)」の集まりとして表現します。従来のポリゴン(面)で組み立てる3Dモデルと違い、ケーブルや電線、反射する金属面、細かな部品といった「表現が難しいもの」を高精細に再現できるのが強みです。

いま、この技術をインフラ点検やデジタルツインに応用する動きは、着実に広がっています。海外では、Bentley Systemsがガウシアン・スプラッティングをリアリティキャプチャ製品「iTwin Capture」に統合しています。Cesiumも自社プラットフォームに対応させ、通信鉄塔の保守や電力設備・変電所の点検を想定用途に挙げています。つまりNECの発表は、突然変異ではなく、世界的な潮流のなかにある一手として読むのが正確です。

そのうえで、NECの技術が「どこを解いたのか」を見ると、独自性がはっきりします。

ポイントは大きく二つ。ひとつは「粒の配置の最適化」です。

ここは少し丁寧に見る必要があります。実は、粒の密度を状況に応じて調整する「適応的密度制御」は、2023年の原論文の時点ですでに導入されており、その後も活発に研究が続くテーマです。NECが独自技術として挙げるのは「密度制御を初めてやった」ことではなく、映像の「見た目の複雑さ」を独自AIで解析し、複雑な部分は密に、単調な部分は間引くという配置の最適化によって、生成時間を従来比10分の1(NEC発表値)、最短1分ほどにまで縮めた点です。なお、この短縮率の比較対象となった実装やハードウェア、品質指標は公開資料では明示されていません。

もうひとつが、innovaTopiaとして最も注目したい「不要な被写体の自動除去」です。

現場を撮影すれば、当然そこには作業員が歩いていたり、一時的に置かれた道具や車両が映り込んだりします。こうした不要物が映り込むと、従来の3DGSでは再構成品質が低下する場合があり、人物や車両などを自動的に除外する研究も2024年ごろから複数提案されています。NECの技術は、これを生成の過程でAIが自動検出・除去し、消した部分の背景を周囲の映像から補完する仕組みを、実用化を見据えた処理に組み込んだ点に意味があります。

なぜこれが効いてくるのか。「現場を止めずに撮れる」可能性が開けるからです。

高価な専用撮影機材を用意し、作業を中断して撮影する——こうした準備や停止時間は、デジタルツイン導入の障壁の一つでした(もっとも、データ統合や継続的な更新、人材、標準化といった障壁も別に存在し、撮影の手間だけが「最大の壁」というわけではありません)。稼働したままスマホで撮り、人や余計な物が自動で消えたモデルが手に入るなら、導入の入り口はたしかに下がります。技術の力点が「高精細さ」から「現場での使い勝手」へと移りつつある——ここに発表の本質があると、編集部は見ています。

もっとも、冷静に見ておくべき点もあります。

ガウシアン・スプラッティングは「見た目の再現(ビジュアル)」に強い一方、正確な寸法や測量が必要な用途では幾何精度に課題が残ることが研究で指摘されており、LiDAR情報を統合して精度を補う研究が進んでいます。つまり「見て把握する」用途と「測って判断する」用途は、まだ地続きではありません。NECの技術がリモート点検でどこまで”判断の根拠”に足る精度を担保できるか。発表資料には絶対寸法の精度や誤差率が示されておらず、ここは実用化に向けた見どころになりそうです。

また「不要物の自動除去」は便利な反面、「何を消すか」の判断をAIに委ねることでもあります。点検の文脈では、消してよい一時的な物と、記録すべき異常物との線引きが問われる場面も出てくるでしょう。除去の確認機能や原映像の保存といった運用面がどう設計されるかは、公開資料からはまだ読み取れません。

視座を引くと、この技術が向かう先はもっと広いはずだ、というのが編集部の見立てです。

NECが当面掲げる対象は電力インフラや建設現場ですが、撮るだけで空間がデジタル化され、余計なものが消え、PCやタブレットで開ける——この体験は、災害現場の記録、文化財のアーカイブ、店舗レイアウトの検討といった領域にも応用の余地があります(これらは発表された用途ではなく、あくまで将来的な可能性です)。

NECが掲げる実用化は2027年度中。ビジュアルコンピューティング分野を長年研究してきた斎藤英雄氏(慶應義塾大学 理工学部 教授)との共同研究という座組みも含めて、「空間をコピー&ペーストする」時代の実装がどこまで進むのか、追いかける価値のあるテーマです。

【編集部後記】

胸が高鳴るのは、この技術が「誰が3Dを作れるか」の扉を大きく開こうとしている点です。これまで高価なスキャナと専門知識がなければ届かなかった空間のデジタル化が、稼働を止めずスマホひとつで手に入るなら、現場に立つ人たちの負担は確かに軽くなります。

しかも消したい人や物をAIがそっと除いてくれるという心配りまで効いている。電力や建設の現場から始まって、この体験がどんな場所まで届いていくのか。2027年度の実用化に向けて、次にどんな現場がこの一台で変わるのか、今から楽しみでなりません。


【用語解説】

デジタルツイン
現実の設備や現場を仮想空間上に再現し、監視・点検・シミュレーションに用いる技術・考え方。代表的な定義では、単なる3D形状だけでなく、物理対象とのデータ接続や継続的な同期・更新までを含むとされる。今回のNECの技術は、そのデジタルツインを構築する「基盤となる3Dモデル」を手軽に作る手段のひとつにあたる。

ガウシアン・スプラッティング(3D Gaussian Splatting / 3DGS)
空間を、広がりを持った無数の「粒(ガウシアン)」の集まりとして表現する3D復元技術。三角形メッシュを使う従来手法とは異なり、ケーブルや反射面、細かな部品といった再現の難しい対象も高精細に表せる。2023年8月の論文公開以降、研究・商用実装が広がった。

粒(ガウシアン)
ガウシアン・スプラッティングで空間を構成する要素。位置・形状(共分散)・色・不透明度といった情報を持つ「ぼんやりした点」で、これを大量に集めて立体を形づくる。NECの技術は、この粒を映像の複雑さに応じて密にしたり間引いたりして最適化する点を独自技術としている。

FM-Base(エフ・エム・ベース)
NECファシリティーズが千葉県我孫子市のNEC我孫子事業場に開設し、2024年5月に稼働を開始した施設管理人材の研修・研究開発センター。半導体工場で使われる実機設備を備え、熟練技術者のノウハウ伝承とDX実証を担う。今回のプレスリリースでは、技術検証に使う撮影映像の舞台として登場する。

【参考リンク】

慶應AIセンター(慶應義塾大学 KGRI)(外部)
慶應義塾大学が、CMUとのパートナーシップに基づき研究メンバー企業9社と設立したAI研究拠点。本技術の共同研究元で、センター長は杉浦孔明教授。

斎藤英雄 研究者情報(慶應義塾大学)(外部)
本技術を共同研究した慶應義塾大学理工学部教授・斎藤英雄氏の業績ページ。3次元モデル復元などを手がける。

KAKEN 研究者情報:斎藤英雄(国立情報学研究所)(外部)
斎藤英雄氏の所属・専門分野・研究課題を確認できる公的データベース。所属は慶應義塾大学理工学部教授と記載。

3D Gaussian Splatting 公式プロジェクト(Inria)(外部)
本技術の基盤となるガウシアン・スプラッティングの原論文プロジェクトページ。手法の原理や適応的密度制御を確認できる。

NECファシリティーズ株式会社(外部)
FM-Baseを運営するNECグループの施設管理会社。全国の工場・施設管理の受託を手がける。

【参考記事】

Gaussian Splatting Reality Capture for Digital Twins(Bentley Systems)(外部)
Bentleyがガウシアン・スプラッティングをiTwin Captureに統合した動きを紹介。世界的な潮流を示す事例。

Introducing 3D Gaussian Splats with Hierarchical Level of Detail Using 3D Tiles(Cesium)(外部)
3DGSの通信塔保守・変電所点検などの用途と、大容量化への圧縮・LOD対策を技術的に解説する記事。

LI-GS: Gaussian Splatting with LiDAR Incorporated(arXiv)(外部)
画像ベース3DGSの幾何精度の課題と、LiDAR統合による改善手法を提案する研究。「見る」と「測る」の違いを示す。

Improving Adaptive Density Control for 3D Gaussian Splatting(arXiv)(外部)
粒の密度を適応的に制御する手法の改良研究。密度制御が原論文以来の継続テーマであることを示す。

AI Bridge Surveys & Digital Twins(Bentley Systems)(外部)
Bentleyによれば、1,000超の橋梁の評価が必要となった米ケンタッキー州のプログラムで橋梁の測量時間を90%削減した事例。

Googleで優先するソースとして追加するボタン
投稿者アバター
山本 達也
『デジタルの窓口』代表。名前の通り、テクノロジーに関するあらゆる相談の”最初の窓口”になることが私の役割です。未来技術がもたらす「期待」と、情報セキュリティという「不安」の両方に寄り添い、誰もが安心して新しい一歩を踏み出せるような道しるべを発信します。 ブロックチェーンやスペーステクノロジーといったワクワクする未来の話から、サイバー攻撃から身を守る実践的な知識まで、幅広くカバー。ハイブリッド異業種交流会『クロストーク』のファウンダーとしての顔も持つ。未来を語り合う場を創っていきたいです。