ChatGPTやGeminiのようなLLMを「頭脳」として搭載するロボットが、対話や状況判断の面で急速に賢くなっています。ただし、ロボットが人や物のそばで実際に動くとなると、賢さだけでは足りません。AIの応答が遅れたり、判断がぶれたりしても、止まるべきときに確実に止まる仕組みが必要です。この「賢さ」と「安全」を意図的に切り分ける設計思想を、埼玉県のロボットシステムインテグレーターが打ち出しました。
8月13日に明らかになったのは、アトラックラボ（埼玉県三芳町）が展開するロボットAIプラットフォーム「AT-SYNAPSE」を支える制御システム「AT-ROS」の安全設計だ。
AT-SYNAPSEはChatGPT、Claude、Geminiなどの大規模言語モデル（LLM）をロボットの「頭脳」として活用し、対話を通じて周囲の状況を理解・判断する。一方のAT-ROSはROS 2ベースの実機制御基盤で、センサー情報の取得やモーター制御、障害物検知時の走行停止などをリアルタイムに処理する。アトラックラボは「安全に関わる制御はAIに依存しない」との方針のもと、AIの判断とAT-ROSによる安全制御を明確に分離。AIの応答状況にかかわらず、安全機能が継続して働くアーキテクチャを構築したとしている。
From: 
「安全に関わる制御はAIに依存しない」 ― AT-SYNAPSEを支えるAT-ROSの安全設計
【編集部解説】
AIによる判断と、安全に直結する制御を分離するという発想自体は、ロボティクスや自動車の世界では新しいものではありません。国際規格ISO 13849-1は、機械の制御システムのうち安全に関わる部分について、故障が起きても安全機能が維持されるよう、冗長化や監視機構を備えた設計を長年求めてきました。産業用ロボットの世界では、安全柵や非常停止といった「安全関連部」を、通常の制御ロジックとは独立した回路として組むことは、いわば業界の基本設計思想です。
自動車の世界でも構図は似ています。先進運転支援システム（ADAS）がどれほど高度な認識・判断を行っても、ブレーキやステアリングそのものを制御する安全系は、認識AIの出力を鵜呑みにせず、独自の監視・介入ロジックを持つのが一般的です。判断を担う層と、物理的な安全を担保する層を分けるという発想は、ロボット固有のものではなく、自動化された機械全般に共通する設計思想だと言えます。
その意味で、アトラックラボの「安全に関わる制御はAIに依存しない」という言葉自体は、機能安全の考え方に忠実な原則の言い換えとも言えます。新しい技術というより、既にある原則の再確認です。重要なのは、その原則が今、どこに向けて発せられているか、という点です。
LLMをロボットに載せると何が起きるか
ここ数年、ChatGPTやGeminiのようなLLMを「頭脳」として搭載するロボットが急速に増えています。1X TechnologiesのNeo、Figure AI、UBTech、Xiaomiなどが、家庭や職場で人と接するロボットを相次いで発表・出荷しつつあります。
一方で、こうしたLLM搭載ロボットの安全性そのものを問う研究も出てきました。カーネギーメロン大学と英キングス・カレッジ・ロンドンの研究チームが発表した調査では、複数の主要なLLMをロボットの判断エンジンとして使わせたところ、テストしたすべてのモデルが重大な危害につながりかねない指示を少なくとも1件承認してしまったと報告されています。車椅子や杖といった移動補助具をユーザーから取り上げる、という指示さえ、複数のモデルが「問題ない」と判断したといいます。
この研究が指摘しているのは、LLMの「賢さ」の欠如ではありません。LLMは開かれた自然言語の指示を柔軟に解釈できる一方、その柔軟さゆえに、安全上決定的な判断まで一貫して確実にこなせる保証がない、という構造的な問題です。研究者の一人は、有害な指示を拒否したり別の対応に振り替えたりすることは不可欠だが、今のロボットにそれを確実にこなす能力はない、と指摘しています。この指摘は、AT-SYNAPSEのようにLLMを「頭脳」として使うアーキテクチャ全般に当てはまる、一般的な注意点として読むことができます。
認証・規格はどこまで追いついているか
技術的にもう一点触れておきたいのが、AT-ROSの土台であるROS 2そのものの位置づけです。ROS 2は産業用途にも耐えるよう設計が強化されてきたオープンソースのロボット向けミドルウェアですが、ROS 2単体が機能安全の認証を取得しているわけではありません。産業用・医療用ロボットを商用化する際には、機能安全規格に対応したリアルタイムOSと組み合わせる構成が実務でも選ばれつつあると、BlackBerryなどリアルタイムOSベンダーは説明しています。安全に関わる部分を独立させる設計自体が、業界的にも一定の必然性を持つ選択だとわかります。
裏を返せば、LLM搭載ロボットが今後、工場や公共空間といったより人に近い環境へ展開されていくほど、安全に関わる部分がどのような規格・認証プロセスに基づいて検証されているかが問われる場面が増えていくはずです。「AIに依存しない」という言葉を、単なる方針表明で終わらせず、どの規格・どの検証プロセスに沿って実装しているかまで開示していくかどうかが、今後この種のプレスリリースを読み解く上での分かれ目になっていくでしょう。アトラックラボは、ロボットの状態を専用のWebコンソールで可視化する仕組みも用意しているとしており、こうした状態の見える化は、外部からの検証や信頼構築のための一歩として位置づけられます。
この分離の発想が今後どこまで業界標準として定着するかは、まだ見通せません。ただ、サービスロボットや案内ロボット、自律搬送ロボットが職場や街中に増えていく中で、「このロボットの安全機能はAIの調子に左右されないか」という問いは、消費者や導入企業にとっても徐々に無視できないものになっていくはずです。
ロボットの「賢さ」を語るプレスリリースは今後も増え続けるでしょう。しかし、その裏側でどのように安全が担保されているのかという、地味だが本質的な設計思想にも、同じだけの関心が向けられてよいはずです。今回の発表は、単なる技術紹介としてではなく、LLM搭載ロボットの安全設計をめぐる議論の一つの実例として読むことができます。
【関連記事】
AT-SYNAPSE Web Console／Brain on Desktopとは？AIロボットの認識・判断をリアルタイム可視化
アトラックラボは7月にも、AIロボットの思考プロセスを可視化する「AT-SYNAPSE Web Console」を発表しており、開発・検証のしやすさにも力を入れています。
セルロースファイバー製ドローンをアトラックラボが開発。国産化率3％の日本が選んだ「直せる機体」
同社は7月にも、修理のしやすさを重視したセルロースファイバー製ドローンを発表しており、「壊れる前提の設計」を重視する姿勢が一貫しています。
【編集部後記】
この言葉は、目新しい発明というより、機械の安全設計が積み重ねてきた原則の再確認です。ただ、その原則がLLM搭載ロボットという新しい対象に向けて改めて語られていること自体に、私は注目しています。ロボットの「賢さ」を伝えるニュースの裏側で、安全がどう設計されているかにも目を向けていきたいと思います。
【用語解説】
LLM（大規模言語モデル）
大量のテキストを学習し、自然な対話や高度な推論を可能にするAIモデル。ChatGPT、Gemini、Claudeなどが該当。
MCP（Model Context Protocol）
LLMエージェントが外部のツールやシステムと連携するための標準プロトコル。
ROS 2（Robot Operating System 2）
ロボット開発向けのオープンソースミドルウェア。センサー・アクチュエーターの制御やプロセス間通信を担う。
3D LiDAR
レーザー光の反射を利用し、周囲の物体までの距離や形状を3次元的に計測するセンサー。
ISO 13849-1
機械の制御システムのうち安全に関わる部分（安全関連部）の設計要件を定めた国際規格。故障時にも安全機能が維持される構造を求める。
AMR（自律搬送ロボット）
周囲の状況を認識しながら経路を自律的に判断して移動する搬送ロボット。
UGV（無人車両）
人が搭乗せず、遠隔操作または自律制御で走行する車両。
【参考リンク】
株式会社アトラックラボ 公式サイト（外部）
「AT-SYNAPSE」「AT-ROS」を開発する、埼玉県三芳町のロボットシステムインテグレーターの公式サイト。
ROS 公式サイト（外部）
AT-ROSの基盤であるROS 2を含む、ロボット開発向けオープンソースソフトウェアの公式サイト。仕様・開発文書を掲載。
Model Context Protocol 公式サイト（外部）
AT-SYNAPSEが対応するLLMエージェント連携の標準規格MCPの公式サイト。仕様や対応実装を掲載。
1X Technologies（NEO）（外部）
LLMを搭載した家庭用ヒューマノイドロボット「NEO」を開発する企業の公式サイト。
LLM-Driven Robots Risk Enacting Discrimination, Violence, and Unlawful Actions（arXiv）（外部）
編集部解説で紹介したカーネギーメロン大学・キングス・カレッジ・ロンドン共同研究の論文。
ISO 13849-1の解説（JQA）（外部）
機械の安全関連制御システムの国際規格をわかりやすく解説する記事。
【参考記事】
Robotic Safety Matters — Communications of the ACM（外部）
1X・Figure AI・UBTech・Xiaomiなど、LLM搭載ロボットの商用化動向をまとめた記事。
Robots powered by popular AI models risk encouraging discrimination and violence — King’s College London（外部）
カーネギーメロン大学・キングス・カレッジ・ロンドン共同研究の公式プレスリリース。
Popular AI models aren’t ready to safely power robots, study warns — TechXplore（外部）
同研究における具体的な承認事例の報道。
LLM-powered robots are prone to discriminatory and dangerous behavior — PsyPost（外部）
研究者コメントを含む解説記事。
QNXはROS 2ベースの産業用ロボットの商用化に最適、BlackBerryがアピール — MONOist（ITmedia）（外部）
ROS 2と機能安全対応リアルタイムOSの組み合わせに関する実務動向。
