Last Updated on 2024-06-19 03:42 by admin
スタンフォード大学、カリフォルニア大学バークレー校、トヨタ研究所、Google Deepmindなどの研究機関の研究者たちは、OpenVLAというオープンソースの視覚言語アクション(VLA)モデルを紹介した。このモデルは、実世界のロボットデモンストレーションの多様なコレクションで訓練され、ロボティクスタスクにおいて他の類似モデルを上回る性能を示す。OpenVLAは、複数のオブジェクトを含むマルチタスク環境での一般化に簡単に微調整できる。また、消費者向けGPUで実行し、非常に少ないコストで微調整するための最適化技術を活用するように設計されている。
OpenVLAは、Prismatic-7B視覚言語モデルを基に構築された7BパラメータのVLAであり、入力画像から特徴を抽出する2部構成の視覚エンコーダと、言語指示を処理するLlama-2 7Bモデルを含む。このモデルは、ロボットの操作軌跡970,000件を含む大規模なデータセットでPrismaticモデルを微調整し、ロボットアクションにマッピングできる特別なトークンを出力するように設定されている。
研究者たちは、OpenVLAが55BパラメータのRT-2-Xモデル、以前の最先端VLAをWidowXおよびGoogle Robotの実装で上回ることを発見した。また、7つの操作タスクにわたるVLAsの効率的な微調整戦略を実験し、微調整されたOpenVLAポリシーが微調整された事前訓練ポリシーを上回る性能を示した。
研究者たちは、OpenVLAをオープンソース化し、VLAsの大規模な訓練に使用できるモデル、デプロイメントおよび微調整ノートブック、OpenVLAコードベースを提供した。このライブラリは、個々のGPUでのモデル微調整と、マルチノードGPUクラスターでの十億パラメータVLAsの訓練をサポートし、現代の最適化および並列化技術と互換性がある。
【ニュース解説】
スタンフォード大学、カリフォルニア大学バークレー校、トヨタ研究所、Google Deepmindなどの研究機関が共同で開発したOpenVLAは、ロボット技術における大きな進歩を示しています。このオープンソースの視覚言語アクション(VLA)モデルは、実世界のロボットデモンストレーションの広範なデータセットで訓練され、ロボティクスタスクにおいて他のモデルを上回る性能を発揮することが確認されました。
OpenVLAの特徴は、複数のオブジェクトを含むマルチタスク環境での一般化能力にあります。これは、ロボットが様々なタスクを柔軟にこなすことができるようになることを意味します。例えば、テーブルの拭き掃除から、特定のオブジェクトのピックアンドプレースまで、さまざまな指示に基づいてロボットが行動を選択し、実行することが可能になります。
また、OpenVLAは消費者向けGPU上で効率的に動作し、微調整のコストを大幅に削減する最適化技術を活用しています。これにより、より多くの企業や研究機関が高度なロボティクスモデルを利用しやすくなり、ロボット技術の発展と普及が加速されることが期待されます。
OpenVLAのオープンソース化は、ロボティクス分野における研究と開発の基盤を豊かにすることを目的としています。これにより、研究者や開発者は、VLAsを新しいロボット、環境、タスクに適応させるためのベストプラクティスを共有し、進化させることができます。
しかし、この技術の普及には、セキュリティやプライバシーの懸念、技術的な課題、規制の必要性など、様々な側面を考慮する必要があります。例えば、ロボットが個人の生活空間で活動する場合、データの収集と処理に関する透明性と倫理が重要な問題となります。また、ロボットの自律性が高まるにつれて、予期せぬ行動や事故に対する安全対策も強化する必要があります。
将来的には、OpenVLAのようなモデルがさらに進化し、ロボットが人間とより自然に協働できるようになることが期待されます。これにより、製造業から介護、家事支援まで、幅広い分野でのロボットの活用が進むことでしょう。しかし、そのためには、技術的な進歩だけでなく、社会的な受容性や倫理的な基準の確立も同時に進める必要があります。
from OpenVLA is an open-source generalist robotics model.
