音声入力や文字起こしが日常的な操作になる一方、手話をそのままデジタル入力として扱う仕組みはまだ限られています。Google DeepMindの「SL2T」は、その差をどこまで縮めるのでしょうか。研究モデルからスマートフォンの入力機能へ進んだ意味を見ていきます。
Google DeepMindは、50以上の手話と10万時間超のデータで学習した多言語手話翻訳AI「SL2T」を発表した。
身体のランドマーク座標から手話を直接テキスト化し、FLEURS-ASLではゼロショットで70 BLEURTを記録した。Pixel 11のGboardとLive Transcribeに導入され、まずAmerican Sign Language（ASL）から英語への入力に対応する。Google DeepMindは今後、対応デバイスと手話言語を拡大する方針だ。
From: 
Putting sign language AI into users’ hands
【編集部解説】
今回のSL2Tで注目したいのは、手話翻訳モデルのベンチマークが向上したことだけではありません。Google DeepMindはSL2TをPixel 11のGboardとLive Transcribeに組み込み、ASLを英語テキストへ変換する機能として提供します。
これにより、利用者は文字入力が必要な場面で、キーボードを操作する代わりにスマートフォンのカメラへ向かって手話できます。Googleが挙げている用途には、ウェブ検索、メッセージや文書の作成、Geminiへの質問、Live Transcribeを使った対面会話での応答があります。
つまり、今回の変化は「手話をAIが理解できるようになった」という研究上の進展から、「手話そのものをスマートフォンへの入力インターフェースとして使う」という製品体験への移行にあります。
音声入力と同様に、手話を文字入力の代替として使えるようにする設計です。これはGoogle DeepMindの公式説明に基づく編集部の解釈です。
この実装を難しくしてきた理由は、手話が音声言語を手の動きに置き換えただけのものではないことです。Google DeepMindは、手話はそれぞれ独自の文法と語彙を持つ自然言語であり、意味を伝えるために手だけでなく、腕、胴体、頭、顔の動きも同時に使うと説明しています。
そのためSL2Tでは、端末上のMediaPipe Holisticが手話者の身体のランドマークを検出し、その座標列を翻訳モデルへ送ります。生のカメラ映像ではなく幾何学的な座標を送信するため、元映像を即座に破棄できる設計になっています。MediaPipeには、顔・手・身体などを対象とするHolistic Landmarkerが提供されています。
もう一つの特徴が、「gloss」と呼ばれる中間表現を介さず、身体のランドマーク列から直接テキストを生成することです。従来の手話翻訳研究ではglossを中間表現として利用する方法が広く使われてきましたが、専門家によるglossアノテーションは作成コストが高く、利用できるデータも限られます。Google Researchの2025年の研究でも、このデータ制約が手話翻訳を拡張する際の課題として挙げられています。
SL2Tではこの中間段階をなくし、50以上の手話、10万時間を超えるデータを共同学習させています。Google DeepMindによれば、異なる言語、方言、習熟度のデータをまとめて学習することで、同社の実験では単一言語だけで学習したモデルを上回りました。
SL2TはASLから英語への翻訳を評価するFLEURS-ASLのsd-testで、ゼロショット70 BLEURTを記録しました。Google DeepMindによれば、過去に報告されたスコアを大きく上回る結果です。
ただし、この数字だけで実際の会話を常に正確に翻訳できるとは判断できません。
Google DeepMind自身が公開している例でも、珍しい手話、高速な指文字、受動構文、classifier depiction、前後の文脈がない状態での時制などで誤りが残っています。たとえば高速な指文字では、本来の「prey」を「grey」と認識する例が示されています。
また、実製品では翻訳品質以外にも、ストリーミング時の遅延、利用者が手話をしていないときの誤生成、左利きの手話者への公平性、スマートフォンをもう片方の手で持ちながら行う片手手話への対応が必要になります。Google DeepMindは、こうした実利用上の条件も評価対象としていることを明らかにしています。
ここに、研究モデルと日常的な入力機能との違いがあります。ベンチマークで高得点を出すだけではなく、カメラの前で自然に使え、誤動作を抑え、さまざまな手話者に対応できなければ入力手段としては成立しません。
対応範囲にも大きな制約があります。今回製品化されるのは、まずAmerican Sign Language（ASL）から英語への変換です。Google DeepMindは今後、対応する手話と言語、デバイスを増やす方針を示していますが、具体的な展開時期は明らかにしていません。
GoogleのAndroid Accessibility Helpでも、Live TranscribeのSign-to-text機能は現時点でASLを英語テキストへ翻訳する機能として説明されています。
Pixel 11シリーズ自体は日本でも展開されています。一方、Googleの公式発表では、日本国内でのSL2Tの提供可否・提供時期は明示されていません。
特に日本の利用者にとって重要なのは、日本手話への対応です。今回の発表では日本手話の提供時期は示されていません。したがって、現段階では「Pixel 11で手話入力が可能になった」ことと、「日本の手話利用者が日本手話で利用できる」ことは分けて考える必要があります。
SL2Tの意味は、すでに多言語の手話を完全に扱えるようになったことではなく、手話認識を研究デモから日常の文字入力へ接続する仕組みが製品として成立し始めたことにあります。その入口がASLから英語への変換であり、今後どこまで言語と利用環境を広げられるかが次の焦点になります。
【関連記事】
延世大学校が WRSLT を発表、グローブ型を超えるリング型手話翻訳：加速度計と AI で文レベル翻訳を実現
手話をAIで読み取る方法は、カメラだけではありません。指の動きをリング型センサーから取得するWRSLTを見ると、手話入力を実現するための異なる技術アプローチが比較できます。
MediaPipe×YOLOv8で実現！ 転移学習を活用した手話リアルタイム翻訳AI、FAU研究チームが98%の精度を達成
カメラと身体ランドマークから手話を読み取る研究は、SL2T以前から進められてきました。FAUの研究と比較すると、個別ジェスチャー認識から文章の直接翻訳へと技術がどのように広がってきたかが見えてきます。
Silence SpeaksのAI手話アバターがロンドンで本格導入 – 公共交通・医療現場の情報格差をAIで解消
SL2Tが「手話からテキスト」への入口を作る一方、AIがテキストを手話として出力する技術も実用化が進んでいます。両者を合わせて見ると、AIによる双方向のコミュニケーション支援の現在地が分かります。
【編集部後記】
手話がそのままスマートフォンへの入力手段になるというのは、単なる翻訳精度の向上以上に大きな変化だと感じます。
これまでキーボードや音声入力を前提に作られてきたデジタル機器に、別の自然なコミュニケーション手段が加わるからです。特に印象的なのは、研究成果として終わらず、実際の製品へ組み込まれ始めている点です。一方で、現時点ではASLから英語への対応が中心であり、まだ入口に立った段階でもあります。日本手話を含め、さまざまな手話へ対応が広がったとき、スマートフォンという道具の「使い方」の前提そのものが少し変わるのではないでしょうか。
AIが人間に使い方を合わせさせるのではなく、人間の表現方法に合わせていく方向へ進んでいることに期待したくなります。
【用語解説】
SL2T（Sign-Language-to-Text）
Google DeepMindが開発した、手話からテキストへの翻訳AIモデル。身体のランドマーク情報を入力として、glossなどの中間表現を介さず直接テキストを生成する。
ASL（American Sign Language／アメリカ手話）
独自の語彙・文法体系を持つ手話言語。SL2Tの最初の製品実装では、ASLから英語テキストへの変換に対応する。
gloss（グロス）
手話の表現を単語などの記号に置き換えて記述する中間表現。従来の手話翻訳AIでは、映像からglossを認識し、その後に文章へ翻訳する方法が使われてきた。専門家によるアノテーションが必要となるため、大規模データの作成が難しいという課題がある。
MediaPipe Holistic
GoogleのMediaPipeに含まれる人体ランドマーク検出技術。顔、手、身体などの位置情報を画像・映像から抽出できる。SL2Tでは、生の映像そのものではなく、こうした身体の位置情報を翻訳処理に利用する。
BLEURT
機械翻訳などで生成された文章の品質を評価するための学習ベースの評価指標。単純な単語一致だけではなく、参照文との意味的な近さを評価する。SL2TではFLEURS-ASLの評価に使用されている。
ゼロショット（Zero-shot）
評価対象の特定データに合わせて追加学習をせず、モデルが持つ既存の能力だけでタスクを実行・評価する方法。
Live Transcribe（音声文字変換）
GoogleがAndroid向けに提供するユーザー補助機能。従来は周囲の音声や音をリアルタイムで文字化する機能として提供されてきた。Google Pixelなどに搭載されている。
【参考リンク】
Google DeepMind（外部）
GoogleのAI研究組織。基盤モデル、ロボティクス、科学研究、マルチモーダルAIなど幅広い研究開発を行う公式サイト。
Google AI for Developers – MediaPipe（外部）
画像、映像、音声などを扱うオンデバイス向け機械学習技術群。SL2Tで利用される人体ランドマーク処理の基盤技術を確認できる。
Android Accessibility（外部）
Androidのユーザー補助機能を紹介する公式サイト。Live Transcribeなど、聴覚・視覚・操作支援の各種機能を確認できる。
Google Pixel 11（外部）
Google Pixel 11シリーズの日本向け公式ページ。日本では2026年8月12日から予約購入が開始されている。
【参考動画】
Google DeepMind公式「American Sign Language version | Putting sign language AI into users’ hands」。SL2Tの発表内容をASLで紹介する公式動画。
Google DeepMind公式「International Sign version | Putting sign language AI into users’ hands」。SL2Tの発表内容をInternational Signで紹介する公式動画。
【参考記事】
Bridging Sign and Spoken Languages: Pseudo Gloss Generation for Sign Language Translation｜Google Research（外部）
手話翻訳で使われるglossの専門アノテーション作成コストやデータ不足を扱った2025年の研究。glossアノテーションが抱えるデータ制約を理解する参考になる。
Use Live Transcribe｜Android Accessibility Help（外部）
AndroidのLive Transcribeの利用方法、対応機能、オフライン文字起こしなどを説明するGoogle公式サポート。従来の音声から文字へのアクセシビリティ機能の位置づけを確認できる。
Pixel and Android announce new AI accessibility updates｜Google（外部）
PixelとAndroidにおけるAIを活用したアクセシビリティ機能の拡張を紹介。Live Transcribeのオンデバイス・オフライン対応など、SL2TにつながるGoogleの継続的な取り組みを確認できる。
