Last Updated on 2024-04-30 23:17 by admin

Appleは、2023年の生成AIレースのハイライトで多くは言及されていませんが、他のテクノロジー企業が行っているような公表活動を行わずに、この分野で印象的な作業を行っています。近月において、Appleの研究者たちは、デバイス上での生成AIに重要な意味を持つ可能性のある論文、モデル、プログラミングライブラリを発表しています。これらのリリースを詳しく見ることで、Appleがどの方向に進んでいるか、そして生成AIの成長市場でどのように位置付けられるかの手がかりが得られるかもしれません。

Appleの強みと独自のポジション

Appleは、クラウドで実行される大規模言語モデル（LLM）へのアクセスを販売するビジネスモデルを構築することができないハイパースケーラーではありません。しかし、オペレーティングシステムから開発ツール、そしてAppleデバイス内で動作するプロセッサーに至るまで、テクノロジー業界で最も強力な垂直統合を持っています。これにより、Appleはデバイス上での推論のために生成モデルを最適化する独自の位置を占めています。同社は、近月に発表された研究論文によると、この分野で大きな進歩を遂げています。

メモリ制約のあるデバイス上でのLLM実行技術

Appleは、スマートフォンやラップトップなどのメモリ制約のあるデバイス上でLLMを実行する技術を説明する「LLM in a flash」という論文を1月に発表しました。この技術は、モデルの一部をDRAMにロードし、残りをフラッシュメモリに保持します。フラッシュメモリとDRAM間でモデルの重みを動的に交換することで、メモリ消費を大幅に削減し、特にAppleシリコン上で実行される場合に推論の遅延を最小限に抑えます。

オープンソース生成モデルのリリース

また、Appleは過去数ヶ月にわたり、複数のオープンソース生成モデルをリリースしています。例えば、10月に静かにリリースされたFerretは、7億と13億のパラメータを持つマルチモーダルLLMです。このモデルは、オープンソースLLMのVicunaと、視覚言語モデル（VLM）のLLaVAの上に構築されています。Ferretは、画像内の特定の領域に基づいてその応答を生成する特別なメカニズムを持っています。

自然言語コマンドに基づく画像編集モデル

さらに、Appleは最近、自然言語コマンドに基づいて画像を修正できるモデルであるMLLM-Guided Image Editing（MGIE）をリリースしました。MGIEの機能は、明るさやコントラストの変更などの画像全体の修正から、「空をもっと青くする」などの特定の領域や画像内の特定のオブジェクトに対する編集に及びます。

ソフトウェア開発ツールとして、Appleは12月にMLXという、機械学習モデルを扱うためのライブラリをリリースしました。MLXは、NumPyやPyTorchなどのPythonライブラリの馴染みのあるインターフェースを使用しており、機械学習開発者にとって使いやすいです。しかし、MLXはM2やM3のようなAppleプロセッサー用に最適化されています。MLXは「共有メモリ」の概念を使用し、機械学習（ML）モデルをCPUまたはGPUメモリ上で実行するのではなく、異なるタイプのメモリ間で分割できます。これは、Appleがメモリ制約のあるデバイス上で大規模モデルを実行するために行っている研究と一致しています。

これらの動きは、Appleがデバイス上での生成AIにおける主要プレイヤーとなるためのプラットフォームシフトを作り出していることを示しています。Appleには、Appleのプロセッサーと開発ツールに最適化されたモデルを作成し、次世代のチップを作り出すことができる強力な研究およびエンジニアリングチームがあります。したがって、AppleはGPT-4やその後継と直接競合するものを持っていないかもしれませんが、あなたの電話や時計で実行される次のLLMを動力とするために必要なすべてを持っています。

【参考リンク】
Apple社オフィシャルサイト（外部）

【ニュース解説】

Appleは、他のテクノロジー企業が積極的に公表活動を行っている中、生成AI（人工知能）の分野で目立たない形で着実に進歩を遂げています。特に、デバイス上での生成AIに関する研究や開発に力を入れており、その成果として複数の論文、モデル、プログラミングライブラリを発表しています。これらの取り組みは、Appleが生成AIの分野でどのような方向性を持っているか、そして成長市場でどのように位置付けられるかを示唆しています。

Appleの強みは、オペレーティングシステムからプロセッサーに至るまで、製品の全てを自社でコントロールする垂直統合の強さにあります。これにより、デバイス上での生成モデルの最適化に独自のアプローチを取ることができます。例えば、「LLM in a flash」という技術では、メモリ制約のあるデバイス上で大規模言語モデル（LLM）を効率的に実行する方法が提案されており、これはAppleシリコン上での推論の遅延を最小限に抑えつつ、メモリ消費を大幅に削減することが可能です。

また、Appleはオープンソースの生成モデルもいくつかリリースしており、これらは将来のiOSデバイスやアプリケーション開発において重要な役割を果たす可能性があります。例えば、画像内の特定の領域に基づいて応答を生成するマルチモーダルLLM「Ferret」や、自然言語コマンドに基づいて画像を修正できる「MLLM-Guided Image Editing（MGIE）」などがあります。これらのモデルは、ユーザーがiPhoneカメラやVision Proデバイスを通じて見たオブジェクトと対話する新しい方法を提供するかもしれません。

さらに、AppleはMLXという機械学習モデルを扱うためのライブラリもリリースしており、これはAppleプロセッサーに最適化されています。MLXは、開発者が他の人気ライブラリからコードを簡単に移植し、Appleデバイス用に最適化することを容易にします。

これらの取り組みは、Appleがデバイス上での生成AIにおける主要プレイヤーとなるための基盤を築いていることを示しています。Appleは、自社のプロセッサーと開発ツールに最適化されたモデルを作成し、次世代のチップを開発する能力を持っています。これにより、Appleは直接的な競合とは異なるアプローチを取りながらも、ユーザーのデバイス上で動作する次世代のLLMを提供するために必要な技術とリソースを持っていることがわかります。

このようなAppleの取り組みは、デバイス上でのAIの利用がますます一般的になる中で、ユーザー体験の向上、新しいアプリケーションの開発、そしてプライバシー保護の観点からも重要な意味を持ちます。しかし、オープンソース文化との相互作用や、開発者コミュニティとの関係構築においては、Appleがどのように進化していくかが注目されるポイントです。

from What is Apple’s generative AI strategy?.