Last Updated on 2024-05-22 13:10 by TaTsu
Microsoftは、Copilot+ PCの強力なニューラルプロセッシングユニット(NPU)用に特別に設計された小規模言語モデル(SLM)、Phi-Silicaを発表した。このモデルは、3.3億のパラメータを持ち、Copilot+ PCが2023年6月から販売開始される際に全てのデバイスに組み込まれる予定である。
Phi-Silicaは、最初のトークンレイテンシーが秒間650トークンで、約1.5ワットの電力を使用する。これにより、PCのCPUとGPUが他の計算を処理するためのリソースを確保できる。さらに、トークン生成はNPUのKVキャッシュを再利用し、CPU上で約27トークン/秒を生成する。
Microsoftのスポークスパーソンによると、Phi-SilicaはWindowsで初めてローカルに展開される言語モデルであり、Copilot+ PCのNPU上で最適化されており、デバイスに高速なローカル推論をもたらす。これは、Windowsエコシステム内での生産性とアクセシビリティを向上させるために、3P開発者が素晴らしい1Pおよび3P体験を構築し始めるための重要な瞬間を示している。
Phi-Silicaは、Phi-3モデルの5つ目のバリエーションであり、Phi-3-mini（38億パラメータ）、Phi-3-small（70億パラメータ）、Phi-3-medium（140億パラメータ）、Phi-3-vision（42億パラメータ）に続くものである。
【編集者追記】用語解説
- Phi-Silica: 小型のAIモデル（Small Language Model, SLM）であり、Microsoftの新しいCopilot+ PCでローカルに動作するように設計されています。このモデルは、従来のクラウドベースの大規模言語モデル（Large Language Model, LLM）と異なり、ローカル環境で効率的に動作することが特徴です。Phi-Silicaは、主にNPU（Neural Processing Unit）を活用して、ユーザーのプライバシーを保護しながら高性能なAI体験を提供します。Microsoftは、3.3億パラメータのモデルを使用し、精度と速度を両立させた小型モデルを提供しています
- NPU(Neural Processing Unit): 専用のAI処理チップで、CPUに比べてAI計算を数千倍も高速化できる。
- Copilot+PC: MicrosoftがPhi-Silicaを搭載したPCの新製品。エッジAI処理が可能になる。
【参考リンク】
Microsoftオフィシャルサイト（外部）
【関連記事】
innovaTopiaでCopilot+PC関連の記事をもっと読む
【ニュース解説】
Microsoftは、Copilot+ PCのために特別に設計された小規模言語モデル(SLM)、Phi-Silicaを発表しました。このモデルは、3.3億のパラメータを持ち、2023年6月から販売開始されるCopilot+ PCに全て組み込まれる予定です。Phi-Silicaは、最初のトークンレイテンシーが秒間650トークンで、約1.5ワットの電力を使用します。これにより、PCのCPUとGPUが他の計算を処理するためのリソースを確保できます。さらに、トークン生成はNPUのKVキャッシュを再利用し、CPU上で約27トークン/秒を生成します。Microsoftによると、Phi-SilicaはWindowsで初めてローカルに展開される言語モデルであり、Copilot+ PCのNPU上で最適化されており、デバイスに高速なローカル推論をもたらします。これは、Windowsエコシステム内での生産性とアクセシビリティを向上させるために、第三者開発者が素晴らしい第一者および第三者体験を構築し始めるための重要な瞬間を示しています。Phi-Silicaは、Phi-3モデルの5つ目のバリエーションであり、他のバリエーションと比較しても最小です。
この技術の導入は、AIのローカル処理能力を大幅に向上させることで、ユーザー体験を改善する可能性を秘めています。ローカルでの高速推論は、クラウドベースの処理に比べてレイテンシーを大幅に削減し、インターネット接続の品質や速度に左右されることなく、スムーズなAI機能の提供を可能にします。これは、特にリアルタイムでの応答が求められるアプリケーションや、プライバシーが重視される環境での使用において、大きなメリットとなります。
また、Phi-Silicaの導入は、PCのリソース利用の最適化にも寄与します。AI処理を専用のNPUにオフロードすることで、CPUやGPUは他のタスクに集中できるようになり、全体的なパフォーマンスの向上が期待できます。これにより、ユーザーは複数のアプリケーションを同時にスムーズに動作させることができるようになり、生産性の向上に貢献します。
しかし、この技術の導入には潜在的なリスクも伴います。例えば、ローカルでのAI処理は、デバイスのセキュリティ対策が十分でない場合、悪意のある攻撃に対する脆弱性を高める可能性があります。また、高度なAI機能の普及は、プライバシーに関する懸念を引き起こす可能性もあります。これらのリスクに対処するためには、セキュリティとプライバシー保護のための厳格な規制とガイドラインの策定が必要です。
将来的には、Phi-Silicaのような技術がさらに発展し、より多くのデバイスでローカルAI処理が一般的になることが予想されます。これにより、AIの応用範囲が拡大し、よりパーソナライズされたユーザー体験の提供や、新たなビジネスモデルの創出が可能になるでしょう。しかし、その一方で、技術の進化に伴う社会的、倫理的な課題に対する継続的な議論と対応が求められることになります。
from Microsoft introduces Phi-Silica, a 3.3B parameter model made for Copilot+ PC NPUs.
