Last Updated on 2024-05-30 08:14 by admin
パリに拠点を置くAIスタートアップのMistralは、プログラミングと開発領域への進出を発表し、初のコード中心の大規模言語モデル「Codestral」を発表した。このモデルは、非商用ライセンスの下で利用可能であり、22Bパラメーターを持つオープンウェイトの生成AIモデルで、コーディングタスクに特化している。Codestralは80以上のプログラミング言語をカバーし、ソフトウェア開発者が高度なAIアプリケーションを設計するのに理想的なツールであるとされる。既にJetBrains、SourceGraph、LlamaIndexなどの業界パートナーによって利用されている。
Codestral 22Bは、32Kのコンテキストウインドウを持ち、開発者が様々なコーディング環境やプロジェクトでコードを書いたり、対話したりする能力を提供する。このモデルは、コードの生成、コーディング機能の完成、テストの記述、部分的なコードの完成など、多様なコーディングタスクに適している。SQL、Python、Java、C、C++などの人気言語だけでなく、SwiftやFortranなどの特定の言語も含まれる。
Codestralは、RepoBenchでのPythonコード完成の評価、HumanEvalでのPythonコード生成の評価、CruxEvalでのPython出力予測のテストにおいて、競合モデルを上回るパフォーマンスを示した。特に、RepoBenchでは34%、HumanEvalでは81.1%、CruxEvalでは51.3%のスコアを記録し、Bash、Java、PHPでのHumanEvalでも競合モデルを上回った。ただし、C++、C、TypescriptでのHumanEvalのパフォーマンスは最高ではなかったが、全テストの平均スコアは最高の61.5%であり、Llama 3 70Bの61.2%をわずかに上回った。
Mistralは、非商用目的、テスト、研究作業をサポートするために、Codestral 22BをHugging Face上で自社の非商用ライセンスの下で提供している。また、IDE内でCodestralのInstructまたはFill-In-the-Middleルートを使用するユーザー向けに設計されたcodestral.mistral.aiと、より広範な研究、バッチクエリ、またはサードパーティのアプリケーション開発用の通常のエンドポイントであるapi.mistral.aiの2つのAPIエンドポイントを通じてモデルを利用できるようにしている。
【編集者追記】用語解説
- パラメータ
LLMの予測に使われる数値の集まり。パラメータ数が多いほど複雑なタスクに対応可能。 - コンテキストウィンドウ
LLMが1回の予測に使える過去の文脈の長さ。長いほど文脈を捉えやすくなる。 - Mistral AI
2023年に設立されたフランスのAIスタートアップ。創業者は元Google/Meta社員。 - Codestral
Mistral AIが開発した、コード生成に特化したLLMの名称。 - Hugging Face
AIモデルの公開・ベンチマークを行うオープンソースのプラットフォーム。
【参考リンク】
Mistral AIオフィシャルサイト（外部）
Hugging Face（外部）
【関連記事】
Mistralに関する記事をinnovaTopiaでもっと読む
【ニュース解説】
パリに拠点を置くAIスタートアップ、Mistralがプログラミングと開発の分野に新たに参入し、その第一弾として「Codestral」というコード中心の大規模言語モデル(LLM)を発表しました。このモデルは、22B（220億）のパラメータを持ち、80以上のプログラミング言語に対応しており、ソフトウェア開発者が高度なAIアプリケーションを設計する際に理想的なツールとされています。Codestralは非商用ライセンスの下で提供され、既に複数の業界パートナーによって利用が開始されています。
Codestralの特徴は、32Kのコンテキスト長を持ち、開発者が様々なコーディング環境やプロジェクトでコードを書いたり、対話したりする能力を提供する点にあります。このモデルは、コードの生成からコーディング機能の完成、テストの記述、部分的なコードの完成まで、幅広いコーディングタスクに対応しています。また、SQL、Python、Java、C、C++などの人気言語だけでなく、SwiftやFortranなどの特定の言語にも対応しているため、多様な開発ニーズに応えることができます。
Codestralは、既存のコード中心のモデルと比較しても優れたパフォーマンスを示しています。特に、Pythonコードの生成や完成、出力予測のテストにおいて、競合するモデルを上回る結果を出しています。これにより、開発者はより迅速かつ効率的に作業を進めることができ、エラーやバグのリスクを減らすことが可能になります。
Mistralは、Codestralを非商用目的でのテストや研究作業をサポートするために、Hugging Face上で提供しています。また、開発者がIDE内でCodestralを利用できるようにするためのAPIエンドポイントも用意されており、ベータ期間中は無料で使用することができます。
このように、Codestralの登場は、ソフトウェア開発の効率化や品質向上に大きく貢献する可能性を秘めています。しかし、他のコード中心のモデルとの競争や、非商用ライセンスの制限など、今後の展開にはいくつかの課題も存在します。また、AIによるコード生成の普及は、開発者のスキルセットや職業倫理に関する新たな議論を引き起こす可能性もあります。長期的には、このような技術の進化がソフトウェア開発のパラダイムをどのように変えていくのか、注目が集まっています。
from Mistral announces Codestral, its first programming focused AI model.
