PR

Mixtal 8x22B(オープンソースAI)発表 LLaMA 70BやGPT-3.5を上回る性能

Mixtal 8x22B

オープンソースAI Mixtal 8x22Bを発表

Mistral AI(フランス)が最近発表したオープンソースモデル「Mixtal 8x22B」。

主な特徴は以下の通りです

  • Sparse Mixture-of-Experts (SMoE) モデルとして、1410億のパラメータのうち390億のみを活性化
  • 英語、フランス語、イタリア語、ドイツ語、スペイン語など、複数の主要言語に対応。日本語の性能は現時点ではやや劣る印象。
  • 数学やコーディングなどの技術分野で優れた能力を発揮
  • ネイティブ関数の呼び出しと「制約付き出力モード」をサポートし、大規模なアプリケーション開発や技術的なアップグレードが可能
  • 一般常識から特定分野の知識まで、様々な業界ベンチマークでの高いパフォーマンス
  • LLaMA 2 70Bモデルを大幅に上回る言語的文脈での性能

Mixtal 8x22Bは、大規模なデータセットを日常的に扱うエンタープライズレベルのアプリケーションに適しており、コーディングや数学の分野でもオープンモデルの中で優位性を保っています。

関連 Mixtral 8x22B sets new benchmark for open models

Mistral AIのMixtal

Mistral AIが開発したMixtral (ミクストラル) は、高性能なスパースミクスチャーオブエキスパーツ (Sparse Mixture-of-Experts, SMoE) モデルの一種。

著名なAIが巨大企業に独占されている中、「オープンソースにしてはけっこうやるね」という性能を持っている点が評価されています。

主な特徴は以下の通りです。

  • 46.7Bのパラメータを持つが、1トークンあたり12.9Bのパラメータしか使用しないため、高速で低コストな推論が可能
  • Apache 2.0ライセンスでオープンソース化されており、現在最も強力なオープンウェイトモデル
  • 英語、フランス語、イタリア語、ドイツ語、スペイン語、コードの生成が可能
  • 32Kトークンのコンテキストを扱える
  • ほとんどのベンチマークでLLaMA 70BやGPT-3.5を上回る性能を示す。(ギリギリ上回る、というレベル)
    関連 ChatGPTの使い方
    関連 llama-cpp-pythonの使い方

Mixtral 8x7Bは2023年12月9日にTwitter経由でBitTorrentリンクから公開され、その2日後にHugging Faceとブログ記事でも公開されています。

Mistral AIはMixtralを通じて、最先端のオープンソースモデルをデベロッパーコミュニティに提供し、AIの発展に貢献することを目指しています。Mixtralは効率性と性能のトレードオフにおいて現在最高レベルのモデルと言えます。

関連 Mixtral of experts | Mistral AI | Frontier AI in your hands

オープンソースなので、ある程度のスペックのパソコンがあれば、ツールを使ってローカルで起動することが可能です。

関連 LM Studioの使い方

いまのところ、お手軽に使う方法としては、Perplexityで課金して(PROモードで)、AIモデルにMistral largeを選ぶことですね。

関連 perplexityの使い方

Mistral Largeを選んで「MistralとはどういうAIですか」と聞いてみた結果が以下。

Mistralは、フランスのAIスタートアップが開発した複数のAIモデルの総称です。これらのモデルは、さまざまなユーザーのニーズに合わせて開発され、商用モデルとオープンなモデルの両方を提供しています。オープンなモデルには、独自のTransformerモデルである「Mistral 7B」や「Mixtral 8x7B」が含まれており、無償で利用でき、完全に自由に利用できるライセンスになっています。商用モデルには、「Mistral Small」「Mistral Embed」、そして最近発表されたばかりの「Mistral Large」があります。これらはそれぞれ目的が異なっており、コストやワークロードの機能もさまざまです。Mistral Largeは、実質的な推論機能を必要とする複雑なタスクや、合成テキスト生成およびコード生成などの高度に専門化されたタスクに最適です。また、Mistral AIは、オープンソースと商用製品の両方を追求していることで、他社との差別化を図っています。このアプローチは、欧州連合(EU)や世界各地の研究者や開発者にとっても刺激的であると考えられています。

まあ、間違ってないんだけど、微妙に硬いし読みにくい文章ですね。プロンプトの指示次第かも知れないんですけどね。

Mixtalはオープンソースという立ち位置を今後も維持していく…?

Mixtalは現在、MicrosoftのプラットフォームAzure AIで利用可能。

当時、Mistralの共同創設者アーサー・メンシュ氏はフランスの日刊紙ルモンドに対し、米国のハイテク巨人を通じてソフトウェアを販売したにもかかわらず、オープンソースを放棄するつもりはないと語りました。

関連 French startup Mistral AI vows to maintain open source