Mixtal 8x22B（オープンソースAI）発表 LLaMA 70BやGPT-3.5を上回る性能

Mixtal 8x22B

Mixtal 8x22B

オープンソースAI Mixtal 8x22Bを発表

Mistral AI（フランス）が最近発表したオープンソースモデル「Mixtal 8x22B」。

主な特徴は以下の通りです

Sparse Mixture-of-Experts (SMoE) モデルとして、1410億のパラメータのうち390億のみを活性化
英語、フランス語、イタリア語、ドイツ語、スペイン語など、複数の主要言語に対応。日本語の性能は現時点ではやや劣る印象。
数学やコーディングなどの技術分野で優れた能力を発揮
ネイティブ関数の呼び出しと「制約付き出力モード」をサポートし、大規模なアプリケーション開発や技術的なアップグレードが可能
一般常識から特定分野の知識まで、様々な業界ベンチマークでの高いパフォーマンス
LLaMA 2 70Bモデルを大幅に上回る言語的文脈での性能

Mixtal 8x22Bは、大規模なデータセットを日常的に扱うエンタープライズレベルのアプリケーションに適しており、コーディングや数学の分野でもオープンモデルの中で優位性を保っています。

Mistral AIのMixtal

Mistral AIが開発したMixtral (ミクストラル) は、高性能なスパースミクスチャーオブエキスパーツ (Sparse Mixture-of-Experts, SMoE) モデルの一種。

著名なAIが巨大企業に独占されている中、「オープンソースにしてはけっこうやるね」という性能を持っている点が評価されています。

主な特徴は以下の通りです。

46.7Bのパラメータを持つが、1トークンあたり12.9Bのパラメータしか使用しないため、高速で低コストな推論が可能
Apache 2.0ライセンスでオープンソース化されており、現在最も強力なオープンウェイトモデル
英語、フランス語、イタリア語、ドイツ語、スペイン語、コードの生成が可能
32Kトークンのコンテキストを扱える
ほとんどのベンチマークでLLaMA 70BやGPT-3.5を上回る性能を示す。（ギリギリ上回る、というレベル）
関連 ChatGPTの使い方
関連 llama-cpp-pythonの使い方

Mixtral 8x7Bは2023年12月9日にTwitter経由でBitTorrentリンクから公開され、その2日後にHugging Faceとブログ記事でも公開されています。

Mistral AIはMixtralを通じて、最先端のオープンソースモデルをデベロッパーコミュニティに提供し、AIの発展に貢献することを目指しています。Mixtralは効率性と性能のトレードオフにおいて現在最高レベルのモデルと言えます。

オープンソースなので、ある程度のスペックのパソコンがあれば、ツールを使ってローカルで起動することが可能です。

関連 perplexityの使い方

※その後、Perplexityでは、Mistral Largeは選べなくなりました。人気なかったんですね…。

Mistral Largeを選んで「MistralとはどういうAIですか」と聞いてみた結果が以下。

Mistralは、フランスのAIスタートアップが開発した複数のAIモデルの総称です。これらのモデルは、さまざまなユーザーのニーズに合わせて開発され、商用モデルとオープンなモデルの両方を提供しています。オープンなモデルには、独自のTransformerモデルである「Mistral 7B」や「Mixtral 8x7B」が含まれており、無償で利用でき、完全に自由に利用できるライセンスになっています。商用モデルには、「Mistral Small」「Mistral Embed」、そして最近発表されたばかりの「Mistral Large」があります。これらはそれぞれ目的が異なっており、コストやワークロードの機能もさまざまです。Mistral Largeは、実質的な推論機能を必要とする複雑なタスクや、合成テキスト生成およびコード生成などの高度に専門化されたタスクに最適です。また、Mistral AIは、オープンソースと商用製品の両方を追求していることで、他社との差別化を図っています。このアプローチは、欧州連合（EU）や世界各地の研究者や開発者にとっても刺激的であると考えられています。

まあ、間違ってないんだけど、微妙に硬いし読みにくい文章ですね。プロンプトの指示次第かも知れないんですけどね。