Mixtal 8x22B
オープンソースAI Mixtal 8x22Bを発表
Mistral AI（フランス）が最近発表したオープンソースモデル「Mixtal 8x22B」。
主な特徴は以下の通りです
- Sparse Mixture-of-Experts (SMoE) モデルとして、1410億のパラメータのうち390億のみを活性化
- 英語、フランス語、イタリア語、ドイツ語、スペイン語など、複数の主要言語に対応。日本語の性能は現時点ではやや劣る印象。
- 数学やコーディングなどの技術分野で優れた能力を発揮
- ネイティブ関数の呼び出しと「制約付き出力モード」をサポートし、大規模なアプリケーション開発や技術的なアップグレードが可能
- 一般常識から特定分野の知識まで、様々な業界ベンチマークでの高いパフォーマンス
- LLaMA 2 70Bモデルを大幅に上回る言語的文脈での性能
Mixtal 8x22Bは、大規模なデータセットを日常的に扱うエンタープライズレベルのアプリケーションに適しており、コーディングや数学の分野でもオープンモデルの中で優位性を保っています。
関連 Mixtral 8x22B sets new benchmark for open models
Mistral AIのMixtal
Mistral AIが開発したMixtral (ミクストラル) は、高性能なスパースミクスチャーオブエキスパーツ (Sparse Mixture-of-Experts, SMoE) モデルの一種。
著名なAIが巨大企業に独占されている中、「オープンソースにしてはけっこうやるね」という性能を持っている点が評価されています。
主な特徴は以下の通りです。
- 46.7Bのパラメータを持つが、1トークンあたり12.9Bのパラメータしか使用しないため、高速で低コストな推論が可能
- Apache 2.0ライセンスでオープンソース化されており、現在最も強力なオープンウェイトモデル
- 英語、フランス語、イタリア語、ドイツ語、スペイン語、コードの生成が可能
- 32Kトークンのコンテキストを扱える
- ほとんどのベンチマークでLLaMA 70BやGPT-3.5を上回る性能を示す。（ギリギリ上回る、というレベル）
関連 ChatGPTの使い方
関連 llama-cpp-pythonの使い方
Mixtral 8x7Bは2023年12月9日にTwitter経由でBitTorrentリンクから公開され、その2日後にHugging Faceとブログ記事でも公開されています。
Mistral AIはMixtralを通じて、最先端のオープンソースモデルをデベロッパーコミュニティに提供し、AIの発展に貢献することを目指しています。Mixtralは効率性と性能のトレードオフにおいて現在最高レベルのモデルと言えます。
関連 Mixtral of experts | Mistral AI | Frontier AI in your hands
オープンソースなので、ある程度のスペックのパソコンがあれば、ツールを使ってローカルで起動することが可能です。
いまのところ、お手軽に使う方法としては、Perplexityで課金して（PROモードで）、AIモデルにMistral largeを選ぶことですね。
※その後、Perplexityでは、Mistral Largeは選べなくなりました。人気なかったんですね…。
Mistral Largeを選んで「MistralとはどういうAIですか」と聞いてみた結果が以下。
まあ、間違ってないんだけど、微妙に硬いし読みにくい文章ですね。プロンプトの指示次第かも知れないんですけどね。
Mixtalはオープンソースという立ち位置を今後も維持していく…？
Mixtalは現在、MicrosoftのプラットフォームAzure AIで利用可能。
当時、Mistralの共同創設者アーサー・メンシュ氏はフランスの日刊紙ルモンドに対し、米国のハイテク巨人を通じてソフトウェアを販売したにもかかわらず、オープンソースを放棄するつもりはないと語りました。