LLMとは？特徴や仕組み、生成AIとの違いは？

LLMとは？

LLMとは？

↓LLMの人気ランキング。2023～2024年の変動グラフ。（https://chat.lmsys.org/）

I used the chatbot arena data from @lmsysorg to create a visualization of LLM’s Elo rating changes. You can see:

1. The gap between various companies/open source projects is narrowing.
2. The major players are gradually becoming the various big tech companies. pic.twitter.com/4JaJsYljLM

— Jianqi Pan (@jannchie) April 28, 2024

LLM（Large Language Model）は、大規模な言語モデルのことを指します。LLMの主な特徴は以下の通りです。

LLMの特徴

膨大なテキストデータを用いて学習された、自然言語処理のための深層学習モデル
数十億から数兆のパラメータを持つ非常に大規模なニューラルネットワーク
文章生成、要約、翻訳、感情分析、質問応答など、様々なタスクに応用可能
学習データが増えるほど性能が向上し、少数のサンプルから新しいタスクを学習できる

LLMの仕組み

Transformerと呼ばれるニューラルネットワークアーキテクチャを基盤としている
大量のテキストデータから単語の関係性や文脈を学習
ファインチューニングやプロンプトチューニングにより特定のタスクに最適化

LLMの応用例

ChatGPTなどの対話型AI
プログラミングの自動化やコード生成
医療や科学分野での知識発見の加速
多言語翻訳による言語の壁の解消

LLMは自然言語処理の分野に大きな変革をもたらしつつあり、ビジネスや社会に幅広い影響を与えると期待されています。一方で、偏見やプライバシーの問題など、倫理的な課題にも留意が必要とされています。

よく使われているLLMランキング

OpenRouterというサイトで、よく使われているLLMのランキング情報を出しています。

LLM Rankings | OpenRouter

これによると、2024年、もっとも使われているLLMのランキングは以下の通り。

MythoMax 13B
Mixtral 8x7B Instruct
Mistral 7B Instruct
Anthropic: Claude 3 Haiku (self-moderated)
Mixtral 8x7B Instruct (nitro)
Mistral Tiny
Anthropic: Claude 3 Haiku
OpenChat 3.5
Google: Gemini Pro 1.0
Toppy M 7B
Nous: Hermes 13B
Mistral 7B Instruct (free)
lzlv 70B
MythoMax 13B (nitro)
OpenAI: GPT-3.5 Turbo
Anthropic: Claude 3 Sonnet (self-moderated)
ReMM SLERP 13B
MythoMax 13B (extended)
Anthropic: Claude 3 Opus
Mistral Medium

聞いたことないようなLLMがいっぱい出てる感じです。調べてみると、オープンソース系みたいですね。

あと、トークン数でランキングしているみたいですが、どうやって調べているんだろう…。

LLMと生成AIは違うの？

LLMと生成AIは、どちらもAIが新しい情報を生み出す技術ですが、次のような違いがあります。

生成AIとは

生成AIは、AIが自律的に新しいコンテンツを作り出す技術の総称です。
テキスト、画像、音声、動画など、様々な種類のコンテンツを生成できます。
機械学習の手法としては、RNN、GAN、Diffusionなど多様なアプローチがあります。

LLMとは

LLM（大規模言語モデル）は、生成AIの一種で、自然言語処理に特化したAIモデルです。
大量のテキストデータから言語の法則性を学習し、テキストの生成や理解を行います。
代表例としては、ChatGPTやGPT-3などがあります。

つまり、LLMは生成AIの中の1つのカテゴリーで、テキストデータを扱うのに特化しているのに対し、生成AIはテキスト以外にも画像や音声など、より広い範囲のコンテンツ生成を行うAI技術の総称と言えます。

LLMはテキストの理解と生成に長けていますが、画像生成などはできません。一方、生成AIの中にはStable DiffusionやDALL·E 3のように画像生成に特化したものもあります。

このように、LLMは生成AIの一部であり、より限定的な役割を担っていると言えるでしょう。生成AIの活用範囲はLLMよりも広いですが、その分野の1つとしてLLMが重要な位置を占めているのです。

LLMの種類

大規模言語モデル（LLM）には様々な種類があります。主なLLMを紹介します。

GPT-4
OpenAIが2023年にリリースしたLLMです。GPT-3やGPT-3.5と同様に、Transformerアーキテクチャをベースに開発されています。GPT-4をベースとしたマルチモーダルモデル「GPT-4V」では、画像や音声データも解析できます。