PR

Llama3 使い方ガイド 最新AIツールの特徴と発表内容

Llama3 使い方

Llama 3は、Metaが開発した最新の大規模言語モデル(LLM)であり、8Bおよび70Bのパラメータを持つバージョンが提供されています。このモデルは、自然言語処理、コード生成、データ分析など、さまざまなタスクに対応できる強力なツールです。以下に、Llama 3の使い方について詳しく説明します。

Llama 3の概要

Llama 3は、Metaが開発したオープンソースの大規模言語モデルで、以下の特徴を持っています:

  • パラメータ数:8B(80億)および70B(700億)の2つのバージョンが提供されています。
  • トレーニングデータ:15兆トークン以上のデータで事前学習されており、Llama 2の7倍のデータセットを使用しています。
  • 多言語対応:30以上の言語をカバーするデータセットを使用していますが、英語以外の言語での性能は英語ほど高くありません。

Llama 3のセットアップと使用方法

モデルのダウンロードとインストール

Llama 3を使用するには、まずモデルをダウンロードしてインストールする必要があります。以下の手順に従ってください:

Hugging Faceアカウントの認証

   huggingface-cli login --token YOUR_HF_TOKEN

モデルのダウンロード

   huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --token YOUR_HF_TOKEN

必要なライブラリのインストール

   pip install transformers torch

モデルのロード

   from transformers import AutoTokenizer, AutoModelForCausalLM

   tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct")
   model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct")

ローカルでの実行

Llama 3をローカルで実行するには、以下の手順を実行します:

Ollamaのインストール

   pip install ollama

ローカルサーバーの起動

   ollama serve

APIリクエストの送信

   curl http://localhost:11434/api/chat -d '{
     "model": "llama3",
     "messages": [
       { "role": "user", "content": "What are God Particles?" }
     ],
     "stream": false
   }'

Llamaのファインチューニング

Llama 3を特定の用途に合わせてファインチューニングする方法もあります。以下の手順で行います:

データセットの準備
ファインチューニング用のデータセットをJSON形式で準備します。例:

   [
     {
       "instruction": "Translate the following English text to French.",
       "input": "Hello, how are you?",
       "output": "Bonjour, comment ça va?"
     }
   ]

ファインチューニングの実行

   from transformers import Trainer, TrainingArguments

   training_args = TrainingArguments(
       output_dir="./results",
       per_device_train_batch_size=4,
       num_train_epochs=3,
       logging_dir="./logs",
   )

   trainer = Trainer(
       model=model,
       args=training_args,
       train_dataset=train_dataset,
   )

   trainer.train()

VSCodeとの統合

Llama 3をVSCodeに統合して、コード補完やドキュメント生成などの機能を利用することも可能です。

必要なライブラリのインストール

   pip install pandas pandasai streamlit

VSCodeでの設定
VSCodeの設定ファイルに以下を追加します:

   {
     "python.pythonPath": "path/to/your/python",
     "python.linting.enabled": true,
     "python.linting.pylintEnabled": true
   }

コード補完の使用
VSCodeでコードを入力すると、Llama 3が自動的に補完を提案します。

また、PythonからLlamaの機能を使えるモジュールも公開されています。

関連)llama-cpp-pythonの使い方

LLamaを課金サービスで利用するには

ローカルにLLamaを構築しなくても、クラウドサービス等に組み込んだ形で使ったり、また、他の生成AIサービスにてモデルにLLamaを指定して使えるケースがあります。

AI検索サービスのPerplexityでは、モデルにLlamaを指定することで、LLamaを使ったテキスト生成が行えます。(PROモード)

関連)Perplexityの使い方

クラウドサービスでLlamaが使えるものは、以下の通り。

Google Cloud Vertex AI
Google CloudのVertex AI Model Gardenで、MetaのLlama 3が利用可能です。Llama 3は、8Bと70Bのパラメータを持つモデルがあり、事前トレーニング済みかつ指示用にファインチューニング済みのモデルとして提供されています。開発者は、Vertex AIからLlama 3にアクセスし、さまざまなチューニングオプションを利用できます。

Azure AI Studio
Azure AI Studioでは、MetaのLlamaモデルをデプロイする方法が提供されています。Llamaモデルは、Azure AI Model Inference APIを通じて利用可能で、チャット入力候補やテキスト生成機能を提供します。従量課金制のマネージドサービスとしても利用でき、特定のビジネスやユースケースに合わせたモデルのチューニングが可能です。

Oracle Cloud Infrastructure (OCI)
Oracle Cloudでは、MetaのLlama 2とCohereの大規模言語モデルをシームレスに統合した「OCI Generative AI」サービスが提供されています。これにより、テキスト生成、データ抽出、チャットボットの作成など、さまざまなユースケースに対応できます。

AWS (Amazon Web Services)
AWSの生成AIサービス「Amazon Bedrock」で、MetaのLlama 2が利用可能です。Llama 2の700億パラメータモデルと130億パラメータモデルが近日中に対応予定とされています。

Replicate社のllama2.ai
Replicate社が提供する「llama2.ai」では、Llama 3を手軽に体験することができます。ページ左上のプルダウンでモデルを選択し、チャット欄に質問を入力すると、AIが回答してくれます。日本語のプロンプトも一定程度理解します.

IBM Watsonx
IBMのAIとデータのプラットフォーム「watsonx」でも、MetaのLlama 2が利用可能です。watsonx.ai studioでホストされ、質問応答、コンテンツ生成、テキスト分類などの自然言語処理タスクをサポートします。