Metaは2024年4月18日、同社が開発しているオープンソースの大規模言語モデル「Llama」の最新バージョン「Llama 3」を発表した。

• Introducing Meta Llama 3: The most capable openly available LLM to date -Meta

Introducing Meta Llama 3: the most capable openly available LLM to date.

Today we’re releasing 8B & 70B models that deliver on new capabilities such as improved reasoning and set a new state-of-the-art for models of their sizes.

Today's release includes the first two Llama 3… pic.twitter.com/Q80lVTeS7m

— AI at Meta (@AIatMeta) April 18, 2024

新しい8B（80億）および70B（700億）パラメータをもつLlama 3モデルは、前モデルのLlama 2を大きく上回る性能を持つ。トレーニング後の手順の改善により拒否率の誤りが大幅に減少し、モデルの回答の多様性も増している。これにより同社の事前トレーニング済みモデルと微調整されたモデルは、8B、70Bパラメータの規模では現在存在する最高のモデルになったという。 Llama 3の操作性が向上したことにより、推論やコード生成などの機能が大幅に向上した。Llama 3は、Llama 3の技術で構築された同社のAIアシスタントMeta AIで試すことができる（4月19日現在、日本からは利用不可⁠）⁠。

またLlama 3の開発では、現実世界のシナリオに合わせてパフォーマンスを最適化することも目指した。このために新しく高品質の「人間評価セット」を開発、この評価セットには12の主要なユースケースをカバーする1,800のプロンプトが含まれ、さまざまなプロンプトを評価することができる。同社の評価によるとGPT-3.5を大きく凌ぐ結果が得られたという。

さらにLlama 3は、言語をより効率的にエンコードする128,000トークンの語彙を持つトークナイザーを使用しており、これによりモデルのパフォーマンスが大幅に向上した。

Llama 3は、AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflakeで間もなく利用可能になり、AMD、AWS、Dell、Intel、NVIDIA、Qualcommのハードウェアサポートが得られる予定。

同社では今後数ヵ月以内に新しい機能、より長いコンテキストウィンドウ、モデルサイズの追加、そしてパフォーマンスを強化したモデルを導入する予定とのこと。