（株）ELYZAは2023年8月29日、Metaが開発、発表しているLLM（大規模言語モデル）「Llama 2」をベースに日本語による追加事前学習を行い、70億パラメータの日本語LLM「ELYZA-japanese-Llama-2-7b」を開発、一般公開した。研究、および商用での利用が可能。
ELYZAは東京大学松尾研究室発のAIカンパニー。今回の開発の元となった「Llama 2」はMetaが2023年7月に公開した英語ベースのLLMで、商用利用も可能なのが特徴。現在日本でも複数の企業が独自に日本語LLMを開発しているが、計算リソースの不足や日本語で利用できるテキストデータの少なさ、一からLLMの事前学習を行うためのコストなどから、開発は一部の大企業や研究機関に限られ、Llama 2などと比較すると規模がまだ小さいといえる。
ELYZAは、英語等他の言語で学習されたLLMの能力を日本語に引き継ぎ、日本語で必要な学習量を減らすことで、日本語LLMの研究開発を加速できるとの考え方から、多言語LLMの日本語化に取り組み、その成果の1つとして開発されたのが「ELYZA-japanese-Llama-2-7b」。70億パラメータのLLMは公開されている日本語のLLMとしては最大級の規模となる。同社によると、性能評価の結果、1750億パラメータの「GPT-3.5（text-davinci-003）」に匹敵するスコアが算出され、日本語の公開モデルのなかでは最高水準の性能となっているとのこと。
同社では「ELYZA-japanese-Llama-2-7b」に独自の事後学習を施した「ELYZA-japanese-Llama-2-7b-instruct」、日本語の語彙追加により高速化を行った「ELYZA-japanese-Llama-2-7b-fast / ELYZA-japanese-Llama-2-7b-fast-instruct」も開発、発表しており。これらのchatUI形式のデモをHugging Face hub上で公開している。
