国立情報学研究所
約1,720億パラメータ(GPT-3級)の大規模言語モデルを2.
— LLM勉強会(LLM-jp) (@llm_jp) December 24, 20241兆トークンの学習データを用いてフルスクラッチで学習し、指示チューニングを施したモデルを 「llm-jp-3-172b-instruct3」 として公開しました。学習データまで含めすべてオープンなモデルとしては世界最大規模です。https:// t. co/ ebFhmrA8yP
llm-jp-3-172b-instruct3はMetaのLlama 2をベースとした言語モデルで、1,720億パラメータをもち、これを2.
事前学習用の日本語データ
このほか、英語など多言語のトークンやプログラムコードなども含めた計約1.
llm-jp-3-172b-instruct3は、Hugging Faceで公開されている。