Preferred Networks、日英2言語で高性能な大規模言語モデルPLaMo-13BをOSSとして公開

（⁠株⁠）Preferred Networksは2023年9月28日、同社が開発した事前学習済み大規模言語モデルPLaMo-13Bを、Apache License Version 2.0のもと、研究・商用で利用可能なオープンソースソフトウェアとして公開した。

【発表】PFNが開発した大規模言語モデル(LLM) PLaMo™︎ｰ13Bをオープンソースで公開しました。また、PLaMoの知見をもとにマルチモーダル基盤モデルを開発・提供する新子会社Preferred Elementsを11月に設立します。10月の #CEATEC2023 ではLLMを使ったデモも出展します。https://t.co/QkS6AmvnkC
— Preferred Networks (@PreferredNetJP) September 28, 2023

PLaMo-13Bは、現在公開されている同規模のパラメータ数の事前学習済み言語モデルと比べ、大規模言語モデルのベンチマーク評価（lm-evaluation-harness）において、日本語、英語の2言語をあわせた能力で高い性能を示している。

日本語性能と英語性能での大規模言語モデル比較（Preferred Networksのニュースリリースより）

PLaMo-13Bの開発にあたり、同社では学習に使用可能なオープンデータセットを独自に収集・加工して、1.4兆トークンの日英2言語のデータセットを作成した。実際に学習を回すまでの技術開発には自社スーパーコンピュータMN-2を利用し、学習はAI橋渡しクラウド（AI Bridging Cloud Infrastructure、ABCI）の第一回大規模言語モデル構築支援プログラムを利用して開発された。英語とともに日本語の学習データ量を増やすことで、130億パラメータというコンパクトなモデルでも日英2言語のベンチマークで高い性能を実現、標準的なGPUサーバでも利用することができるとのこと。

同社では今後、PLaMo-13Bをもとにした事前学習モデルや指示学習を行ったモデルについても公開を予定している。