LINE テクノロジー&エンジニアリング大全

LINEが日本語の大規模汎用言語モデルの構築を推進~LINE AIカンパニートップの砂金信一郎氏とNLPチームを率いる佐藤敏紀氏に訊く,大規模汎用言語モデルがもたらす価値

この記事を読むのに必要な時間:およそ 4 分

わからないことがあればHyperCLOVAに聞け!?

――HyperCLOVAの用途として考えられるものを教えてください。

砂金:我々が応用の可能性を探っているのは,文章の生成や要約,対話などの分野です。

このうち,文章生成についてはカジュアルな文章から業務報告書のようなフォーマルな文書まで,さまざまなバリエーションがあります。そのどれにHyperCLOVAを適用すると有効なのか,あるいは多くの人にとって有用で,なおかつ開発や構築の面においても無理なくできる領域はどこかといったことを検討しているタイミングです。

考えられるものの1つとしては,ECサイトなどに掲載する商品説明があります。心のこもった文章ではなくて,とにかく商品に関する説明をWebサイトに載せなければならないけれど,大量の商品の説明を書くのは大変である,そういった場面で使えるのではないかと思います。あるいは業務報告書や障害報告書などの作成をAIが肩代わりできれば便利でしょう。

要約にも利用することができます。リリース予定の「CLOVA Note」というサービスを使えば,会議やインタビューの内容を書き起こしできるのですが,さらにHyperCLOVAを使って要約を生成すれば議事録の作成を自動化できます。

目的が明確ではない利用シーンもあるでしょう。たとえば雑談を成立させることができるというのは,それ自体が生産性向上や売上拡大につながるものではないかもしれませんが,我々にとっては非常に重要なトピックです。

このように文章生成や要約,対話のそれぞれにおいて,皆さまのお役に立てるところはあるだろうと思っています。

2022年には204Billionモデルの構築にも着手

――LINE DEVELOPER DAY 2021において,820億(82Billion)という膨大なパラメータを用いた新たな言語モデルを構築中とのお話がありました。82Billionモデルは従来のものに比べ,どういったベネフィットがもたらされるのでしょうか。

佐藤:実は韓国版に関しては82Billionモデルの構築が終わっていて,詳細なデータも論文などとして公表されています。

この82Billionモデルでは,自然言語処理のさまざまなタスクにおいて,既存の39Billionモデルよりも高い性能を達成できることが韓国語版で確認が取れています。当然,日本語版でも同じような傾向の性能向上が見込めると考えています。

ただ,具体的に体験がどこまで上がるのか,どこまで気持ちよい体験になるのかといった部分について,日本語版での使用感は確かめられていません。実際にどうなるのか,すごくワクワクしながら作業を進めています。

また先ほどもお話ししたとおり,日本語のモデルを作る際,英語のモデルと同程度の量のテキストでは十分な性能が出ません。そのため,モデルを構築する際にはパラメータ数の3倍程度のトークンを用意しなければならないことがわかっています。具体的には,従来の39Billionのときに使ったコーパスよりも,82Billionのコーパスは2倍ほど大きくなります。

このようにコーパスが大幅に増えるため,モデルに含まれているコンテンツの量や種類,傾向といったものがより多く含まれることになり,39Billionモデルよりも82Billionモデルは幅広い情報のジャンルを扱うことができると考えています。

このようにパラメータ数や計算のステップ数を増やせば性能は上がることが分析結果で証明されています。では,サンプル数が少ないモデルに価値はないのかというと,決してそんなことはありません。

82Billionモデルの後,2022年には204Billionモデルの構築にも取り組む予定ですが,そのように大きなモデルを構築したとしても,39Bllionモデルで求める性能が得られたり,特定のジャンルにおいて問題なく使えるのであれば価値はあります。

HyperCLOVAのモデルロードマップ

HyperCLOVAのモデルロードマップ

具体的な価値としてあげられるのは,モデルの大きさです。モデルを用いて推定処理を行う際,そのための環境の大きさはモデルの大きさに左右されることになります。39Billionモデルであれば,204Billionモデルを使う場合よりも数分の1サイズの環境で済みます。

そのため,204Billionモデルである必要がなければ,39Billionモデルといった小さいモデルを使うことに経済的合理性があります。実際,我々も39Billionモデルの性能向上やデータの更新に取り組む可能性があります。

画像

エンジニアの皆さんにHyperCLOVAをおもしろがって使っていただきたい

――最後に,予定している今後の取り組みについて教えてください。

佐藤:先ほどお話したとおり,2022年は204Billionモデルの構築を進めることになります。

204Billionモデルになると,必要なコーパスの量が82Billionモデルの2.5倍以上となり,必要になるデータ量が大幅に増加します。一方で,学習におけるトライアンドエラーの回数が単位時間内では減ることになり,難易度は増すと考えています。さらに使用するハードウェアの数が増えるため,その管理コストも増加します。そのほか,モデル構築にかかるエンジニアの負担や,失敗したときにロストする時間も増えていくでしょう。

このように大変なプロジェクトになりますが,完成すればそれに見合うリターンが得られると思っています。

砂金:まず,HyperCLOVAを多くの方々に体験いただく機会として,HyperCLOVA Hands-onを12月から1月にかけて開催します。我々がご用意する環境を通して,どのようなことができるのか実際にお試しいただけるイベントです。また,何らかのWebインターフェースを用意して,AIの専門家でなくてもちゃんと使えるような状態で皆さまに公開する準備も進めています。

HyperCLOVA Hands-onの様子

HyperCLOVA  Hands-onの様子

いずれかのタイミングでハッカソンのようなイベントを開催できるといいなとも思っています。ビジネス先行でマーケットを見据えてアプリやサービスを作るということだけではなく,エンジニアの皆さんに我々の技術を面白がっていただき,これを如何に使いこなすかといったところから新しい価値が生まれる可能性がある,HyperCLOVAはそういった技術だと考えています。

また,HyperCLOVAを世の中に出していく際には,いくつかのステップがあると思っています。

現状はLINEのAIカンパニーの中で試行錯誤している状態で,この後はLINEのさまざまなサービスで使われるようになるでしょう。その後は,Yahoo! JAPANやZOZOTOWN,アスクルといったZホールディングスグループ各社のサービスでの活用の可能性があると思います。そして将来的には,外部に公開する可能性もあるでしょう。

その際,裏側でHyperCLOVAの技術が使われていて,それによってユーザ体験が変わったということになればすごくうれしいのですが,ユーザに気づかれたら負けだという感覚もあります。このAI技術はすごいだろうというのは,裸が丸見えの状態みたいで格好悪い(笑⁠⁠。そうではなく,気づかないようにさっとユーザに手を差し伸べる,あるいは煩雑だった操作がすごく楽になっている,そういったことをユーザに気づかれずにできれば我々の勝ちだと思っています。

もし,一刻も早くHyperCLOVAに触りたいと考えていただけるのであれば,LINEやZホールディングスグループ各社にご入社いただくことが一番の近道だと思うので,ぜひ検討していただきたいですね。

――本日はありがとうございました。
HyperCLOVA Hands-on
https://line.connpass.com/event/231340/
開催日程2022年1月19日19:00~21:00,1月22日15:00~17:00
開催場所LINE株式会社 四谷オフィス

著者プロフィール

川添貴生(かわぞえたかお)

株式会社インサイトイメージ代表取締役。企業サイトの構築及び運用支援のほか、エンタープライズ領域を中心に執筆活動を展開している。

メール:mail@insightimage.jp


馮富久(ふぉんとみひさ)

株式会社技術評論社クロスメディア事業室部長代理。

1975年生まれ。横浜市出身。1999年4月株式会社技術評論社に入社。入社後から『Software Design』編集部に配属,同誌編集長(2004年1月~2011年12月)や『Web Site Expert』編集長を歴任。その後,2008年9月に設立したクロスメディア事業部(現クロスメディア事業室)の責任者として,イベントやWeb・オンライン企画を統括。現在は,技術評論社の電子出版事業を中心に,デジタル・オンライン事業を取りまとめる。社外活動として電子書籍を考える出版社の会の代表幹事やWebSig 24/7のモデレーター,TechLIONプロデューサーなども務める。過去にIPAオープンソースデータベースワーキンググループ委員やアックゼロヨン・アワード他各賞審査員などの経験を持つ。

Twitte ID:tomihisa(http://twitter.com/tomihisa/