わからないことがあればHyperCLOVAに聞け!?

――HyperCLOVAの用途として考えられるものを教えてください。

砂金：我々が応用の可能性を探っているのは，文章の生成や要約，対話などの分野です。

このうち，文章生成についてはカジュアルな文章から業務報告書のようなフォーマルな文書まで，さまざまなバリエーションがあります。そのどれにHyperCLOVAを適用すると有効なのか，あるいは多くの人にとって有用で，なおかつ開発や構築の面においても無理なくできる領域はどこかといったことを検討しているタイミングです。

考えられるものの1つとしては，ECサイトなどに掲載する商品説明があります。心のこもった文章ではなくて，とにかく商品に関する説明をWebサイトに載せなければならないけれど，大量の商品の説明を書くのは大変である，そういった場面で使えるのではないかと思います。あるいは業務報告書や障害報告書などの作成をAIが肩代わりできれば便利でしょう。

要約にも利用することができます。リリース予定の「CLOVA Note」というサービスを使えば，会議やインタビューの内容を書き起こしできるのですが，さらにHyperCLOVAを使って要約を生成すれば議事録の作成を自動化できます。

目的が明確ではない利用シーンもあるでしょう。たとえば雑談を成立させることができるというのは，それ自体が生産性向上や売上拡大につながるものではないかもしれませんが，我々にとっては非常に重要なトピックです。

このように文章生成や要約，対話のそれぞれにおいて，皆さまのお役に立てるところはあるだろうと思っています。

2022年には204Billionモデルの構築にも着手

――LINE DEVELOPER DAY 2021において，820億（82Billion）という膨大なパラメータを用いた新たな言語モデルを構築中とのお話がありました。82Billionモデルは従来のものに比べ，どういったベネフィットがもたらされるのでしょうか。

佐藤：実は韓国版に関しては82Billionモデルの構築が終わっていて，詳細なデータも論文などとして公表されています。

この82Billionモデルでは，自然言語処理のさまざまなタスクにおいて，既存の39Billionモデルよりも高い性能を達成できることが韓国語版で確認が取れています。当然，日本語版でも同じような傾向の性能向上が見込めると考えています。

ただ，具体的に体験がどこまで上がるのか，どこまで気持ちよい体験になるのかといった部分について，日本語版での使用感は確かめられていません。実際にどうなるのか，すごくワクワクしながら作業を進めています。

また先ほどもお話ししたとおり，日本語のモデルを作る際，英語のモデルと同程度の量のテキストでは十分な性能が出ません。そのため，モデルを構築する際にはパラメータ数の3倍程度のトークンを用意しなければならないことがわかっています。具体的には，従来の39Billionのときに使ったコーパスよりも，82Billionのコーパスは2倍ほど大きくなります。

このようにコーパスが大幅に増えるため，モデルに含まれているコンテンツの量や種類，傾向といったものがより多く含まれることになり，39Billionモデルよりも82Billionモデルは幅広い情報のジャンルを扱うことができると考えています。

このようにパラメータ数や計算のステップ数を増やせば性能は上がることが分析結果で証明されています。では，サンプル数が少ないモデルに価値はないのかというと，決してそんなことはありません。

82Billionモデルの後，2022年には204Billionモデルの構築にも取り組む予定ですが，そのように大きなモデルを構築したとしても，39Bllionモデルで求める性能が得られたり，特定のジャンルにおいて問題なく使えるのであれば価値はあります。

HyperCLOVAのモデルロードマップ

具体的な価値としてあげられるのは，モデルの大きさです。モデルを用いて推定処理を行う際，そのための環境の大きさはモデルの大きさに左右されることになります。39Billionモデルであれば，204Billionモデルを使う場合よりも数分の1サイズの環境で済みます。

そのため，204Billionモデルである必要がなければ，39Billionモデルといった小さいモデルを使うことに経済的合理性があります。実際，我々も39Billionモデルの性能向上やデータの更新に取り組む可能性があります。

エンジニアの皆さんにHyperCLOVAをおもしろがって使っていただきたい

――最後に，予定している今後の取り組みについて教えてください。

佐藤：先ほどお話したとおり，2022年は204Billionモデルの構築を進めることになります。

204Billionモデルになると，必要なコーパスの量が82Billionモデルの2.5倍以上となり，必要になるデータ量が大幅に増加します。一方で，学習におけるトライアンドエラーの回数が単位時間内では減ることになり，難易度は増すと考えています。さらに使用するハードウェアの数が増えるため，その管理コストも増加します。そのほか，モデル構築にかかるエンジニアの負担や，失敗したときにロストする時間も増えていくでしょう。

このように大変なプロジェクトになりますが，完成すればそれに見合うリターンが得られると思っています。

砂金：まず，HyperCLOVAを多くの方々に体験いただく機会として，「⁠HyperCLOVA Hands-on」を12月から1月にかけて開催します。我々がご用意する環境を通して，どのようなことができるのか実際にお試しいただけるイベントです。また，何らかのWebインターフェースを用意して，AIの専門家でなくてもちゃんと使えるような状態で皆さまに公開する準備も進めています。

HyperCLOVA Hands-onの様子

いずれかのタイミングでハッカソンのようなイベントを開催できるといいなとも思っています。ビジネス先行でマーケットを見据えてアプリやサービスを作るということだけではなく，エンジニアの皆さんに我々の技術を面白がっていただき，これを如何に使いこなすかといったところから新しい価値が生まれる可能性がある，HyperCLOVAはそういった技術だと考えています。

また，HyperCLOVAを世の中に出していく際には，いくつかのステップがあると思っています。

現状はLINEのAIカンパニーの中で試行錯誤している状態で，この後はLINEのさまざまなサービスで使われるようになるでしょう。その後は，Yahoo! JAPANやZOZOTOWN，アスクルといったZホールディングスグループ各社のサービスでの活用の可能性があると思います。そして将来的には，外部に公開する可能性もあるでしょう。

その際，裏側でHyperCLOVAの技術が使われていて，それによってユーザ体験が変わったということになればすごくうれしいのですが，ユーザに気づかれたら負けだという感覚もあります。このAI技術はすごいだろうというのは，裸が丸見えの状態みたいで格好悪い（笑⁠）⁠。そうではなく，気づかないようにさっとユーザに手を差し伸べる，あるいは煩雑だった操作がすごく楽になっている，そういったことをユーザに気づかれずにできれば我々の勝ちだと思っています。

もし，一刻も早くHyperCLOVAに触りたいと考えていただけるのであれば，LINEやZホールディングスグループ各社にご入社いただくことが一番の近道だと思うので，ぜひ検討していただきたいですね。

――本日はありがとうございました。

HyperCLOVA Hands-on

https://line.connpass.com/event/231340/

開催日程	2022年1月19日19:00～21:00，1月22日15:00～17:00
開催場所	LINE株式会社 四谷オフィス