大規模言語モデル入門Ⅱ
〜生成型LLMの実装と評価

［表紙］大規模言語モデル入門Ⅱ 〜生成型LLMの実装と評価

紙版発売
電子版発売

B5変形判／232ページ

定価3,300円（本体3,000円＋税10%）

ISBN 978-4-297-14393-0

電子版

→学校・法人一括購入ご検討の皆様へ

この本の概要

「大規模言語モデル入門」の続編です。「大規模言語モデル入門」は理論と実装のバランスをとって構成しましたが，本書では実装部分で扱い切れなかった話題を取り上げ，特に大規模言語モデルの評価と生成LLMに関連する解説を充実させます。「大規模言語モデル入門」の9章に続き，10章から始まります。

10章では，後続する章で行う言語モデルの評価方法について解説します。自動評価と人手評価の2つの側面から，ベンチマーク，評価指標，具体的な評価ツールやデータセットなどを取り上げます。11〜13章では，主に大規模言語モデルの性能を上げるためのトピックとして，指示チューニング，人間のフィードバックからの学習，RAGに焦点を当て，それぞれの実装方法，利用するデータセット，評価の方法について解説します。14章では大規模言語モデルの学習における並列・分散処理について詳しく解説します。大規模なデータを限られた計算資源で学習させるノウハウは多くのエンジニアにとって有益な情報となるでしょう。

大規模言語モデルの性能を高めるための各トピックの実装とともに，それぞれの評価について理解できる一冊です。

こんな方におすすめ

  • 大規模言語モデルに興味のあるエンジニア，研究者

著者プロフィール

山田育矢（やまだいくや）

株式会社Studio Ousia チーフサイエンティスト・名古屋大学 客員教授・理化学研究所革新知能統合研究センター客員研究員

2007年にStudio Ousiaを創業し，自然言語処理の技術開発に従事。2016年3月に慶應義塾大学大学院政策・メディア研究科博士後期課程を修了し，博士（学術）を取得。大規模言語モデルLUKEの開発者。全体の監修と12章の一部の執筆を担当。

鈴木正敏（すずきまさとし）

株式会社Studio Ousia ソフトウェアエンジニア・東北大学データ駆動科学・AI教育研究センター学術研究員

2021年3月に東北大学大学院情報科学研究科博士後期課程を修了し，博士（情報科学）を取得。博士課程では質問応答の研究に従事。日本語質問応答のコンペティション「AI王」の実行委員。東北大学が公開している日本語BERTの開発者。第13章の執筆を担当。

西川荘介（にしかわそうすけ）

LINEヤフー株式会社 自然言語処理エンジニア

2022年3月に東京大学大学院情報理工学研究科修士課程を修了。現在は情報検索分野での言語処理に取り組む。第12章の執筆を担当。

藤井一喜（ふじいかずき）

東京工業大学 情報工学系 修士１年・Turing株式会社嘱託研究員

学士，修士課程では大規模モデルの分散並列学習に従事。llm-jp，Swallow Projectにて日本語大規模言語モデルの事前学習を担当。第14章の執筆を担当。

山田康輔（やまだこうすけ）

株式会社サイバーエージェント AI Lab リサーチサイエンティスト・名古屋大学大学院情報学研究科協力研究員

2024年3月名古屋大学情報学研究科博士後期課程を修了し，博士（情報学）を取得。2024年4月より現職。博士後期課程では自然言語処理，特にフレーム意味論に関する研究に従事。第10章の執筆を担当。

李凌寒（りりょうかん）

SB Intuitions株式会社 リサーチエンジニア

2023年3月に東京大学大学院情報理工学系研究科博士後期課程を修了し，博士（情報理工学）を取得。博士課程では言語モデルの解析や多言語応用の研究に従事。現在は日本語大規模言語モデルの開発に取り組む。第11章の執筆を担当。