目次
1章 ChatGPT
- 01 ChatGPTとは
- ChatGPTの始め方
- ChatGPTの利用例
- 02 ChatGPTの便利な機能
- チャットコメントの編集と操作
- チャット履歴と共有
- 03 プロンプトエンジニアリング
- プロンプトとコンテキスト
- プロンプトエンジニアリング
- 04 ChatGPTのエンジン（大規模言語モデル）
- GPT-4とGPT-3.5
- Web検索連携機能
- マルチモーダル機能（画像を用いたチャット）
- Code Interpreter（プログラムの自動実行）
- 05 GPTs（AIのカスタマイズ機能）
- GPTs
- GPTビルダー
- 06 ChatGPT以外のAIチャットサービス
- Google Gemini
- Microsoft Copilot
- Anthropic Claude
- 07 AIチャットの利用における注意点
- ランダム性がある
- 間違いを含む可能性がある
- 禁止行為
- 入力データの扱い
- GPTsの利用における注意点
2章 人工知能
- 08 AI（人工知能）
- 人工知能とは
- 09 AIの歴史
- AI研究の歴史
- 10 生成AIと汎用人工知能
- 生成AI
- 汎用人工知能（AGI）
3章 機械学習と深層学習
- 11 機械学習
- 機械学習≠機械が学習
- 機械学習の種類
- 推論と学習
- 最適化
- 汎化と過適合
- 12 ニューラルネットワーク
- ニューラルネットワークとは
- ニューラルネットワークの仕組み
- 13 ニューラルネットワークの学習
- 勾配法による学習
- 誤差逆伝播法
- 14 正則化
- ドロップアウト
- バッチ正規化
- ResNet（残差ネットワーク）
- 15 コンピュータで数値を扱う方法
- 2進数による整数と小数の表現
- 浮動小数点数
- 浮動小数点数の代表的なフォーマット
- 浮動小数点数の精度とダイナミックレンジ
- 16 量子化
- モデルサイズとGPUのVRAMの関係
- 量子化
- 17 GPUを使った深層学習
- 計算を速くする方法
- GPU vs CPU
- GPUの成り立ちと汎用計算
- 深層学習への特化が進むGPUとNPU
- GPU/NPUのソフトウェアサポート
4章 自然言語処理
- 18 自然言語処理
- 深層学習以前の自然言語処理
- 自然言語処理と深層学習
- 19 文字と文字コード
- 文字コード
- Unicode
- 20 単語とトークン
- 文をコンピュータに扱えるように分割する
- 単語や文字による分割
- サブワード
- 21 トークナイザー
- トークナイザーの学習
- 語彙数とトークン数のトレードオフ
- 22 Word2Vec
- 「概念」を扱う方法
- Word2Vecによる単語のベクトル表現
- Word2Vecが意味を獲得する仕組み
- 23 埋め込みベクトル
- トークンのベクトルは「意味」を表さない
- 埋め込みベクトル
- さまざまな埋め込みベクトル
5章 大規模言語モデル
- 24 言語モデル
- モデルとは
- 言語モデルとは
- 25 大規模言語モデル
- 大規模言語モデルと「普通の言語能力」
- 26 ニューラルネットワークの汎用性と基盤モデル
- ニューラルネットワークによる特徴抽出
- 基盤モデル
- 基盤モデルで精度が上がる仕組み
- 27 スケーリング則と創発性
- スケーリング則と創発性
- 大規模言語モデルのパラメータ数
- 28 言語モデルによるテキスト生成の仕組み
- 言語モデルによるテキスト生成
- 自己回帰言語モデル
- 貪欲法
- 29 テキスト生成の戦略
- ランダムサンプリングとソフトマックス関数
- 「温度」の働き
- 単語生成の樹形図
- ビームサーチ
- 30 言語モデルによるAIチャット
- 文生成によるAIチャット
- 大規模言語モデルによるAIチャットの問題点
- 31 ローカルLLM
- ローカルLLMとは
- ローカルLLMの環境
- ローカルLLMによる推論のプロセス
- 32 大規模言語モデルのライセンス
- ローカルLLMのエコシステム
- ソフトウェアライセンス
- 大規模言語モデルのライセンスの種類
- 33 大規模言語モデルの評価
- 大規模言語モデルの評価方法
- リーダーボード
- 34 大規模言語モデルの学習〜事前学習〜
- 事前学習と基盤モデル
- 自己教師あり学習
- 基盤モデルの追加学習
- 事前学習の訓練データ
- 35 大規模言語モデルの学習〜ファインチューニング〜
- ファインチューニング
- ファインチューニングの方法
- RLHF（Reinforcement Learning from Human Feedback）
- LoRA（Low-Rank Adaptation）
- 36 コンテキスト内学習
- コンテキスト内学習（In-Context Learning）
6章 トランスフォーマー
- 37 回帰型ニューラルネットワーク（RNN）
- ベクトルの次元
- 回帰型ニューラルネットワーク
- 言語モデルとしてのRNN
- 長距離依存性とLSTM
- エンコーダー・デコーダー
- 38 注意機構（Attention）
- 人間の認知と注意機構
- 注意機構の基本
- エンコーダー・デコーダーと注意機構
- 39 注意機構の計算
- 注意機構の計算
- 注意機構がうまく動く理由
- 40 トランスフォーマー（Transformer）
- トランスフォーマーの基本構成
- 位置エンコーディング
- マルチヘッド注意機構
- 41 BERT
- BERT（バート）の特徴
- BERTの事前学習
- 42 GPT（Generative Pretrained Transformer）
- GPTモデルの基本構造
- Mixture of Experts
7章 APIを使ったAI開発
- 43 OpenAI APIの利用
- OpenAI API
- OpenAI API利用上の注意
- 44 テキスト生成API（Completion API等）
- テキスト生成APIの種類
- 45 OpenAI APIの料金
- OpenAI APIのトークン
- テキスト生成モデルの種類と料金
- OpenAIトークナイザーライブラリtiktoken
- 言語ごとのトークン数の違い
- 46 テキスト生成APIに指定するパラメータ
- テキスト生成APIのパラメータ
- 47 テキスト生成APIと外部ツールの連携〜Function Calling〜
- Function Calling
- LangChainライブラリ
- 機械可読化ツールとしてのFunction Calling
- 48 埋め込みベクトル生成APIと規約違反チェックAPI
- 埋め込みベクトル生成（Embeddings）API
- 埋め込みベクトル生成APIのモデルの種類
- 規約違反チェック（Moderation）API
- 49 OpenAI以外の大規模言語モデルAPIサービス
- Microsoft Azure OpenAI API
- Google Vertex AI
- Amazon Bedrock
- 50 Retrieval Augmented Generation（RAG）
- 外部知識を使ったAIアプリケーションの開発
- RAG（Retrieval Augmented Generation）
8章 大規模言語モデルの影響
- 51 生成AIのリスクとセキュリティ
- 生成AIによる悪影響
- 生成AIの悪用
- 生成AIが不適切な出力を行うリスク
- 生成AIを使ったサービスへの攻撃
- 対策とガイドライン
- 52 AIの偏りとアライメント
- 学習データの偏りがAIに与える影響
- AIの偏りを制御する方法
- 53 ハルシネーション（幻覚）
- AIは間違える
- ハルシネーションの正体
- ハルシネーションの対策
- ハルシネーションをなくせるか？
- 54 AIの民主化
- AI利用の民主化
- AI開発の民主化
- ビッグテックの計算資源
- 55 大規模言語モデルの多言語対応
- ChatGPTは何ヵ国語で使える？
- 大規模言語モデルの言語間格差
- 大規模言語モデルと認知・文化との関係
- 56 AIと哲学
- 知能とは？ 言語とは？
- 中国語の部屋