第1章　ビッグデータの基礎知識

1.1　［背景］ビッグデータの定着

• 分散システムによるデータ処理の高速化　……ビッグデータの扱いづらさを乗り越える二大技術
• 分散システムのビジネス利用の開拓　……データウェアハウスとの共存
• 自分でできる！ データ分析の間口の広がり　……クラウドサービスとデータディスカバリで加速したビッグデータ活用
• 新しい分散データ処理システムの台頭　……Hadoopからの脱却
• ビッグデータを活用した応用分野の広がり　……レポーティング，デジタルマーケティング，人工知能

1.2　ビッグデータ時代のデータ分析基盤

• ［再入門］ビッグデータの技術　……分散システムを活用してデータを加工していくしくみ
• データウェアハウスとデータマート　……データパイプラインの基本形
• データレイク　……あらゆるデータをそのまま貯蔵
• データ分析基盤を段階的に発展させる　……チームと役割分担，スモールスタートと拡張
• データを集める目的　……「検索」「加工」「可視化」の3つの例
• 確証的データ解析と探索的データ解析

1.3　［速習］スクリプト言語によるアドホック分析とデータフレーム

• データ処理とスクリプト言語　……人気のPythonと，データフレーム
• データフレーム，基礎の基礎　……「配列の配列」から作成
• Webサーバーのアクセスログの例　……pandasのデータフレームで簡単処理
• 時系列データを対話的に集計する　……データフレームをそのまま用いてデータ集計
• SQLの結果をデータフレームとして活用する

1.4　BIツールとモニタリング

• スプレッドシートによるモニタリング　……プロジェクトの現状を把握する
• データに基づく意思決定　……KPIモニタリング
• 変化を捉えて詳細を理解する　……BIツールの活用
• 手作業と自動化すべきこととの境界を見極める

1.5　まとめ

第2章　ビッグデータの探索

2.1　基本のクロス集計

• トランザクションテーブル，クロステーブル，ピボットテーブル　……クロス集計の考え方
• ルックアップテーブル　……テーブルを結合して属性を増やす
• SQLによるテーブルの集約　……大量データのクロス集計の事前準備
• データ集約➡「データマート」➡可視化　……システム構成はデータマートの大きさで決まる

2.2　列指向ストレージによる高速化

• データベースの遅延を小さくする
• 列指向データベースのアプローチ　……カラムを圧縮してディスクI/Oを減らす
• MPPデータベースのアプローチ　……並列化によってマルチコアを活用する

2.3　アドホック分析と可視化ツール

• Jupyter Notebookによるアドホック分析　……ノートブックに分析過程を記録する
• ダッシュボードツール　……定期的に集計結果を可視化する
• BIツール　……対話的なダッシュボード

2.4　データマートの基本構造

• 可視化に適したデータマートを作る　……OLAP
• テーブルを非正規化する
• 多次元モデル　……可視化に備えてテーブルを抽象化する

2.5　まとめ

第3章　ビッグデータの分散処理

3.1　大規模分散処理のフレームワーク

• 構造化データと非構造化データ
• Hadoop　……分散データ処理の共通プラットフォーム
• Spark　……インメモリ型の高速なデータ処理

3.2　クエリエンジン

• データマート構築のパイプライン
• Hiveによる構造化データの作成
• 対話型クエリエンジンPrestoのしくみ　……Prestoで構造化データを集計する
• データ分析のフレームワークを選択する　……MPPデータベース，Hive，Presto，Spark

3.3　データマートの構築

• ファクトテーブル　……時系列データを蓄積する
• サマリーテーブル　……レコード数を削減する
• スナップショットテーブル　……マスタの状態を記録する
• 履歴テーブル　……マスタの変化を記録する
• ［最終ステップ］ディメンションを追加して非正規化テーブルを完成させる

3.4　まとめ

第4章　ビッグデータの蓄積

4.1　バルク型とストリーミング型のデータ収集

• オブジェクトストレージとデータインジェスション　……分散ストレージにデータを取り込む
• バルク型のデータ転送　……ETLサーバー設置の必要性
• ストリーミング型のメッセージ配送　……次々と送られてくる小さなデータを扱うために

4.2　［性能×信頼性］メッセージ配送のトレードオフ

• メッセージブローカ　……ストレージの性能問題を解決する中間層の設置
• メッセージ配送を確実に行うのは難しい　……信頼性の問題と3つの設計方式
• 重複排除は高コストなオペレーション
• データインジェスションのパイプライン　……長期的なデータ分析に適したストレージ

4.3　時系列データの最適化

• プロセス時間とイベント時間　……データ分析の対象はおもにイベント時間
• プロセス時間による分割と問題点　……極力避けたいフルスキャン
• 時系列インデックス　……イベント時間による集計の効率化❶
• 述語プッシュダウン　……イベント時間による集計の効率化❷
• イベント時間による分割　……テーブルパーティショニング，時系列テーブル

4.4　非構造化データの分散ストレージ

• ［基本戦略］NoSQLデータベースによるデータ活用
• 分散KVS　……ディスクへの書き込み性能を高める
• ワイドカラムストア　……構造化データを分散して格納する
• ドキュメントストア　……スキーマレスデータを管理する
• 検索エンジン　……キーワード検索でデータを絞り込む

4.5　まとめ

第5章　ビッグデータのパイプライン

5.1　ワークフロー管理

• ［基礎知識］ワークフロー管理　……データの流れを一元管理する
• エラーからのリカバリー方法を先に考える
• 冪等な操作としてタスクを記述する　……同じタスクを何度実行しても同じ結果になる
• ワークフロー全体を冪等にする
• タスクキュー　……リソースの消費量をコントロールする

5.2　バッチ型のデータフロー

• MapReduceの時代は終わった　……データフローとワークフロー
• MapReduceに代わる新しいフレームワーク　……DAGによる内部表現
• データフローとワークフローとを組み合わせる
• データを取り込むフロー
• データを書き出すフロー
• データフローとSQLとを使い分ける　……データウェアハウスのパイプラインとデータマートのパイプラン

5.3　ストリーミング型のデータフロー

• バッチ処理とストリーム処理とで経路を分ける
• ストリーム処理とバッチ処理とを統合する
• ストリーム処理の結果をバッチ処理で置き換える　……ストリーム処理の二つの問題への対処
• アウトオブオーダーなデータ処理

5.4　まとめ

第6章　ビッグデータと機械学習

6.1　特徴量ストア

• 機械学習のための特徴量ストア
• 特徴量ストアによるデータ管理
• 特徴量ストアの実装例

6.2　MLOps

• 機械学習のためにデータパイプラインを構築する
• MLOpsの全体構成　……三段階の発展
• MLOpsと特徴量ストア
• Kubeflow　……機械学習のオーケストレーション
• その他の機能　……Metadata，Katib，Tools for Servingなど

6.3　まとめ

第7章　［実践］ビッグデータ分析基盤の構築

7.1　ノートブックとアドホック分析

• 学習にあたって
• サンプルデータの内容　……5分ごとの気温
• 作業環境の構築　……MultipassでUbuntu 20.04を起動する
• PythonスクリプトによるCSVファイルの収集
• データの内容を確認する　……pandas
• Sparkによる分散環境を整える
• 可視化によるデータ検証　……Tableau Public

7.2　バッチ型のデータパイプライン

• Dockerによる環境構築　……ラップトップ上での開発環境
• オブジェクトストレージ　……MinIO
• 構造化データの管理　……Hiveメタストア
• オブジェクトストレージへのデータ転送
• ETLプロセス　……Spark
• クエリエンジンによるデータ集計　……Presto
• ダッシュボードツールによる可視化　……Metabase
• 特徴量エンジニアリング　……SQLとSpark

7.3　ワークフロー管理ツールによる自動化

• Prefect　……スクリプト型のワークフロー管理
• バッチ型のデータパイプラインを定義する
• 本番環境におけるワークフロー管理
• ワークフローのオーケストレーション　……ロジックと構成定義とを分離する
• 作業環境の削除　……multipass delete

7.4　まとめ