第1章　ビッグデータの基礎知識

1.1　［背景］ビッグデータの定着

• 分散システムによるデータ処理の高速化　……ビッグデータの扱いづらさを乗り越える二大技術
  • ビッグデータ技術への要求　……HadoopとNoSQLの台頭
  • Hadoop　……多数のコンピュータで大量のデータ処理
  • NoSQLデータベース　……頻繁な読み書き＆分散処理に強みあり
  • HadoopとNoSQLデータベースの組み合わせ　……現実的なコストで大規模データ処理を実現
• 分散システムのビジネス利用の開拓　……データウェアハウスとの共存
• 自分でできる！ データ分析の間口の広がり　……クラウドサービスとデータディスカバリで加速したビッグデータ活用
  • Column　スモールデータ＆ビッグデータの活用　……スモールデータの技術も重要
  • データディスカバリの基礎知識　……セルフサービスのBIツール

1.2　ビッグデータ時代のデータ分析基盤

• ［再入門］ビッグデータの技術　……分散システムを活用してデータを加工していく仕組み
  • データパイプライン　……データ収集からワークフロー管理まで
  • データ収集　……バルク型とストリーミング型のデータ転送
  • ストリーム処理とバッチ処理
  • 分散ストレージ　……オブジェクトストレージ，NoSQLデータベース
  • 分散データ処理　……クエリエンジン，ETLプロセス
  • ワークフロー管理
• データウェアハウスとデータマート　……データパイプラインの基本形
• データレイク　……あらゆるデータをそのまま貯蔵
  • データレイクとデータマート　……必要なデータはデータマートにまとめる
• データ分析基盤を段階的に発展させる　……チームと役割分担，スモールスタートと拡張
  • アドホック分析とダッシュボードツール
  • Column　データパイプラインの大きな流れは変わらない
  • データマートとワークフロー管理
• データを集める目的　……「検索」「加工」「可視化」の3つの例
  • データの検索
  • データの加工
  • データの可視化
  • Column　基幹系システムと情報系システムを分離しよう
• 確証的データ解析と探索的データ解析

1.3　［速習］スクリプト言語によるアドホック分析とデータフレーム

• データ処理とスクリプト言語　……人気のPythonと，データフレーム
• データフレーム，基礎の基礎　……「配列の配列」から作成
• Webサーバーのアクセスログの例　……pandasのデータフレームで簡単処理
  • データの前処理で使えるpandasの関数
• 時系列データを対話的に集計する　……データフレームをそのまま用いてデータ集計
  • Column　スモールデータの技術をうまく使っていく
• SQLの結果をデータフレームとして活用する
  • 実行結果を確認するところではデータフレームを使う

1.4　BIツールとモニタリング

• スプレッドシートによるモニタリング　……プロジェクトの現状を把握する
• データに基づく意思決定　……KPIモニタリング
  • 月次レポート　……スプレッドシートによるレポート作成とその限界
• 変化を捉えて詳細を理解する　……BIツールの活用
  • モニタリングの基本戦略とBIツール　……定期的なレポートによる変化の把握と再集計
  • Tip　BIツールは，自分でデータを見るために。
• 手作業と自動化すべきこととの境界を見極める
  • 手作業で済むことは手作業で済ませる
  • 自動化したいときにはデータマートを作る

1.5　まとめ

第2章　ビッグデータの探索

2.1　基本のクロス集計

• トランザクションテーブル，クロステーブル，ピボットテーブル　……クロス集計の考え方
  • ピボットテーブル機能によるクロス集計
• ルックアップテーブル　……テーブルを結合して属性を増やす
  • BIツールによるクロス集計
  • pandasによるクロス集計
• SQLによるテーブルの集約　……大量データのクロス集計の事前準備
  • Column　テーブルの縦横変換❶［SQL編］
  • Column　テーブルの縦横変換❷［pandas編］
• データ集約➡「データマート」➡可視化　……システム構成はデータマートの大きさで決まる

2.2　列指向ストレージによる高速化

• データベースの遅延を小さくする
  • データ処理の遅延　……遅延の小さいデータマート作成のための基礎知識
  • 「圧縮」と「分散」によって遅延を小さくする　……MPPの技術
• 列指向データベースのアプローチ　……カラムを圧縮してディスクI/Oを減らす
  • Column　スループットとレイテンシ
  • 行指向データベース　……各行がディスク上で一連のデータとして書き込まれる
  • 列指向データベース　……カラムごとにデータをまとめておく
• MPPデータベースのアプローチ　……並列化によってマルチコアを活用する
  • MPPデータベースと対話型クエリエンジン
  • Column　リソース消費を制限する　……列指向ストレージ×MPPによる高速化と注意点

2.3　アドホック分析と可視化ツール

• Jupyter Notebookによるアドホック分析　……ノートブックに分析過程を記録する
  • ノートブック内での可視化
  • ノートブックによるワークフロー　……一連のタスクをまとめて実行
  • Tip　ノートブックの共有
• ダッシュボードツール　……定期的に集計結果を可視化する
  • Redash　……SQLによるクエリの実行結果をそのまま可視化
  • Column　データマートは必要なくなるか？
  • Superset　……画面上でマウス操作によってグラフを作る
  • Column　CSVファイルによる簡易的なデータマート
  • Kibana　……Elasticsearchのフロントエンドでリアルタイムに作成
  • Column　可視化ツールの選択の指針　……どれを使う？
• BIツール　……対話的なダッシュボード
  • 1つのデータを多角的に分析する

2.4　データマートの基本構造

• 可視化に適したデータマートを作る　……OLAP
  • 多次元モデルとOLAPキューブ
  • MPPデータベースと非正規化テーブル
• テーブルを非正規化する
  • ファクトテーブルとディメンジョンテーブル
  • スタースキーマと非正規化　……ファクトテーブルを中心に複数のディメンジョンテーブルを結合
  • 非正規化テーブル　……データマートに正規化は必要ない
  • Tip　データウェアハウスとスタースキーマ
• 多次元モデル　……可視化に備えてテーブルを抽象化する
  • モデルの定義を拡張する
  • Column　ブレイクダウン分析

2.5　まとめ

第3章　ビッグデータの分散処理

3.1　大規模分散処理のフレームワーク

• 構造化データと非構造化データ
  • スキーマレスデータ 　……基本書式はある，スキーマは定めない
  • データ構造化のパイプライン　……テーブル形式にして列指向ストレージに長期保存
  • 列指向ストレージの作成　……分散ストレージ上に作成して効率良くデータ集計
• Hadoop　……分散データ処理の共通プラットフォーム
  • 分散システムのコンポーネント　……HDFS，YARN，MapReduce
  • 分散ファイルシステムとリソースマネージャ　……HDFS，YARN
  • Tip　YARNコンテナ
  • 分散データ処理とクエリエンジン　……MapReduce，Hive
  • Hive on Tez
  • Tip　Hive on Spark
  • 対話型クエリエンジン　……ImpalaやPresto
• Spark　……インメモリ型の高速なデータ処理
  • MapReduceを置き換える　……Sparkの位置付け

3.2　クエリエンジン

• データマート構築のパイプライン
• Hiveによる構造化データの作成
  • 列指向ストレージへの変換　……データ集計の高速化（バッチ型クエリエンジン向け）
  • Hiveで非正規化テーブルを作成する
  • サブクエリ内でレコード数を削減する　……早い段階でファクトテーブルを小さくする
  • データの偏りを避ける　……分散システムの性能発揮のために
  • Tip　ベストプラクティス
• 対話型クエリエンジンPrestoのしくみ　……Prestoで構造化データを集計する
  • プラグイン可能なストレージ　……1つのクエリの中から複数のデータソースに接続可能
  • CPU処理の最適化　……読み込みもコードも並列実行
  • Tip　Prestoのリソース管理
  • インメモリ処理による高速化　……クエリ実行には極力，対話型クエリエンジンを
  • 分散結合とブロードキャスト結合
  • 列指向ストレージの集計　……Prestoによる高速集計
• データ分析のフレームワークを選択する　……MPPデータベース，Hive，Presto，Spark
  • MPPデータベース　……完成した非正規化テーブルの高速集計に向いている
  • Hive　……データ量に左右されないクエリエンジン
  • Presto　……速度重視＆対話型特化のクエリエンジン
  • Spark　……分散システムを使ったプログラミング環境
  • Column　Mesosによるリソース管理

3.3　データマートの構築

• ファクトテーブル　……時系列データを蓄積する
  • テーブルパーティショニング　……物理的なパーティションに分割
  • データマートの置換
  • Tip　データ量を最初に見積もる
• サマリーテーブル　……レコード数を削減する
• スナップショットテーブル　……マスタの状態を記録する
  • Column　サマリーテーブルからの数値計算に注意
  • Column　スナップショットの日付に注意
  • Tip　スナップショット時に非正規化する
• 履歴テーブル　……マスタの変化を記録する
• ［最終ステップ］ディメンジョンを追加して非正規化テーブルを完成させる
  • データ集約の基本形

3.4　まとめ

第4章　ビッグデータの蓄積

4.1　バルク型とストリーミング型のデータ収集

• オブジェクトストレージとデータインジェスション　……分散ストレージにデータを取り込む
  • データインジェスション
• バルク型のデータ転送　……ETLサーバー設置の必要性
  • ファイルサイズの適正化は比較的簡単
  • データ転送のワークフロー　……ワークフロー管理ツールとの親和性
• ストリーミング型のメッセージ配送　……次々と送られてくる小さなデータを扱うために
  • Webブラウザからのメッセージ配送　……Fluentd，Logstash，Webイベントトラッキング
  • Column　Fluentdによるメッセージ配送
  • モバイルアプリからのメッセージ配送　……MBaaS，SDK
  • デバイスからのメッセージ配送　……MQTTを例に
  • メッセージ配送の共通化　……異なる部分と共通する部分を分離して考える

4.2　［性能×信頼性］メッセージ配送のトレードオフ

• メッセージブローカ　……ストレージの性能問題を解決する中間層の設置
  • プッシュ型とプル型　……スケーラビリティ向上とファイルサイズ適正化
  • メッセージルーティング
• メッセージ配送を確実に行うのは難しい　……信頼性の問題と3つの設計方式
  • at most once
  • exactly once
  • at least once　……重複排除は利用者に任されている
  • Tip　信頼性のないメッセージ配送
• 重複排除は高コストなオペレーション
  • オフセットを用いた重複排除
  • ユニークIDによる重複排除
  • エンドツーエンドの信頼性
  • ユニークIDを用いた重複排除の方法　……NoSQLデータベース，SQL
• データインジェスションのパイプライン　……長期的なデータ分析に適したストレージ
  • 重複を考慮したシステム設計　……ビッグデータシステムにおける「重複」の考え方
  • Column　メッセージブローカと信頼性

4.3　時系列データの最適化

• プロセス時間とイベント時間　……データ分析の対象はおもにイベント時間
• プロセス時間による分割と問題点　……極力避けたいフルスキャン
• 時系列インデックス　……イベント時間による集計の効率化❶
• 述語プッシュダウン　……イベント時間による集計の効率化❷
  • Tip　頻繁な書き込みは最適化の効果を下げる
• イベント時間による分割　……テーブルパーティショニング，時系列テーブル
  • データマートをイベント時間で並び替える

4.4　非構造化データの分散ストレージ

• ［基本戦略］NoSQLデータベースによるデータ活用
• 分散KVS　……ディスクへの書き込み性能を高める
  • Amazon DynamoDB
  • Tip　DynamoDB StreamsとKinesis Stream
  • Column　［基礎知識］ACID特性とCAP定理
• ワイドカラムストア　……構造化データを分散して格納する
  • Apache Cassandra
• ドキュメントストア　……スキーマレスデータを管理する
  • Tip　RDBとドキュメントストア
  • MongoDB
• 検索エンジン　……キーワード検索でデータを絞り込む
  • Column　フルスキャンによる全文検索
  • Elasticsearch
  • Tip　ドキュメントストアとしてのElasticsearch
  • Splunk
  • Column　モバイル機器の時計は狂っている（!?）　……壊れたデータは除外する

4.5　まとめ

第5章　ビッグデータのパイプライン

5.1　ワークフロー管理

• ［基礎知識］ワークフロー管理　……データの流れを一元管理する
  • ワークフロー管理ツール
  • ワークフロー管理ツールとタスク
  • 基本機能とビッグデータで求められる機能
  • 宣言型とスクリプト型　……ワークフロー管理ツールの種類
  • Column　自家製のワークフロー管理ツール
• エラーからのリカバリー方法を先に考える
  • リカバリーとフローの再実行
  • Column　ワークフローのバージョン管理
  • Tip　タスクをなるべく小さく保つ
  • リトライ　……何度も繰り返すエラーは自動化したい
  • バックフィル　……一定期間のフローを連続して実行する仕組み
• 冪等な操作としてタスクを記述する　……同じタスクを何度実行しても同じ結果になる
  • アトミック操作
  • 冪等な操作　……追記と置換
  • 冪等な追記
  • Column　タスク内部でのリトライ制御
  • アトミックな追記
• ワークフロー全体を冪等にする
• タスクキュー　……リソースの消費量をコントロールする
  • ボトルネックの解消
  • タスク数の適正化　……大き過ぎず，小さ過ぎず，程良く分割

5.2　バッチ型のデータフロー

• MapReduceの時代は終わった　……データフローとワークフロー
  • MapReduceの仕組み
• MapReduceに代わる新しいフレームワーク　……DAGによる内部表現
  • SparkにおけるDAG
• データフローとワークフローとを組み合わせる
  • データを取り込むフロー
  • データを書き出すフロー
• データフローとSQLとを使い分ける　……データウェアハウスのパイプラインとデータマートのパイプラン
  • 対話的なフロー　……アドホック分析のパイプライン

5.3　ストリーミング型のデータフロー

• バッチ処理とストリーム処理とで経路を分ける
• ストリーム処理とバッチ処理とを統合する
  • Spark StreamingにおけるDAG
  • Column　ストリーム処理による1次集計
• ストリーム処理の結果をバッチ処理で置き換える　……ストリーム処理の二つの問題への対処
  • ラムダアーキテクチャ　……バッチレイヤ，サービングレイヤ，スピードレイヤ
  • カッパアーキテクチャ
• アウトオブオーダーなデータ処理
  • 本来のデータの姿は「イベント時間」から得られる
  • イベント時間ウィンドウイング

5.4　まとめ

第6章　ビッグデータ分析基盤の構築

6.1　スキーマレスデータのアドホック分析

• スキーマレスデータを収集する
  • 試験環境の構築
• 対話的な実行環境の準備
  • Column　データ分析の環境を仮想化する　……Docker
• Sparkによる分散環境　……データ量が増えても対応可能に
  • MongoDBのアドホック集計
  • テキストデータの加工　……スクリプト言語の活用
  • SparkプログラムにおけるDAGの実行
• データを集約してデータマートを構築する
  • カーディナリティの削減　……可視化のプロセスに効く
  • Column　pandasからCSVファイル以外の出力
  • CSVファイルの作成　……spark-csvライブラリ，pandasのデータフレーム
• BIツールでデータを可視化する
  • Column　デスクトップ型のBIツールとWeb型のBIツール

6.2　Hadoopによるデータパイプライン

• 日次のバッチ処理をタスク化する
• ［タスク1］Embulkによるデータ抽出
• ［タスク2］Hiveによるデータ構造化
• ［タスク3］Prestoによるデータ集約

6.3　ワークフロー管理ツールによる自動化

• Airflow　……スクリプト型のワークフロー管理
  • ワークフローの定義
  • タスクの定義
• ワークフローをターミナルから実行する
  • airflow test
  • Column　Pythonスクリプトをワークフローに組み込む
  • airflow backfill
• スケジューラを起動してDAGを定期実行する
  • エラーからのリカバリー
  • スケジュールの設定
  • Tip　ワークフローの更新
• タスクが消費するリソースを制御する
  • タスクの分散処理　……リモートでワーカーを実行する
  • Tip　一時ディレクトリ
• Hadoopのデータパイプラインを実行する

6.4　クラウドサービスによるデータパイプライン

• データ分析とクラウドサービスの関係
• Amazon Web Services
• Google Cloud Platform
• Treasure Data
  • Digdag　……宣言型のワークフロー管理
  • Column　Amazon RedshiftとGoogle BigQueryの違い

6.5　まとめ

• • Column　ビッグデータと機械学習の関係　……データを使って価値を生み出す