目次

第1章　Hadoopを知る

1-1　Apache Hadoopとは

• Hadoopのルーツは検索エンジンにあり
• Hadoopの誕生

1-2　なぜHadoopが必要となるのか

• トランザクションシステムの三種の神器とは
• 処理の分散とデータの集中
• 爆発的に増えるデータをいかに活用するか

1-3　アーキテクチャを理解する

• Hadoopのマシン構成
• データと処理、2つの分散
• よくある誤解

1-4　さまざま視点から導入を検討する

• Hadoopで可能性が広がる分野とは
• ビッグデータ関連技術で役立てるには
• 立場ごとにどのようにHadoopに取り組むか

1-5　Hadoopエコシステムを理解する

• 中核となる3つのサブプロジェクト
• 8つの関連プロジェクト
• Incubatorに属するプロジェクトなど

第2章　ディストリビューションとインストール

2-1　Hadoopを利用するにあたって

• トップページにアクセスする
• 安定バージョンとは
• ドキュメントサイトにアク セスする
• Apache Hadoopをダウンロードする

2-2　ディストリビューションを確認する

• どこからはじめればよいか
• ディストリビューションを選択するメリットとデメリット
• 3つのディストリビューションとは
• CDHのバージョンを理解する
• CDHのコンポーネントを確認する

2-3　Hadoopを使う準備をする

• 本書での利用環境を確認する
• 本書で利用するサンプルデータとアプリケーション
• オペレーティングシステムを選択する
• Java仮想マシンをインストールする
• CDHをインストールする4つの方法
• RPM互換パッケージ管理システムでインストールする
• パッケージを利用してリポジトリをインストールする
• リポジトリファイルを手動でコピーする
• ローカルリポジトリを作成する（サーバ設定）
• ローカルリポジトリを作成する（クライアント設定）

2-4　Hadoopをインストールする

• インストールパッケージの一覧
• インストール前に確認すること
• パッケージ管理システムでのインストールにおける注意点
• 関連コンポーネントのパッケージ一覧
• Hadoop本体のインストール

2-5　基本設定をする

• 3種類の動作モードを理解する
• 設定ファイルの扱いを知る
• デーモンの種類と役割
• Hadoopを操作するコマンド

2-6　スタンドアローンモードで動作させる

• 実行方法
• 再実行する際の注意

2-7　擬似分散モードでMRv1を起動する（CDH3）

• インストール
• デーモンを起動
• Grepサンプルアプリケーションを実行する
• デーモンを停止する

2-8　擬似分散モードでYARNを起動する（CDH4）

• インストール
• HDFSのフォーマットと起動
• YARNの起動と準備
• Grepサンプルアプリケーションを実行する
• デーモンを停止する

2-9　Webユーザーインタフェースを利用する

• Webユーザーインタフェースの種類
• ネームノード（HDFS）
• ジョブトラッカー（MapReduce）
• リソースマネージャ（YARN）
• クラスタ
• ノードマネージャ
• アプリケーション

第3章　アーキテクチャを理解する

3-1　クラスタのしくみ

• なぜクラスタが必要になるのか
• マスターノードとスレーブノード
• デーモンプロセスの3つの分類

3-2　HDFSのしくみ

• ネームノードとデータノードから構成される
• HDFSでデータが書き込まれる流れ
• データロストを回避するしくみ
• ネームノードの挙動を知る
• セカンダリネームノードの役割

3-3　Hadoop2で追加されたHDFSの機能拡張

• HDFSフェデレイション
• 高可用性HDFS

3-4　MapReduce 1のしくみ

• ジョブトラッカーとタスクトラッカーはどのように連携するか
• ジョブが実行されるしくみ
• タスクが実行されるしくみ

3-5　次世代MapReduce「YARN」とは

• MapReduce 1とYARNを比較する
• 今後YARNに対応されるアプリケーション
• YARNの概要
• リソースマネージャの役割を把握する

第4章　ファイルシステムを操作する

4-1　HDFSとは

• そもそもファイルシステムとは
• HDFSのブロック配置イメージ
• HDFSのメタデータ
• メタデータを管理する「編集ログ」
• HDFS上でのファイル書き込みや読み込み

4-2　HDFSを操作する

• HDFSのおもなコマンドオプション
• ディレクトリを作成する
• ディレクトリ／ファイル一覧を表示する
• ローカルファイルシステムからHDFSへファイルをコピーする
• HDFSからローカルファイルシステムへファイルをコピーする
• ファイルを削除する
• ディレクトリを削除する
• HDFS上でファイルやディレクトリをコピーする
• HDFS上でディレクトリやファイルを移動する
• ディレクトリやファイルのパーミッションを変更する

4-3　ファイルパーミッションを設定する

• パーミッションのチェックを無効にする
• パーミッションをチェックする場合としない場合の動作の違い

4-4　HDFSをメンテナンスする

• 使用率を確認する
• ファイルシステムをチェックする
• メタデータをバックアップする
• メタデータをリストアする

第5章ノンプログラミングでデータを操作する

5-1　Hiveを使ってデータを操作する

• Hiveとは
• Hiveはどのように実行されるのか
• Hiveのアーキテクチャ
• Hiveを使用するための準備
• HiveQLとSQLを比較する
• HiveQLでサポートしているデータ型
• Hiveを操作する準備
• データベースを作成する
• テーブルを作成する
• データをインポートする
• データを検索する
• テーブルを結合する
• データをエクスポートする
• その他Hiveに関する補足事項
• JDBCからHiveを使用する

5-2　Pigを使ってデータを操作する

• Pigとは
• Pigの処理イメージ
• Pigを利用するための準備
• Pigを起動する
• Pig Latinで使う用語
• Pig Latinのデータ型
• Pigの演算子
• データを読み込む
• ロードされたデータを確認する
• データを検索する
• 商品ごとの売上件数をカウントする
• データを結合する
• データをエクスポートする
• ユーザー関数（UDF）を作成する

第6章　プログラミングでMapReduceを使う

6-1　MapReduceの基礎を知る

• MapReduceとは
• MapとReduceの役割
• 分散処理の流れ
• MapReduceジョブに最低限実装すべきもの
• MapReduceジョブにおけるデータフロー
• キーと値のデータ型について

6-2　MapReduce ジョブの実装を理解する

• それぞれのAPIの特色
• 実装するメソッドの種類
• 旧APIと新APIそれぞれでWordCountの実装を見る

6-3　コンパイルから実行までの手順を確認する

• MapReduce実行のための準備
• ソースコードのコンパイルから実行結果の確認まで
• MapReduceジョブ実行時の各デーモンの動作について
• 圧縮ファイルを利用する
• MapReduceジョブで集計する
• 1つのジョブでフォーマットの異なる2つの入力データを扱う
• 分散キャッシュを利用する
• サンプルアプリケーションのソースコード
• サンプルの実行手順
• 結合の種類と注意点
• MapReduceジョブのログを出力する
• 例外処理の注意点
• MapReduceジョブをチューニングする
• データ数に偏りが生じる場合の対処法（Partitioner）

6-4　テストの考え方

• MRUnitを使うための準備
• Mapperをテストする
• Reducerをテストする
• ジョブとしてテストする
• コンパイルと実行

6-5　MapReduceジョブを操作する

• ジョブが終了するまで待つ場合
• ジョブの終了を待たない場合
• 実行中のジョブを確認する
• 実行中のジョブを停止する

6-6　Hadoop Streamingを利用する

• Ruby版WordCountアプリケーション
• サンプルの実行方法

第7章　ランダムアクセスできるデータベースとして使う

7-1　カラム指向データベース「HBase」を活用する

• データベースの今と昔
• 分散データベースとCAP定理
• HBaseの特徴とは
• HBaseとRDBMSを比較する

7-2　HBaseのアーキテクチャとは

• データモデルを理解する
• クラスタのアーキテクチャを把握する
• データフローを追う
• HBaseのデザイン

7-3　HBaseを利用するには

• HBaseをインストールする
• 追加設定のポイント
• HBaseを起動する
• HBaseのWeb UIを利用する

7-4　HBaseシェルとは

• HBaseシェルでできること
• HBaseシェルの起動と終了
• テーブルの作成と確認
• データにアクセスする
• テーブルを変更／削除する
• シェルスクリプティングを活用する

7-5　HBase APIを活用する

• 設定ファイルを読み込む
• テーブルを作成する
• データを挿入する
• データを取得する（get)
• データを取得する（scan)
• Filterで特定のデータに絞り込む

7-6　ブログアプリケーションを作成する

• テーブルを設計する
• JSPを実装する
• デプロイする

第8章　クラスタを構成する

8-1　クラスタの構築を検討する

• 本章での利用環境について
• 構成を検討する
• サーバの配置を決定する
• デーモンを配置する
• ハードウェアの選定とOSのインストール

8-2　CDH3でクラスタを構築する

• 設定ファイルについて
• パラメータを設定する
• 構築作業の手順
• リポジトリを準備する（オプション）
• 共通設定をする
• CDH3をインストールする
• クラスタを設定する
• CDHの起動と停止
• クライアントノードとは
• スレーブノードの追加と削除

8-3　CDH4でクラスタを構築する

• 設定ファイルについて
• パラメータを設定する
• 構築の作業手順
• CDH4をインストールする
• クラスタを設定する
• CDH4の起動と停止
• スレーブノードの追加と削除

8-4　CDH4で高可用性HDFSを構築する

• 構築を検討する
• マスターノードを追加する
• HA HDFSを設定する
• 起動と停止

付録

A-1　Sqoopを利用する

• Sqoopとは
• Sqoopをインストールする
• Sqoopをもちいてデータを転送する
• より高度な機能と注意点

A-2　参考文献

今後の学習のポイント

• MapReduceプログラミングの応用
• Hadoopをベースにした製品の活用
• Hadoopの管理と監視
• Hadoopと他システムとのインテグレーション