目次
第1章 分析コンペとは?
- 1.1 分析コンペって何？
- 1.1.1 何をするものか
- 1.1.2 予測結果の提出と順位表（Leaderboard）
- 1.1.3 チームでの参加
- 1.1.4 入賞賞金・特典
- 1.2 分析コンペのプラットフォーム
- 1.2.1 Kaggle
- 1.2.2 Rankings（ランキング・称号制度）
- 1.2.3 Kernel
- 1.2.4 Discussion
- 1.2.5 Datasets
- 1.2.6 API
- 1.2.7 Newsfeed
- 1.2.8 開催された分析コンペの種類と具体例
- 1.2.9 分析コンペのフォーマット
- 1.3 分析コンペに参加してから終わるまで
- 1.3.1 分析コンペに参加
- 1.3.2 規約に同意
- 1.3.3 データをダウンロード
- 1.3.4 予測値の作成
- 1.3.5 予測値の提出
- 1.3.6 Public Leaderboardをチェック
- 1.3.7 最終予測値を選ぶ
- 1.3.8 Private Leaderboardをチェック
- 1.4 分析コンペに参加する意義
- 1.4.1 賞金を得る
- 1.4.2 称号やランキングを得る
- 1.4.3 実データを用いた分析の経験・技術を得る
- 1.4.4 データサイエンティストとのつながりを得る
- 1.4.5 就業機会を得る
- 1.5 上位を目指すためのポイント
- 1.5.1 タスクと評価指標
- 1.5.2 特徴量の作成
- 1.5.3 モデルの作成
- 1.5.4 モデルの評価
- 1.5.5 モデルのチューニング
- 1.5.6 アンサンブル
- 1.5.7 分析コンペの流れ
- Column 計算リソース
第2章 タスクと評価指標
- 2.1 分析コンペにおけるタスクの種類
- 2.1.1 回帰タスク
- 2.1.2 分類タスク
- 2.1.3 レコメンデーション
- 2.1.4 その他のタスク
- 2.2 分析コンペのデータセット
- 2.2.1 テーブルデータ
- 2.2.2 外部データ
- 2.2.3 時系列データ
- 2.2.4 画像や自然言語などのデータ
- 2.3 評価指標
- 2.3.1 評価指標（evaluation metrics）とは
- 2.3.2 回帰における評価指標
- 2.3.3 二値分類における評価指標〜正例か負例かを予測値とする場合
- 2.3.4 二値分類における評価指標〜正例である確率を予測値とする場合
- 2.3.5 多クラス分類における評価指標
- 2.3.6 レコメンデーションにおける評価指標
- 2.4 評価指標と目的関数
- 2.4.1 評価指標と目的関数の違い
- 2.4.2 カスタム評価指標とカスタム目的関数
- 2.5 評価指標の最適化
- 2.5.1 評価指標の最適化のアプローチ
- 2.5.2 閾値の最適化
- 2.5.3 閾値の最適化をout-of-foldで行うべきか？
- Column out-of-foldとは？
- 2.5.4 予測確率とその調整
- 2.6 評価指標の最適化の例
- 2.6.1 balanced accuracyの最適化
- 2.6.2 mean-F1における閾値の最適化
- 2.6.3 quadratic weighted kappaにおける閾値の最適化
- 2.6.4 カスタム目的関数での評価指標の近似によるMAEの最適化
- 2.6.5 MCCのPR-AUCによる近似とモデル選択
- 2.7 リーク（data leakage）
- 2.7.1 予測に有用な情報が想定外に漏れている意味でのリーク
- 2.7.2 バリデーションの枠組みの誤りという意味でのリーク
第3章 特徴量の作成
- 3.1 本章の構成
- 3.2 モデルと特徴量
- 3.2.1 モデルと特徴量
- 3.2.2 ベースラインとなる特徴量
- 3.2.3 決定木の気持ちになって考える
- 3.3 欠損値の扱い
- 3.3.1 欠損値のまま取り扱う
- 3.3.2 欠損値を代表値で埋める
- 3.3.3 欠損値を他の変数から予測する
- 3.3.4 欠損値から新たな特徴量を作成する
- 3.3.5 データ上の欠損の認識
- 3.4 数値変数の変換
- 3.4.1 標準化（standardization）
- Column データ全体の数値を利用して変換を行うときに，学習データのみを使うか，テストデータも使うか
- 3.4.2 Min-Maxスケーリング
- 3.4.3 非線形変換
- 3.4.4 clipping
- 3.4.5 binning
- 3.4.6 順位への変換
- 3.4.7 RankGauss
- 3.5 カテゴリ変数の変換
- 3.5.1 one-hot encoding
- 3.5.2 label encoding
- 3.5.3 feature hashing
- 3.5.4 frequency encoding
- 3.5.5 target encoding
- 3.5.6 embedding
- 3.5.7 順序変数の扱い
- 3.5.8 カテゴリ変数の値の意味を抽出する
- 3.6 日付・時刻を表す変数の変換
- 3.6.1 日付・時刻を表す変数の変換のポイント
- 3.6.2 日付・時刻を表す変数の変換による特徴量
- 3.7 変数の組み合わせ
- 3.8 他のテーブルの結合
- 3.9 集約して統計量をとる
- 3.9.1 単純な統計量をとる
- 3.9.2 時間的な統計量をとる
- 3.9.3 条件を絞る
- 3.9.4 集計する単位を変える
- 3.9.5 ユーザ側でなく，アイテム側に注目する
- 3.10 時系列データの扱い
- 3.10.1 時系列データとは？
- 3.10.2 予測する時点より過去の情報のみを使う
- 3.10.3 ワイドフォーマットとロングフォーマット
- 3.10.4 ラグ特徴量
- 3.10.5 時点と紐付いた特徴量を作る
- 3.10.6 予測に使えるデータの期間
- 3.11 次元削減・教師なし学習による特徴量
- 3.11.1 主成分分析（PCA）
- 3.11.2 非負値行列因子分解（NMF）
- 3.11.3 Latent Dirichlet Allocation（LDA）
- 3.11.4 線形判別分析（LDA）
- 3.11.5 t-SNE，UMAP
- 3.11.6 オートエンコーダ
- 3.11.7 クラスタリング
- 3.12 その他のテクニック
- 3.12.1 背景にあるメカニズムから考える
- 3.12.2 レコード間の関係性に注目する
- 3.12.3 相対値に注目する
- 3.12.4 位置情報に注目する
- 3.12.5 自然言語処理の手法
- 3.12.6 自然言語処理の手法の応用
- 3.12.7 トピックモデルの応用によるカテゴリ変数の変換
- 3.12.8 画像特徴量を扱う手法
- 3.12.9 decision tree feature transformation
- 3.12.10 匿名化されたデータの変換前の値を推測する
- 3.12.11 データの誤りを修正する
- 3.13 分析コンペにおける特徴量の作成の例
- 3.13.1 Kaggleの「Recruit Restaurant Visitor Forecasting」
- 3.13.2 Kaggleの「Santander Product Recommendation」
- 3.13.3 Kaggleの「Instacart Market Basket Analysis」
- 3.13.4 KDD Cup 2015
- 3.13.5 分析コンペにおけるその他のテクニックの例
第4章 モデルの作成
- 4.1 モデルとは何か？
- 4.1.1 モデルとは何か？
- 4.1.2 モデル作成の流れ
- 4.1.3 モデルに関連する用語とポイント
- 4.2 分析コンペで使われるモデル
- 4.3 GBDT（勾配ブースティング木）
- 4.3.1 GBDTの概要
- 4.3.2 GBDTの特徴
- 4.3.3 GBDTの主なライブラリ
- 4.3.4 GBDTの実装
- 4.3.5 xgboostの使い方のポイント
- 4.3.6 lightgbm
- 4.3.7 catboost
- Column xgboostのアルゴリズムの解説
- 4.4 ニューラルネット
- 4.4.1 ニューラルネットの概要
- 4.4.2 ニューラルネットの特徴
- 4.4.3 ニューラルネットの主なライブラリ
- 4.4.4 ニューラルネットの実装
- 4.4.5 kerasの使い方のポイント
- 4.4.6 参考になるソリューション - 多層パーセプトロン
- 4.4.7 参考になるソリューション - 最近のニューラルネットの発展
- 4.5 線形モデル
- 4.5.1 線形モデルの概要
- 4.5.2 線形モデルの特徴
- 4.5.3 線形モデルの主なライブラリ
- 4.5.4 線形モデルの実装
- 4.5.5 線形モデルの使い方のポイント
- 4.6 その他のモデル
- 4.6.1 k近傍法（k-nearest neighbor algorithm，kNN）
- 4.6.2 ランダムフォレスト（Random Forest，RF）
- 4.6.3 Extremely Randomized Trees（ERT）
- 4.6.4 Regularized Greedy Forest（RGF）
- 4.6.5 Field-aware Factorization Machines（FFM）
- 4.7 モデルのその他のポイントとテクニック
- 4.7.1 欠損値がある場合
- 4.7.2 特徴量の数が多い場合
- 4.7.3 目的変数に1対1で対応するテーブルでない場合
- 4.7.4 pseudo labeling
- Column 分析コンペ用のクラスやフォルダの構成
第5章 モデルの評価
- 5.1 モデルの評価とは？
- 5.2 バリデーションの手法
- 5.2.1 hold-out法
- 5.2.2 クロスバリデーション
- 5.2.3 stratified k-fold
- 5.2.4 group k-fold
- 5.2.5 leave-one-out
- 5.3 時系列データのバリデーション手法
- 5.3.1 時系列データのhold-out法
- 5.3.2 時系列データのクロスバリデーション（時系列に沿って行う方法）
- 5.3.3 時系列データのクロスバリデーション（単純に時間で分割する方法）
- 5.3.4 時系列データのバリデーションの注意点
- 5.3.5 Kaggleの「Recruit Restaurant Visitor Forecasting」
- 5.3.6 Kaggleの「Santander Product Recommendation」
- 5.4 バリデーションのポイントとテクニック
- 5.4.1 バリデーションを行う目的
- 5.4.2 学習データとテストデータの分割をまねる
- 5.4.3 学習データとテストデータの分布が違う場合
- 5.4.4 Leaderboardの情報を利用する
- 5.4.5 バリデーションデータやPublic Leaderboardへの過剰な適合
- 5.4.6 クロスバリデーションのfoldごとに特徴量を作り直す
- 5.4.7 使える学習データを増やす
第6章 モデルのチューニング
- 6.1 パラメータチューニング
- 6.1.1 ハイパーパラメータの探索手法
- 6.1.2 パラメータチューニングで設定すること
- 6.1.3 パラメータチューニングのポイント
- 6.1.4 ベイズ最適化でのパラメータ探索
- 6.1.5 GBDTのパラメータおよびそのチューニング
- Column xgboostの具体的なパラメータチューニングの方法
- 6.1.6 ニューラルネットのパラメータおよびそのチューニング
- Column 多層パーセプトロンの具体的なパラメータチューニングの方法
- 6.1.7 線形モデルのパラメータおよびそのチューニング
- 6.2 特徴選択および特徴量の重要度
- 6.2.1 単変量統計を用いる方法
- 6.2.2 特徴量の重要度を用いる方法
- 6.2.3 反復して探索する方法
- 6.3 クラスの分布が偏っている場合
- Column ベイズ最適化およびTPEのアルゴリズム
第7章 アンサンブル
- 7.1 アンサンブルとは？
- 7.2 シンプルなアンサンブル手法
- 7.2.1 平均，加重平均
- 7.2.2 多数決，重みづけ多数決
- 7.2.3 注意点とその他のテクニック
- 7.3 スタッキング
- 7.3.1 スタッキングの概要
- 7.3.2 特徴量作成の方法としてのスタッキング
- 7.3.3 スタッキングの実装
- 7.3.4 スタッキングのポイント
- 7.3.5 hold-outデータへの予測値を用いたアンサンブル
- 7.4 どんなモデルをアンサンブルすると良いか？
- 7.4.1 多様なモデルを使う
- 7.4.2 ハイパーパラメータを変える
- 7.4.3 特徴量を変える
- 7.4.4 問題のとらえ方を変える
- 7.4.5 スタッキングに含めるモデルの選択
- 7.5 分析コンペにおけるアンサンブルの例
- 7.5.1 Kaggleの「Otto Group Product Classification Challenge」
- 7.5.2 Kaggleの「Home Depot Product Search Relevance」
- 7.5.3 Kaggleの「Home Credit Default Risk」
付 録
- A.1 分析コンペの参考資料
- A.2 参考文献
- A.3 本書で参照した分析コンペ
- 索引
- 著者プロフィール