概要

反実仮想（Counterfactual）─ 起こり得たけれども実際には起こらなかった状況 ─ に関する正確な情報を得ることは，機械学習や意思決定最適化の応用において必要不可欠です。例えば，「現在運用している推薦アルゴリズムを仮に別のアルゴリズムに変えたとしたら，ユーザの行動はどのように変化するだろうか？」や「仮にある特定のユーザ群に新たなクーポンを与えたら，収益はどれほど増加するだろうか？」「仮に個々の生徒ごとに個別化されたカリキュラムを採用したら，1年後の平均成績はどれほど改善するだろうか」などの実務・社会でよくある問いに答えるためには，反実仮想に関する正確な情報を得る必要があります。こうした反実仮想の推定や比較に基づく意思決定の最適化を可能にするのが，反実仮想機械学習（CounterFactual Machine Learning; CFML）と総称される機械学習と因果推論の融合技術です。

反実仮想機械学習は，何らかの意思決定の最適化やその性能評価を行うすべての機械学習エンジニア・データサイエンティストに必要不可欠な考え方と基盤技術を提供します。しかし，予測や最適化，典型的な因果推論などすでに多く語り尽くされた話題に関する文献は増え続ける一方で，急速な発展を見せる反実仮想機械学習に関する体系的な記述や要約は，未だこの世に存在しないのが現状です。本書では，反実仮想機械学習の基礎的な考え方と最新技術を世界に先駆けて体系化することで，この看過できない現状を打破することを目指します。特に本書では，反実仮想機械学習の重要な基礎であるオフ方策評価と呼ばれる統計的推定問題を重点的に扱い，反実仮想に関する情報を観測データに基づいて正確に推定するために必要な考え方と統計技術を着実に身につけます。その後，オフ方策評価の自然な拡張として，観測データに基づく意思決定の最適化問題を扱います。こうして，反実仮想推定を最重要の基礎に据える反実仮想機械学習の思想と理論，それらの汎用的な応用力を身につけることが，本書における最大の目標です。

なお本書では，反実仮想機械学習に関する理論やその実践，Pythonを用いた実装をバランスよく扱っています。例えば，関連の学術研究や論文執筆を行いたい方向けには，理論に関する理解を深めるのに役立つ章末問題を提供しています。また本書6章には，機械学習や因果推論の実践現場で働く方々向けに独自に作成したケース問題を用いた反実仮想機械学習の応用例を示しました。そのため本書は，当該分野に関連する学術研究を行いたい学生・研究者の方やその実応用を行いたい実務家の方など，幅広い層や用途に有効活用していただける内容に仕上がっています。

こんな方におすすめ

• 反実仮想機械学習について興味のある方

目次

第0章：基礎知識の整理

• 0.1　確率の基礎
• 0.2　統計的推定の基礎
• 0.3　教師あり学習の基礎
• 0.4　因果推論の基礎
• 章末問題

第1章：標準的なオフ方策評価

• 1.1　オフ方策評価の定式化
• 1.2　標準的な推定量とその性質
  • 1.2.1　オンライン実験による方策性能推定
  • 1.2.2　Direct Method（DM）推定量
  • 1.2.3　Inverse Propensity Score（IPS）推定量
  • 1.2.4　Doubly Robust（DR）推定量
  • 1.2.5　標準的な推定量の理論比較
• 1.3　基本推定量の精度を改善するためのテクニック
  • 1.3.1　Clipped Inverse Propensity Score (CIPS) 推定量
  • 1.3.2　Self-Normalized Inverse Propensity Score (SNIPS) 推定量
  • 1.3.3　Switch Doubly Robust (Switch-DR) 推定量
  • 1.3.4　標準的なオフ方策評価における推定量の一般形
  • 1.3.5　より実践的なオフ方策評価に向けて
• 参考文献
• 章末問題

第2章：ランキングにおけるオフ方策評価

• 2.1　ランキングにおけるオフ方策評価の定式化
• 2.2　ランキングにおけるIPS 推定量とその問題点
  • 2.2.1　ランキングにおけるIPS 推定量
  • 2.2.2　ランキングにおけるIPS 推定量の問題点
  • 2.2.3　ランキングにおけるDM 推定量とDR 推定量
• 2.3　ユーザ行動に関する仮定を駆使したIPS 推定量
  • 2.3.1　Independent Inverse Propensity Score (IIPS) 推定量
  • 2.3.2　Reward-interaction Inverse Propensity Score (RIPS) 推定量
  • 2.3.3　Adaptive Inverse Propensity Score (AIPS) 推定量
  • 2.3.4　ランキングのための推定量のまとめ
• 2.4　ランキングのオフ方策評価に残された課題
• 参考文献
• 章末問題

第3章：行動特徴量を用いたオフ方策評価

• 3.1　行動の特徴量を取り入れたオフ方策評価の定式化
• 3.2　行動特徴量を有効活用する推定量
  • 3.2.1　Marginalized Inverse Propensity Score (MIPS) 推定量
  • 3.2.2　Off-Policy Evaluation based on the Conjunct Effect Model (OffCEM) 推定量
• 3.3　これまでに登場した推定量のまとめ
• 参考文献
• 章末問題

第4章：オフ方策評価に関する最新の話題

• 4.1　強化学習の方策に対するオフ方策評価
  • 4.1.1　Importance Sampling (IS) に基づく推定量
  • 4.1.2　強化学習におけるDoubly Robust（DR）推定量
  • 4.1.3　Marginalized Importance Sampling（MIS）推定量
  • 4.1.4　強化学習のオフ方策評価のまとめ
• 4.2　オフ方策評価に関するそのほかの最新トピック
  • 4.2.1　複数の異なるデータ収集方策が収集したログデータの有効活用
  • 4.2.2　連続的な行動空間におけるオフ方策評価
  • 4.2.3　オフ方策評価における推定量のパラメータチューニング
  • 4.2.4　そのほかの研究動向
• 参考文献
• 章末問題

第5章：オフ方策学習に関する最新の話題

• 5.1　オフ方策学習の定式化
• 5.2　オフ方策学習における標準的なアプローチ
  • 5.2.1　回帰ベース（Regression-based）のアプローチ
  • 5.2.2　勾配ベース（Gradient-based）のアプローチ
  • 5.2.3　回帰ベースと勾配ベースを融合したアプローチ
• 5.3　オフライン強化学習
• 5.4　オフ方策学習にまつわるそのほかのトピック
  • 5.4.1　勾配ベースの学習を安定化させるための正則化
  • 5.4.2　ランキングにおけるオフ方策学習
  • 5.4.3　そのほかのトピック
• 参考文献
• 章末問題

第6章：オフ方策評価・学習の現場活用

• 6.1　方策の長期性能に関するオフライン評価
  • 6.1.1　問題の定式化：データ生成過程と推定目標の定義
  • 6.1.2　基本推定量の検討
  • 6.1.3　独自の推定量の構築と分析
• 6.2　プラットフォーム全体で観測される報酬を最適化する方策学習
  • 6.2.1　問題の定式化：データ生成過程と目的関数の定義
  • 6.2.2　基本手法の検討
  • 6.2.3　独自の学習手法の構築と分析
• 6.3　本章のまとめ
• 章末問題

• あとがき
• 索引

サポート

現在サポート情報はありません。