少量の教師により学習される深層学習
教師なし及び少量教師あり学習に対しても説明が必要でしょう。深層学習初期の発展は,
すべての概念を完璧に整理して区分けすることは難しいですが,
- Unsupervised Learning:教師なし学習。アノテーションが一切ないデータで学習。
- Weak-supervised Learning:弱教師あり学習。文字通り弱いラベルのみで学習する。例として,
画像識別のラベルのみを用いて間接的に領域分割の学習を実施するなど。 - Semi-Supervised Learning:教師ラベルを持つデータと持たないデータで学習。通常は少量の教師ラベル付き画像と大量の教師なし画像により学習する問題設定。
- Self-Supervised Learning:自己教師学習。自ら教師を作成して学習。CVの場合には追加学習を行う前の特徴表現を獲得する際に用いられる。
- {Zero, One, Few}-shot Learning:0/
1枚, もしくは数枚の画像のみで学習する枠組み。 - Transfer Learning:転移学習。
- Domain Adaptation:ドメイン適応。環境Aで学習したモデルをいかに環境Bにて使用するか,
という枠組み。シミュレーション環境にて生成したデータを如何に実環境にて使用するかを検討するなど。 - Reinforcement Learning:強化学習。
このすべてについて解説するのは紙面の関係で適切ではないため,
自己教師学習とは,
特徴表現の良さについては,
- 特徴表現学習:教師ラベルなしの画像データセットを使用。画像の各画像に対して自己教師を生成,
画像と自己教師をペアとして画像認識の学習を実施する。 - 転移学習:特徴表現学習
(Pretext task) で学習したモデルを初期値として, 重み固定の特徴抽出器として用いる。転移学習用のデータセットに対して, 最終の全結合層のみを更新して識別を実施する。
代表的なPretext taskには,
パラメータを増やした状態でSimCLRを適用すると,
我々が2020年4月に資料を公開した当時のPretext taskの分類が下図です。自己教師学習はアイディアベースなところもあり分類が難しい部分もありますが,
自己教師学習の話題から離れる前に,