『ディープラーニングを支える技術〈2〉 —⁠—ニューラルネットワーク最大の謎』より転載

ディープラーニングは、優れた直感と気力、勇気が必要な野心的な実験によって前進してきました。ほとんどの実験が失敗に終わっていった中、成功した実験結果はそれまでの統計や機械学習の常識を打ち破ってきました。なぜうまくいくのか、またはいかないのかを多くの研究者が説明を試み、数年から長い場合は数十年もの時間をかけて謎解きを行っていきます。こうした発展の仕方は実験科学に近く、はじめになぜかうまくいく実験結果や、それまでの理論とは矛盾する実験結果が見つかり、それらを解明していく中で徐々に謎が解かれていきます。

本書では、この中でもディープラーニングの大きな二つの謎の解明について紹介していきます。なぜ学習できるのか、なぜ汎化するのかという謎です。

2010年頃はそれまでの経験から、大きなニューラルネットワークを学習することは不可能なくらい難しいと思われていました。ニューラルネットワークの学習問題は、最適化が難しい非凸最適化問題であり、それまで小さな ニューラルネットワークを学習させることすら難しかったためです。しかし、2012年のAlexNetをはじめとする多くの実験によって、大きなニューラルネットワークであっても学習は成功し、しかもどのような初期値からスタートしても同じような性能に達成することがわかり、現在は誰でも簡単に数百万から数億パラメータのモデルを学習させることができます。この謎の解明の過程で、大きなニューラルネットワークの学習問題が、非凸最適化問題でありながらも、任意の初期値から最適解に近い極小解まで到達できる性質を持っていることがわかってきています。

また、ニューラルネットワークはパラメータ数が多いため、過学習しやすく汎化しにくいと思われていました。過学習を抑えるために、問題の複雑さにあわせてパラメータ数を必要最低限に少なくすることが必要であるということは、機械学習の教科書の最初に書いてあるような基本中の基本です。それにもかかわらず、ニューラルネットワークはパラメータ数が多くても汎化し、さらに条件を満たせば、むしろパラメータ数が多ければ多いほど、汎化し、学習効率も上がることが成り立つということが実験的にわかっていました。これらについては、ニューラルネットワークのモデルや学習手法が持つ、陰的正則化、フラットな解、宝くじ仮説などのしくみが重要な役割を果たしていることがわかってきています。

これらの謎について、そもそも何が謎だったのか、これまでに何がわかっているのかをできるだけ正確かつ平易に説明するようにしました。

また、今後のディープラーニングを中心とした人工知能の発展における重要な要素として、ディープラーニングを使った「生成モデル」と「強化学習」を紹介します。現在、ニューラルネットワークは予測タスク（分類、回帰）に多く使われていますが、今後は生成や最適制御といった部分でも活用され、その適用範囲が大きく広がっていくと考えられます。

ディープラーニングを使った生成モデルである深層生成モデルは、これまで不可能だった画像、音声、化合物といった高次元データを、高忠実に生成できるようなモデルです。さまざまなデータを生成できるだけでなく、条件付け生成を利用することで、狙ったデータを設計して生成することができます。条件付け生成は、さまざまな予測問題も包含しており、非常に広い問題に応用することができます。また、生成モデルを学習することによる表現学習や事前学習（GPT-3など）は、多くの成功事例があります。さらに、生成によって解析するAnalysis by Synthesisは、究極の解析手法として今後重要になると考えられます。あわせて、本書ではVAEやGANに加えて、他書ではまだ扱っていないような新しい生成モデル（自己回帰モデル、正規化フロー、拡散モデル）についても取り上げます。

ディープラーニングを使った強化学習である深層強化学習は、現実世界の幅広い問題について解決可能な手法です。強化学習は、教師あり学習とは違って、学習データを真似るのではなく、それを超えるような最適制御を実現することができます。一方、強化学習は予測問題よりも難しい、確率的要素を多く含み、非i.i.d.（非独立同分布）問題を扱う必要があり、独自の学習手法を発展させてきました。こうした強化学習とディープラーニングが持つ「表現学習」が組み合わさったことで、数々のタスクを解けるようになりました。本書では、強化学習の基本から紹介するとともに、DQNやAlphaGoファミリーなどの例を紹介します。

本書の終盤には、今後のディープラーニングや人工知能で必要となると考えられる事項について書きました。教師あり学習に代わる学習手法、計算性能と人工知能の関係、幾何や対称性の導入、そしてシステム1やシステム2についてです。

本書はおもに、ディープラーニングをすでに学んでいる人、使っている人、これからの発展の方向性を知りたい人に向けてまとめました。また、前書『ディープラーニングを支える技術 —⁠—「⁠正解」を導くメカニズム［技術基礎］』に引き続き、本書はさまざまな手法やアイディアをカタログのようにまとめるのではなく、それらの背後にある原理、原則、考え方を中心に解説をしていき、その中でさまざまな手法を位置づけて紹介していくように心がけました。本書が多くの方々にとって、ディープラーニングや人工知能に対する理解を助け、さらに関心を高めるきっかけにつながれば幸いです。

2022年4月　著者