強化学習のおすすめの本

追記

この記事で紹介していない強化学習の本を含めた新しい記事を更新しました。





最近は自作AIをパワーアップさせるために強化学習を勉強しています。
強化学習に関するいくつかの本を読んでみたので、この記事ではそれらの感想とおすすめを紹介したいと思います。

次の2冊

「つくりながら学ぶ!　深層強化学習　PyTorchによる実践プログラミング」
「Pythonで学ぶ強化学習　入門から実践まで」

では、深層強化学習も扱っていますが、深層学習の説明はあまり無いので、先に深層学習の知識を学んでから深層強化学習に取り組むと良いと思います。
深層学習を知らないのにいきなり深層強化学習をやろうとしても遠回りになると思います。

「つくりながら学ぶ!　深層強化学習　PyTorchによる実践プログラミング」

この本が一番おすすめ！
最初はこの本を読むべし！

強化学習の本は内容が難しいものが多いですが、この本は（比較的）易しいです。
内容としては強化学習の各アルゴリズムをPythonで実装する本です。

どちらかというと理論より実装が重視されています。

書名に深層強化学習とありますが、深層強化学習でない強化学習のアルゴリズム(方策反復法、価値反復法、Sarsa、Q学習)も本の前半をかなり割いて説明されています（80/239ページくらい）。

他の強化学習の本では数式が羅列されていて数学が得意でない自分は四苦八苦していましたが、この本では数式は書いてあるのですが、その説明がとても丁寧です。
もしくはあまり数式に深入りはしません。「この更新式でうまく学習できます」みたいな説明で終わることがあるので、理論をしっかり学びたい方は別の理論重視の本を読む必要があります。

それでも最初にこの本で導入を済ませるのがおすすめです。

注意点としては、Pythonの説明は無くPythonのプログラミングができることは前提となっているようです。
なのでPythonのプログラミングの仕方については他の本で学ぶ必要があります。
numpyを使ったコードが多数出てくるので、numpyに慣れていると読みやすいと思います。

「Pythonで学ぶ強化学習　入門から実践まで」

この本もかなり良書です！

注意：改訂第2版が出るようです。これから買う方はこちらを買った方が良いかもしれません。

先ほど紹介した「つくりながら学ぶ!　深層強化学習　PyTorchによる実践プログラミング」の次もしくは同時並行で読むと良いです。
「つくりながら学ぶ！」よりも多少理論的な説明がしっかりしており、Pythonによる実装も行います。

難しめの数式も出てきますが、Pythonのコードを読むと理解できることが多いです。

ただし「つくりながら学ぶ！」と同様Pythonについては分かっていることが前提となっています。