機械学習の書籍紹介

機械学習の勉強に使える書籍を紹介します。全て自身が所有しているモノを紹介します。

パターン認識と機械学習　上・下

パターン認識と機械学習 上

パターン認識と機械学習 下 (ベイズ理論による統計的予測)

  おそらく機械学習を学んでいる人、学ぼうと思っている人は知っているかと思います。

この本は機械学習に関しての基礎のほぼ全てに触れられている本です。もちろん全てを語るのは無理なので内容が薄い部分もありますし、実践的なところまではいっていませんので、これを読めばすぐにデータ解析ができるというものではありません。しかし、機械学習の重要な基礎を抑えてあり、他の本を読んで得た知識も、よく読んでみればこの本に（軽くではあるが）触れてあるということが多々あります。いきなりこれから始めるのは難しいと思いますが、実践的な本やプログラムでとにかく試してみるということをしながらこの本を読めば、その周辺知識や基礎などを抑えることができ機械学習の見通しがよくなると思います。

特にベイズ理論の立場で機械学習を定式化することを意識しており、最初は確率論の話から始まります。数学でやるような解析学的な難しい話ではなく、高校からやってきた古典的な確率の扱いで十分です。とはいっても確率論とベイズ理論のことをある程度最初に抑えなければ、後の章が何を言っているのか分からなくなると思います。

機械学習は必ずしも確率論を使うとは限りませんが、多くの手法が確率的な考え方に定式化できます。例えばデータを扱うような分野では必ず現れる最小二乗法も、確率論の立場から言えば観測誤差をガウスノイズとした最尤推定になります。また、観測ノイズの具合も確率的にですが把握することができます。只々、上手い直線をフィッティングするのではなく、データが生成されるまでの過程を確率的に記述することができ（生成モデル）、これをそのまま識別のモデルにすることもできます。

あと、この本の英語原著は2006年出版です。ということは原稿はもっと前に書かれていたはずです。当時ニューラルネットワークは日陰者で、書いたとしても誰が読むんだといった感じでした。時代はサポートベクターマシン！という雰囲気でしたが、それにもかかわらずこの本ではニューラルネットワークにもしっかり力を入れて書かれています（今ではニューラルネットワーク全盛ですが^^;）。ともかく、それだけ偏りなく機械学習をカバーしていると言えます。きっと後々も古典的な名著として残るのではないかと思われます。

私自身読破しているわけではないので、これからもずっとお世話になる書籍だと思います。

深層学習

深層学習 Deep Learning (監修:人工知能学会)

  人工知能学会誌でのディープラーニング(深層学習)の特集をまとめなおした本です。

基礎編と応用編に分かれており、基礎編ではディープラーニングに関する基本的な事柄が抑えられています。特にディープラーニングの始まりとなった制約付きボルツマンマシン(RBM)からディープビリーフネットワーク（DBN）までの流れについて詳しく書かれています。更に一般化されているディープボルツマンマシン(DBM)の現状についても語られています。事前学習についても章が割かれており、ディープラーニングに関する基礎的な事柄を一通り把握することができます。正直言ってオートエンコーダと呼ばれている非確率的なモデルは、難しいことはしていないので、DBNで事前学習に関することをしっかり学んでおけばすぐに対応はできると思います。そういう意味でも確率的なモデルであるDBN・DBMに力を入れてあるのが良いなと個人的には思います。言い方を変えれば少し偏りがあるということにもなるかもしれません。

応用編では画像認識・音声認識・自然言語処理に関するディープラーニングについて説明しています。画像認識では畳み込みニューラルネットワーク（CNN）が主なテーマになっています。音声認識では時系列データを使うために隠れマルコフモデル(HMM)とリカレントニューラルネットワーク(RNN)が主なテーマになっています。自然言語処理はあまり詳しくないのでよくわかりません......^^;。

この本はディープラーニングをいきなり使ってみようということではなく、それぞれの研究分野の状況やディープラーニングの考え方などを説明しています。アルゴリズムを導出するために数式が羅列されているわけでもなく、意外にも日本語文がかなり多いです。これからディープラーニングを学ぶ上で見通しがよくなると思います。

情報幾何学の新展開 

別冊数理科学 情報幾何学の新展開 2014年 08月号 [雑誌]

 この本は数理科学誌で連載されていた情報幾何学の新展開をまとめた本です。情報幾何学自体が初耳だという人もたくさんいると思います。計算論的神経科学で成果を挙げ、文化功労賞を得た理研の甘利氏の著書なのですが、アカデミックな分野なので機械学習を使おうという人は別に知らなくても良いかもしれません。実際私、ここに掲載しておきながら情報幾何学を紹介できるほど理解できておりません。しかし、直感的には情報幾何学の記述しようとしていることは分かりました（教授時代から難しいことをわかった気にさせるのが上手かったとかなんとか...笑）。注目すべきは、信号処理やニューラルネットワークに関して解説しており、これが非常に分かりやすい。情報幾何学の観点から解説を行なうのですが、ソレ抜きにしても単純に解説が分かりやすいんです。13章の機械学習の情報幾何と15章の信号処理と最適化の情報幾何は具体的な手法を対象にしているので、情報幾何の雰囲気を掴むことはできます。数学的な概念を大雑把にでも持っていると、モデル選択や評価関数の重要性がよく分かります。

機械学習を学ぶ上で必要！というものではないと思いますが、興味があれば少し覗いてみると面白いと思います。