12月に開かれる機械学習のトップカンファレンスであるNIPS。ここで採択された論文から、近年の機械学習手法の研究動向を見てみたいと思います。
NIPSとは
Neural Information Processing Systems(NIPS)は機械学習のトップカンファレンスです。名前とは異なって、必ずしもニューラルネットを扱っているわけではありません。あくまで機械学習の話題全般的に扱っています。
検索ワード
ディープ(deep)
相変わらずディープラーニング関連の論文は40件程ありました。時代ですね。昨年のNIPSでの本数よりも多くなっています（少なくとも題名上は）。
スパース(sparse)
スパースというワードが入っていた論文は18件ありました。
スパース性は機械学習での重要な性質として知られるようになりました。
非常に多くのデータのほんの一部が学習に寄与する、すなわち必要なパラメータが本来は少ないという考えの基に学習を行う手法です。スパース性については以下の記事で触れました。今後もコンスタントに研究が続くものと思われます。
最適化(Optimization)
wikipedia
最適化というワードが入っていた論文は39件ありました。
最適化は機械学習とは切っても切れない関係にあります。精度良く、速い収束を得る手法は実用上不可欠です。これは幅の広い一大分野ですから、当然多くの研究がありますね。
強化学習(Reinforcement learning)
強化学習というワードが入っていた論文は7件ありました。
強化学習は以前からロボットの分野などで研究されていました。機械学習と制御理論をミックスしたような分野です。しかし、囲碁のソフトAlphaGoがプロ棋士を破ったことを皮切りに、注目度が上がったように思います。AlphaGoは深層学習のCNNと強化学習のQ学習を組み合わせた手法によってアルゴリズムが作られています。
学習の際に明確な答えを与えられないような状況で力を発揮する学習手法で、プログラム自体に試行錯誤をさせるものだと考えればいいでしょう。
ベイジアン(bayesian)
wikipedia
ベイジアンというワードが入っていた論文は24件ありました。
統計学に関する考え方としてベイズ統計というものがありますが、実用性が見出される前までは、この考え方伝統的な統計学の権威から嫌われてきました。
計算機のパワーが向上し、ベイズ統計の考え方をコンピュータで実際に計算できるようになり、そしてその予測性能が非常に高いことが認められてから、一気に表舞台に経つようになりました。機械学習とパターン認識(黄色本)も、ベイズ理論の考え方の有用性を強く語っており、紹介されるほとんどの機械学習手法をベイズ理論の立場から記述しなおしています。
バンディット(bandit)
バンディットというワードが入っていた論文は19件ありました。
これは今までブログで一度も取り上げたことがない話題です。
簡単に概要を説明すると、複数の選択肢があり、試行回数が限られている中で、どの選択肢を選ぶのかを決めるような問題です。例えば、ある料理店に100回しか訪れることができず、1回で1つしか注文ができない場合に、どの料理を注文すればいいかという問題です。当然最初は適当に選ぶわけですが、その料理が美味しかったら、残りもずっと同じ料理を選ぶのでしょうか？新たな冒険をしなければ、もっと良い料理を見つけることができません。かと言って毎回違うものを頼んでいたら、おいしいと分かっている料理を選ぶ機会を損なうことになります。
このような問題を解決するのがバンディット問題の役割となっています。
後悔のない選択肢をあぶり出せ!
だそうです。
リグレット(regret)
リグレットというワードが入っていた論文は5件ありました。
これもブログでは扱ったことはありません。バンディット問題と関連もあり、最適化の手法の1つです。取るべき戦略とそのコスト関数が選べるときに、その最適な戦略を取った場合の総コストと、実際に取った戦略に対する総コストの差を指標にします。
グラフィカルモデル(graphical models)
グラフィカルモデルというワードが入っていた論文は 7件ありました。
グラフィカルモデルは確率変数間の依存関係をグラフでモデル化したものです。ベイジアンネットワークなどがこれにあたります。ベイズ推論に基づく生成モデルなども、複雑になった数式を図を通して見ることができるため、人間にとってもモデルの構築がしやすくなる便利なツールといったところでしょうか。結構古くからある研究対象ですが、最近書籍も増えてきて、再び注目されているように思います。
劣モジュラ(submodular)
劣モジュラというワードが入っていた論文は11件です。
離散最適化のコスト関数に劣モジュラ性があれば多項式時間で解けるそうです。このことに着目した手法の研究も結構なされているようです。
SVM
21世紀初頭に大流行したSVMはどうかというとたったの1件…。
それでも根気強く研究している方もいるものですね。
ニューラルネットも当然今までその冷や飯を食いながら復活したわけですから、いずれある分野で陽の目を浴びる成果を出す日も来るかもしれません。
所感
DEEPMIND
今回調べてみてびっくりしたのは、deepmind社の研究が非常に多かったことです。
何と18件の論文がdeepmind社が関わったもの(というよりdeepmind社の研究)で、どれほど機械学習に力を入れているのかというのがよく分かります。全部で570の論文がありますから、そのうち18件というのが多いと感じるか少ないと感じるかは人それぞれかもしれません。しかし、この世界に大学を含め研究機関はいくつ存在するでしょうか。それを考えると恐ろしい割合です。
ディープ
機械学習においてディープな構造が力を発揮するという考えが浸透してきています。いや、まだそれの検討を行っている段階かもしれません。いずれにしても、多くの研究者の興味がここにあるのだというのが伺えました。ディープラーニングが出始めてから、学習の手法がヒューリスティックに発見されることが多くなってきました。それにしたがって細かい報告も増えているのかなとも思います。
最適化
最適化に関することが非常に多いですね。
今回39件ありましたが、5年前の2011年では10件しかありませんでした。劣モジュラもリグレットに関してもこれらは最適化にまつわる話です。最適化は機械学習自体の精度が良いかだけでなく、当然実用面でも速度などが問われてきます。この分野に研究の興味が集まっているのは、様々な産業に機械学習が応用されていく状況を見越しているのでしょう。
