出力層で使うソフトマックス関数

自己符号化器（オートエンコーダ）と主成分分析との関係

分類問題における新たな活性化関数「Gumbel-Softmax」

メモ用記事

「ゼロから作るDeep Learning」書評。購入を迷っている方へ

ダイバージェンス関数を数学の立場から概観

機械学習で現れるダイバージェンスといえばご存知KLダイバージェンスがあります。

KLダイバージェンスは学習をする際の評価関数として用いられることもありますが、二乗誤差などに比べ、なぜにこの関数が評価関数として妥当なのか納得しづらいところです。

今回は数学的な立場からダイバージェンス関数について眺めてみて、これが学習の評価基準として選ばれうることを見てみたいと思います。

機械学習をpythonではじめよう

今更ながら深層学習の書籍

深層学習の書籍は何冊か所持していますが、深層学習の勉強が進み、今改めて見ると本に対する印象がだいぶ変わったように思います。今回は、理解が進んだ今だからこそ見える書評してみます。

ネットワーク概論：物理層

ネットワーク概論：目次

最近は「Big Data」、「Internet of Things」、「Deep learning」がITのキーワードとなっています。近い将来、IOTですべてのものがインターネットに接続されるようになり、そしてそれらから多量の情報がネットワーク上に流れるようになります。そして深層学習は多量のデータから有用な予測を行うことを可能にする技術ですから、これらは別々というわけではなく必ずどこかで繋がってくることでしょう。

クラウドサービスも少し前にキーワードとして頻繁に取り上げられていましたが、現在は落ち着きを見せています。落ち着きを見せるようになったのは、流行りが過ぎ去ったというだけのことではなく、それが当たり前の技術として世に浸透したからだとも言えます。

将来これらのITが相互に連携しあってサービスを提供できるようになるためには、強固なインターネット基盤が必要となります。

そこで今回はネットワークの基礎知識をまとめておきたいと思います。

ニューラルネットワークが導入されたGoogle翻訳の実力検証

Googleと言えば人工知能研究に最も力を入れている企業の1つです。

特に近年発展しているニューラルネットの研究に関しては非常に力を入れています。特にDeepmindは機械学習の著名なカンファレンスであるNIPSに毎年論文を採択されており、応用分野だけでなく研究分野でも力を発揮していることが伺えます。

今回はそんなGoogleが、翻訳のソフトにニューラルネットを導入したことで精度が大きく向上したという報告がなされています。そのことを他の翻訳ソフトと比較して検証してみたいと思います。

深層学習：ハイパーパラメータの設定に迷っている人へ

既に深層学習は、chainerやtensorflowなどのフレームワークを通して誰の手にも届くようになっています。機械学習も深層学習も、あまりよくわからないが試してみたいなという人が数多くいるように思います。そして、実際に試している人たちもたくさん居るでしょう。

そんなときにぶち当たる壁は、多種多様なハイパーパラメータの設定です。

これはテストデータの精度に対して、試行錯誤を繰り返しながら決めていくしかありません。

しかし闇雲に値を変えて試してみてもあまり良い成果は得られないでしょう。

今回は、各ハイパーパラメータがそもそもどのような効果を持っているのかをまとめ、学習を行う際の指針になるようにしたいと思います。

見たら瞬時に理解すべき数式

機械学習で現れる数式に関して、これを見たら瞬時に理解すべきものを載せておきます。

機械学習で現れる数式には大量の添字があり、それらのせいで一体どのような計算が行われているのかを瞬時に把握するのが難しくなっています。しかしもはやこれは慣れの問題です。

教科書を根気強く理解できるようにするのもいいですが、予めどのような表現があるのかを知っていれば、もっと楽に読み進めることができるはずです。そのための言わば事前に知っておくと言い数式たちを載せておきます。

ニューラルネットワークによる学習の停滞はどこから生ずるか

現在機械学習ではディープラーニングの活躍が目立っています。

その基礎はニューラルネットワークの学習にあり、この学習を知っているのとそうでないのとでは、各手法に関する理解度が大きく異なってくるものと思います。

今回はニューラルネットワークの学習における不思議の1つ、「学習の停滞」の原因について述べてみたいと思います。

評価関数で見る機械学習手法

最近、学習は最適化問題に帰着されるということを自分自身強く意識するようになりました。

そこで有名なSVMや対数線形モデルなどの評価関数を見て、それぞれがどのような狙いを持っているのかを概観してみようと思います。