数学-情報理論
はじめに データとモデル 確率モデル 確率モデルを作る 複雑なモデルを使うことが最善手であるか モデルの具体的な作り方 モデルの仮定 アンサンブルモデル 点推定モデル 最尤推定 制約付き最尤推定※ (最大事後確率推定) ベイズ予測分布と点推定 ベイズ統…
情報理論でエントロピーなる概念を導入し、情報量を定式化したことを前回の記事で紹介しました。 s0sem0y.hatenablog.com 機械学習ではパラメトリックな推定を行う際に真の確率分布p(x)をq(x|θ)で表現するために、KLダイバージェンスKL(p(x)||q(x|θ))を最小…
情報理論は現代のコンピュータが実現されるよりも前からシャノンによって提唱され、そして実際に情報通信技術(符号化や暗号化)の基礎を築いてきました。今回はそんな情報理論のエントロピーにまつわる話です。 機械学習を少し勉強したことがある人にとって…