HELLO CYBERNETICS

深層学習、機械学習、強化学習、信号処理、制御工学、量子計算などをテーマに扱っていきます

数学-確率・統計

Pyro on PyTorchでベイズ予測分布(MAP推定、変分推論、MCMC)

はじめに Pyroおさらい データ モデル MAP推定 変分推論 変分近似分布 推論 予測 MCMC MCMCの実行 事後分布 予測分布

確率的プログラミング言語 pyro 基本

はじめに Pyro primitives 確率変数の実現値 sample 条件付き独立のベクトル化 plate 階層モデル 変分パラメータを扱う param poutine モデルの様子を把握する trace 条件付き分布の作成 condition まとめと変分推論の例

ニューラルネットワークを用いた近年の変分推論2

はじめに ベイズ推論基本 ベイズ推論 ベイズ予測分布 変分推論 変分推論のアルゴリズム Normalizing Flows 確率分布の変換規則 変分推論への組み込み 具体的な変換の例 planner flow radius flow inverse autoregressive flow flow VAE VAE 基本 flow VAE

確率的プログラミング言語 Pyro vs TensorFlow Probability

モデルの書き方 edward2 pyro tfp 対数同時確率の得方 edward2 pyro tfp

TensorFlow probabilityでレプリカ交換モンテカルロ法

はじめに データ モデル 遷移核 あとは回すだけ

標本数が多い場合の標本平均はガウス分布になる誤解の多い話

はじめに 中心極限定理 標本数 なぜに標本数を必要とするか 標本平均 標本平均の分布の極限 中心極限定理の誤用 データで見る標本平均の分布 ある標本の分布(データの分布) とある標本の代表値:標本平均 1000人の研究者に協力してもらう 本当の中心極限定…

ニューラルネットワークを用いた近年の変分推論1

はじめに 変分推論 モデルの書き方 立てたモデルに対する変分近似分布 変分推論 EMアルゴリズムの発展としての変分推論 変分推論の違った見方 近似したいという動機 近似のための損失関数の分解 期待値のサンプリングによる近似 事前分布と変分近似分布のKL…

【ロバスト回帰】最小二乗法と最小絶対値法

ロバスト回帰 単回帰 最小二乗法 最小絶対値法 MSEとMAEの比較 ライブラリをインポート 扱うデータの可視化 モデル構築 学習 結果の可視化 最小絶対値法なんてしていいの? 確率モデル ラプラス分布とガウス分布 最尤推定でやってみる

【今更聞けない、いや今すぐ聞け】一致推定量と不偏推定量

はじめに:推定量とは 一致推定量 不偏推定量 最後に

TFPで階層モデルを書くときの便利なクラス tfd.JointDistributionCoroutine

はじめに 環境 階層モデル 例:モデル コード

ベイズの定理を使わずに事後分布の推論

はじめに グラフィカルモデリング グラフィカルモデルと同時分布 グラフィカルモデリング まとめ 正規分布のパラメータの事後分布 回帰問題のモデリング

KL reverseとKL forwardのメモ

はじめに KLダイバージェンス 表記に関する注意事項 確率分布間の比較 ダイバージェンスの非対称性 KL reverseの計算 KL forwardの計算 確率分布の形状再考 変分推論では KL reverseを利用する

変分モデルの書き方 Pyro

はじめに データの分布形状が既知な場合の推論 問題設定 ベイズ推論のためのモデリング 共役事前分布を用いた解析的推論 変分推論 Pyro で変分推論 振り返り 追記:変分ベイズ推論を応用した最尤推定、MAP推定 MAP推定 最尤推定

確率的プログラミング言語Pyroと変分ベイズ推論の基本

はじめに ベイズ推論 モデリング 事後分布 予測分布 実際に使われる予測分布 Pyroの基本 Pyroの確率変数の取扱 Pyroのハイパーパラメータの取扱 Pyroでの変分パラメータの取扱 変分ベイズ推論のコード:確率モデル 変分モデル 学習コード 変分推論のカスタマ…

変分ベイズ法の心2

はじめに 変分ベイズ法の戦略 基本の復習 分布の評価指標 ELBO 変分ベイズ法の具体的手段 関数 $q$ をどのように置くのか

変分ベイズ法の心

ベイズ推論の基本 変分ベイズ学習 変分法の心 変分ベイズ法の戦略

ベイズモデリング勉強の外観

はじめに 上記発言の意図 アヒル本 須山ベイズ 渡辺ベイズ 確率モデリング 確率モデリングの概要 確率モデリング手順 予測モデル MAP推定値 EAP推定値 ベイズ予測分布 ベイズモデリングのまとめ はじめに 今回は下記のツイートが割と評判が合ったので、少し…

TensorFlow Probability コードメモ ① 確率分布周りの基本と最尤推定

【主成分分析(PCA)まとめ】分散最大化・確率的主成分分析・ベイズ主成分分析(MAP推定)まで

【確率的プログラミング】Edward2, Pyro, PyStanのベイズ線形回帰コードメモ

【凄く楽しいぞ!Stan!】給料モデリング【Python】

TensorFlow Probabilityでガウシアンプロセス回帰の最尤推定を実行してみる

【データ解析の基本中の基本】どういうデータを使うときにどういう解析をするのか

【機械学習ステップアップ】ベイズモデルの考え方

【機械学習ステップアップ】確率モデルの考え方

機械学習の予測モデルを一般化線形モデルで考える概要+ロジスティック回帰

【書評】ベイズ推論による機械学習入門

ベイズの勉強に良さそうな記事まとめ

【ベイズ推定って結局何なの?Part2】

統計物理学と機械学習の関係