- はじめに
- モチベーション
- 期待値の勾配の計算方法
- モンテカルロ近似と再パラメータ化
- 再パラメータ化できない場合
ベイズニューラルネットワーク基本
- はじめに
- ベイズニューラルネットワーク
- 確率モデルとしてのベイズニューラルネットワーク
- ベイズニューラルネット
- 事後分布の推論
- 応用上の参考
ニューラルネットワーク正則化とMAP推定
- はじめに
- 決定論的なニューラルネットワーク
- ニューラルネットワーク
- 学習
- ニューラルネットワークの最尤推定
- 正則化
- MAP推定と正則化の関連
Jax, PyTorch 直線探索付き勾配法
- はじめに
- モジュールインポート
- Jax
- 勾配関数と線形探索関数を準備
- 最適化実行
- PyTorch
- 線形探索関数準備
- 最適化実行
- 結果
JAXとPyTorchで勾配法とニュートン法を試す
- はじめに
- 逐次更新による最適化
- 大枠
- 勾配法
- 数式
- 勾配法コード例
- ニュートン法
- 数式
- ニュートン法のコード例
不偏推定量のバリアンスの下限：クラメル・ラオの不等式
- はじめに
- クラメル・ラオの不等式
- 不偏推定量のバリアンスは一定以上に下がらない
- 対数尤度関数とその微分
- フィッシャー情報量
- クラメル・ラオの不等式を導く過程
- コーシー・シュワルツの不等式での評価
- クラメル・ラオまでの大まかな指針 : 第2項は $0$
- クラメル・ラオまでの大まかな指針 : 第1項は $1$
- 今回のクラメル・ラオの不等式の前提
- $\theta$ が多変数の場合
- 参考文献
推定量の良し悪し：不偏分散を例に
- はじめに
- 不偏性
- 推定量
- 不偏推定量
- 不偏性を有さない推定
- 正規分布の分散の推定
- 不偏推定量は必ずしも良い推定量ではない
- バリアンス
- バイアスとバリアンス
- 両者を考慮した平均二乗誤差
- 正規分布の不偏分散と標本分散の比較
最尤推定からベイズ推定まで
- はじめに
- データと確率分布
- データと確率モデル
- 推定方法
- 最尤推定法
- ベイズ法
状態空間モデルと推論アルゴリズムの概要
- はじめに
- 状態空間モデル
- 状態空間モデル
- AR(1) モデル
- AR(p) モデル
- 状態空間モデルに対する推論
- まとめ
NumPyroの基本を変化点検知で見る
- はじめに
- NumPyro基本
- ライブラリの準備
- 確率分布
- transoforms モジュール （tfp.bijector相当）
- 変化点検知
- データ
- モデル
- 事前分布からのサンプリングでモデルの動作確認
- MCMC推論
- 結果確認
確率モデリング：時系列 AR(1) ARCH(1)
- はじめに
- 自己回帰モデル（ARモデル）
- AR(1)
- 寄り道：時系列データと独立同分布データ
- ARCH(1)
- 最後に