HELLO CYBERNETICS

深層学習、機械学習、強化学習、信号処理、制御工学、量子計算などをテーマに扱っていきます

ニューラルネットワークを用いた近年の変分推論2

  • はじめに
  • ベイズ推論基本
    • ベイズ推論
    • ベイズ予測分布
    • 変分推論
    • 変分推論のアルゴリズム
  • Normalizing Flows
    • 確率分布の変換規則
    • 変分推論への組み込み
    • 具体的な変換の例
      • planner flow
      • radius flow
      • inverse autoregressive flow
  • flow VAE
    • VAE 基本
    • flow VAE
続きを読む

TensorFlow Probability でカルマンフィルター(観測値から内部状態を探る)

  • はじめに
  • カルマンフィルタの意義
  • TFPでのカルマンフィルタ
    • モジュール
    • データの生成
    • TFPで線形状態空間モデルを作る
    • カルマンフィルタの実行
  • 追加実験
    • 追加実験1:状態と観測の次元が異なるケース
    • 追加実験2: 不可観測系
  • 最後に
続きを読む

TensorFlow ProbabilityでMCMC

  • モジュール
  • データとモデル
    • データ
    • モデル
    • 学習前の生成モデルからのデータ
    • 対数同時確率の計算
    • 事後分布
  • MCMCを回す
    • 確率遷移核
    • MCMC の設定
    • サンプリングの結果
    • EAP推定
    • ベイズ予測分布
    • ノイズ項を無しにした、回帰曲線のベイズ予測分布
続きを読む

ベルマン最適方程式とベルマン期待方程式【強化学習基礎】

  • はじめに
  • ベルマン期待方程式
    • ベルマン最適方程式の復習
    • ベルマン期待方程式
  • 環境というシステムを探る
    • 知識の活用と蓄積
    • 冒険の結果から学びを得る
    • モデルベースとモデルフリー
  • 最後に
続きを読む

標本数が多い場合の標本平均はガウス分布になる誤解の多い話

  • はじめに
  • 中心極限定理
    • 標本数
    • なぜに標本数を必要とするか
    • 標本平均
    • 標本平均の分布の極限
    • 中心極限定理の誤用
  • データで見る標本平均の分布
    • ある標本の分布(データの分布)
    • とある標本の代表値:標本平均
    • 1000人の研究者に協力してもらう
    • 本当の中心極限定理
    • 補足
  • 最後に
続きを読む

TensorFlow 2.0 の速度メモ 【vs PyTorch】

  • はじめに
  • TensorFlow 2.0
    • データ
    • モジュール名
    • データセット
    • モデル作成
    • モデルのインスタンス化と訓練準備
    • 訓練関数
    • 訓練
  • PyTorch
    • import
    • データ準備
    • モデル作成
    • モデルのインスタンス化と訓練準備
    • 学習コード
続きを読む

ニューラルネットワークを用いた近年の変分推論1

  • はじめに
  • 変分推論
    • モデルの書き方
    • 立てたモデルに対する変分近似分布
    • 変分推論
    • EMアルゴリズムの発展としての変分推論
  • 変分推論の違った見方
    • 近似したいという動機
    • 近似のための損失関数の分解
    • 期待値のサンプリングによる近似
    • 事前分布と変分近似分布のKLダイバージェンス
  • 最後に
続きを読む

【訓練誤差と汎化誤差】学習・統計的推定は正しいのか?【過学習】

  • はじめに
  • 学習の目的と試み
    • 真の目的に対する我々の現実
    • データのサンプリング(採取)
    • 真の目的と推定・学習の関係
  • 具体的な学習の試み
    • 正則化による統計モデルの制限
    • ハイパーパラメータの調整
    • 最終評価
    • (補足)ベイズ推論
  • 理論的な学習の評価
    • これまでの話との関連
    • 汎化誤差の近似
  • 最後に
続きを読む