HELLO CYBERNETICS

深層学習、機械学習、強化学習、信号処理、制御工学、量子計算などをテーマに扱っていきます

ニューラルネットワークを用いた近年の変分推論２

人工知能 人工知能-ディープラーニング 数学 数学-確率・統計
  • はじめに
  • ベイズ推論基本
    • ベイズ推論
    • ベイズ予測分布
    • 変分推論
    • 変分推論のアルゴリズム
  • Normalizing Flows
    • 確率分布の変換規則
    • 変分推論への組み込み
    • 具体的な変換の例
      • planner flow
      • radius flow
      • inverse autoregressive flow
  • flow VAE
    • VAE 基本
    • flow VAE
続きを読む

TensorFlow Probability でカルマンフィルター（観測値から内部状態を探る）

人工知能 人工知能-TensorFlow 制御工学
  • はじめに
  • カルマンフィルタの意義
  • TFPでのカルマンフィルタ
    • モジュール
    • データの生成
    • TFPで線形状態空間モデルを作る
    • カルマンフィルタの実行
  • 追加実験
    • 追加実験１：状態と観測の次元が異なるケース
    • 追加実験2: 不可観測系
  • 最後に
続きを読む

TensorFlow ProbabilityでMCMC

プログラミング 人工知能-TensorFlow
  • モジュール
  • データとモデル
    • データ
    • モデル
    • 学習前の生成モデルからのデータ
    • 対数同時確率の計算
    • 事後分布
  • MCMCを回す
    • 確率遷移核
    • MCMC の設定
    • サンプリングの結果
    • EAP推定
    • ベイズ予測分布
    • ノイズ項を無しにした、回帰曲線のベイズ予測分布
続きを読む

標本数が多い場合の標本平均はガウス分布になる誤解の多い話

数学 数学-確率・統計
  • はじめに
  • 中心極限定理
    • 標本数
    • なぜに標本数を必要とするか
    • 標本平均
    • 標本平均の分布の極限
    • 中心極限定理の誤用
  • データで見る標本平均の分布
    • ある標本の分布（データの分布）
    • とある標本の代表値：標本平均
    • 1000人の研究者に協力してもらう
    • 本当の中心極限定理
    • 補足
  • 最後に
続きを読む

ニューラルネットワークを用いた近年の変分推論１

人工知能 人工知能-機械学習 数学 数学-確率・統計
  • はじめに
  • 変分推論
    • モデルの書き方
    • 立てたモデルに対する変分近似分布
    • 変分推論
    • EMアルゴリズムの発展としての変分推論
  • 変分推論の違った見方
    • 近似したいという動機
    • 近似のための損失関数の分解
    • 期待値のサンプリングによる近似
    • 事前分布と変分近似分布のKLダイバージェンス
  • 最後に
続きを読む

【訓練誤差と汎化誤差】学習・統計的推定は正しいのか？【過学習】

人工知能 人工知能-機械学習
  • はじめに
  • 学習の目的と試み
    • 真の目的に対する我々の現実
    • データのサンプリング（採取）
    • 真の目的と推定・学習の関係
  • 具体的な学習の試み
    • 正則化による統計モデルの制限
    • ハイパーパラメータの調整
    • 最終評価
    • （補足）ベイズ推論
  • 理論的な学習の評価
    • これまでの話との関連
    • 汎化誤差の近似
  • 最後に
続きを読む