HELLO CYBERNETICS

深層学習、機械学習、強化学習、信号処理、制御工学、量子計算などをテーマに扱っていきます

jaxのautogradをpytorchのautogradと比較、単回帰まで(速度比較追加)

はじめに 使う関数 autograd with pytorch autograd with jax Jax で単回帰

Pyro on PyTorch の時系列モデリングが超進化していた【HMM】

はじめに Pyroで時系列モデリング モジュールのインポート データ 時系列モデルの書き方 学習 検証(バックテスト) 予測

【PyTorch入門】Tensorの扱いから単回帰まで

はじめに Tesnor型 dtype その他の重要メソッド empty to numpy detach clone inplace t reshape と view 自動微分 torch.autograd.grad 関数 backwardメソッド 単回帰モデル 最後に

NumPyroとJax Numpyで時系列

はじめに コード モジュール データ モデル 事前分布からのサンプリング 推論 結果

Jaxでガウス過程 + NumPyroでハイパーパラメータ推論

モジュール データ ガウス過程 カーネル関数 予測 決め打ちハイパーパラメータでの予測 MCMC でのハイパーパラメータ推論 モデル 事前分布からのサンプリング 事後分布の推論 予測分布 ガウス過程関連の記事

【Jax, Numpyro】Regression Model practice

はじめに Simple regression prior sampling toy data inference by NUTS result predictive distribution Robust Regression toy data Robust regression model inference and result predictive 最後に

【Jax NumPyro vs PyTorch Pyro】階層ベイズモデルMCMC対決

はじめに データ モデル Pyro NumPyro おまけ(推論結果)

【PyTorch・Pyro】モデリングレシピ

はじめに 単一の分布を使ったモデル 正規分布 同時分布の設計 同時分布からのサンプリング Pyroコード ベルヌーイ分布 同時分布の設計 同時分布からのサンプリング Pyroコード カテゴリ分布 同時分布の設計 同時分布からのサンプリング pyroコード 混合モデ…

変分ベイズ法と償却推論:ローカルパラメータの効率的推論

はじめに 変分ベイズ法あらまし 事後分布とその近似分布 第二種最尤推定 ローカルパラメータとグローバルパラメータ グローバルパラメータ 一旦脱線:同時分布のモデリング ローカルパラメータ 償却推論 ローカルパラメータの事後分布 変分パラメータを予測…

E資格で必須の特異値分解解説

はじめに 特異値分解 定義 特異値分解の嬉しさ 行列の低ランク近似 主成分分析の解法 行列による増幅率を定義 特異値と特異ベクトルの実態 最後に

ベイズ統計

はじめに データとモデル 確率モデル 確率モデルを作る 複雑なモデルを使うことが最善手であるか モデルの具体的な作り方 モデルの仮定 アンサンブルモデル 点推定モデル 最尤推定 制約付き最尤推定※ (最大事後確率推定) ベイズ予測分布と点推定 ベイズ統…

ベイズ統計学の手引

ベイズ統計学のモデリングにおける登場人物 同時分布 統計モデルと事前分布 尤度関数 事後分布 周辺尤度 まとめ 寄り道 ベイズ予測分布 回帰の例 同時分布設計 事後分布 ベイズ予測分布

PyTorchの周辺ライブラリ

PyTorch 確率的プログラミング GPyTorch Pyro BoTorch Ax Training Wrapper pytorch lightning ignite Catalyst skorch Computer Vision kaolin pytorch3d kornia

Pyro on PyTorchでベイズ予測分布(MAP推定、変分推論、MCMC)

はじめに Pyroおさらい データ モデル MAP推定 変分推論 変分近似分布 推論 予測 MCMC MCMCの実行 事後分布 予測分布

確率的プログラミング言語 pyro 基本

はじめに Pyro primitives 確率変数の実現値 sample 条件付き独立のベクトル化 plate 階層モデル 変分パラメータを扱う param poutine モデルの様子を把握する trace 条件付き分布の作成 condition まとめと変分推論の例

Ubuntu 18.04にgit入れようとしてハマったこと

はじめに 事象 対応 設定未完のパッケージ把握 パッケージの設定を実施 設定できなかったパッケージの削除

Variational Gaussian Process と Deep Neural Netの回帰の比較

はじめに 連続で滑らかな関数の近似 データ Gaussian Process ニューラルネット 不連続な関数 データ Gaussian Process ニューラルネット

変分と機械学習

はじめに 変分法 変分 微分との差異 微分可能 変分と汎関数 補足 機械学習 関数近似 変分ベイズ法

ニューラルネットワークを用いた近年の変分推論2

はじめに ベイズ推論基本 ベイズ推論 ベイズ予測分布 変分推論 変分推論のアルゴリズム Normalizing Flows 確率分布の変換規則 変分推論への組み込み 具体的な変換の例 planner flow radius flow inverse autoregressive flow flow VAE VAE 基本 flow VAE

確率的プログラミング言語 Pyro vs TensorFlow Probability

モデルの書き方 edward2 pyro tfp 対数同時確率の得方 edward2 pyro tfp

TensorFlow probabilityでレプリカ交換モンテカルロ法

はじめに データ モデル 遷移核 あとは回すだけ

TensorFlow Probability でカルマンフィルター(観測値から内部状態を探る)

はじめに カルマンフィルタの意義 TFPでのカルマンフィルタ モジュール データの生成 TFPで線形状態空間モデルを作る カルマンフィルタの実行 追加実験 追加実験1:状態と観測の次元が異なるケース 追加実験2: 不可観測系 最後に

【陰関数微分】一入力一出力から多入力多出力まで

はじめに 微分 微分係数 導関数 線形近似 多変数関数の微分 微分の通常の表記 陰関数 陰関数 陰関数の微分 多変数入力の陰関数微分 多変数出力の陰関数 多入力多出力の陰関数

TensorFlow ProbabilityでMCMC

モジュール データとモデル データ モデル 学習前の生成モデルからのデータ 対数同時確率の計算 事後分布 MCMCを回す 確率遷移核 MCMC の設定 サンプリングの結果 EAP推定 ベイズ予測分布 ノイズ項を無しにした、回帰曲線のベイズ予測分布

PyTorch1.3 リリース【プロダクト側も本格始動】

はじめに Mobile Support Quantization support C++ Frontend Improvements ONNX Exporter Improvements 所感

ベルマン最適方程式とベルマン期待方程式【強化学習基礎】

はじめに ベルマン期待方程式 ベルマン最適方程式の復習 ベルマン期待方程式 環境というシステムを探る 知識の活用と蓄積 冒険の結果から学びを得る モデルベースとモデルフリー 最後に

標本数が多い場合の標本平均はガウス分布になる誤解の多い話

はじめに 中心極限定理 標本数 なぜに標本数を必要とするか 標本平均 標本平均の分布の極限 中心極限定理の誤用 データで見る標本平均の分布 ある標本の分布(データの分布) とある標本の代表値:標本平均 1000人の研究者に協力してもらう 本当の中心極限定…

TensorFlow 2.0 の速度メモ 【vs PyTorch】

はじめに TensorFlow 2.0 データ モジュール名 データセット モデル作成 モデルのインスタンス化と訓練準備 訓練関数 訓練 PyTorch import データ準備 モデル作成 モデルのインスタンス化と訓練準備 学習コード

ニューラルネットワークを用いた近年の変分推論1

はじめに 変分推論 モデルの書き方 立てたモデルに対する変分近似分布 変分推論 EMアルゴリズムの発展としての変分推論 変分推論の違った見方 近似したいという動機 近似のための損失関数の分解 期待値のサンプリングによる近似 事前分布と変分近似分布のKL…

逆運動学とヤコビ法、特異点

はじめに 順運動と逆運動 順運動と逆運動の一般的な表記 逆運動の解法 解析的手法 局所線形近似法 ヤコビ法と特異点 最後に