HELLO CYBERNETICS

深層学習、機械学習、強化学習、信号処理、制御工学、量子計算などをテーマに扱っていきます

雑記ブログ【HELLO REALWORLD】始めました。

ガウシアンプロセスを使ってみたい人への最低限の知識

はじめに ガウス過程の構成要素 パラメータの周辺化消去 カーネル関数 ガウス過程 ガウス過程回帰 ガウス過程分類 最後に

TFPで階層モデルを書くときの便利なクラス tfd.JointDistributionCoroutine

はじめに 環境 階層モデル 例:モデル コード

tf.functionのメモ

tf.functionの基本 基本的な役割 実際の使い方 注意点 制御構文 TO DO

TFP: 確率モデルの書き方 with tfd.JointDistiburionSequential

はじめに 色々な分布 正規分布を使った基本 変数の接続が複雑な場合 sample log_prob

ベイズの定理を使わずに事後分布の推論

はじめに グラフィカルモデリング グラフィカルモデルと同時分布 グラフィカルモデリング まとめ 正規分布のパラメータの事後分布 回帰問題のモデリング

【書籍紹介】ガウス過程と機械学習

はじめに 目次とコメント 0章 たった5分でガウス過程が分かってしまう 1章 線形回帰モデル 2章 ガウス分布 3章 ガウス過程 4章 確率的生成モデルとガウス過程 5章 ガウス過程の計算法 6章 ガウス過程の適用 7章 ガウス過程による教師なし学習 ガウス過程の…

【PyTorch】多項式回帰MAP推定・変分ベイズ推論を試す

はじめに 利用するモジュール torch.distributions の基本 分布の記述 サンプリング 対数尤度の計算 MAP推定 用いるデータ モデル 目的関数 学習コード PyTorchっぽく書く 変分推論 変分モデル 目的関数 学習コード 変分推論をPyTorchっぽく書く

CAE・有限要素法のお勉強:ガラーキン法

はじめに 有限要素法の下地をひとっ走り 考える微分方程式 解の候補を絞る 解の候補が満たすべき素朴な条件:最小二乗法 解の候補が満たすべき面白い条件:重み付き残差法 欲張りな重み付き残差法 重み付き残差の準備の仕方を決める:ガラーキン法

KL reverseとKL forwardのメモ

はじめに KLダイバージェンス 表記に関する注意事項 確率分布間の比較 ダイバージェンスの非対称性 KL reverseの計算 KL forwardの計算 確率分布の形状再考 変分推論では KL reverseを利用する

変分推論とVAEまでの流れ

はじめに 確率モデリング 例 ガウス分布から生起するデータ 回帰モデル ベイズモデリング MAP推定 変分推論 VAE Normalizing Flow

AutoMLとは?

はじめに AutoMLのライブラリ H20.ai Auto-Keras AutoSklearn hyperas AutoMLとは 機械学習で生ずる作業 AutoMLの役割 ハイパーパラメータ探索 モデルの選定 特徴選択 AutoMLとは 追記

変分モデルの書き方 Pyro

はじめに データの分布形状が既知な場合の推論 問題設定 ベイズ推論のためのモデリング 共役事前分布を用いた解析的推論 変分推論 Pyro で変分推論 振り返り 追記:変分ベイズ推論を応用した最尤推定、MAP推定 MAP推定 最尤推定

torch.jit を使ってみたのでメモ

はじめに Python on CPU Python on GPU Torch on CPU Torch on GPU

Graph Neural Network 系のライブラリメモ

はじめに PyTorch Deep Graph Library PyTorch Geometric TensorFlow graphnets おすすめ

TensorFlow 2.0 のコードの書き方基本集(PyTorchとの比較)

はじめに 線形回帰と学習のコード データセット PyTorch TF2.0 違い 些細な違い:層の定義の仕方 些細な違い:ロス関数の書き方 大きな違い:勾配計算とパラメータ更新 ニューラルネットワークの簡単な書き方 PyTorch TF2.0 違い 畳み込みニューラルネットワ…

確率的プログラミング言語Pyroと変分ベイズ推論の基本

はじめに ベイズ推論 モデリング 事後分布 予測分布 実際に使われる予測分布 Pyroの基本 Pyroの確率変数の取扱 Pyroのハイパーパラメータの取扱 Pyroでの変分パラメータの取扱 変分ベイズ推論のコード:確率モデル 変分モデル 学習コード 変分推論のカスタマ…

統計的学習理論でのコトバの定義が分かりやすかったのでまとめ

はじめに コトバの定義 データ 学習データ 検証データ テストデータ 入力データと出力データ 機械学習モデル 仮説 仮説集合 損失 損失関数 予測損失 経験損失 はじめに 青いシリーズの統計的学習理論 統計的学習理論 (機械学習プロフェッショナルシリーズ)作…

変分ベイズ法の心2

はじめに 変分ベイズ法の戦略 基本の復習 分布の評価指標 ELBO 変分ベイズ法の具体的手段 関数 $q$ をどのように置くのか はじめに 下記記事の続きで、お気持ちは理解している前提で進みます。 www.hellocybernetics.tech 変分ベイズ法の戦略 基本の復習 デ…

変分ベイズ法の心

ベイズ推論の基本 変分ベイズ学習 変分法の心 変分ベイズ法の戦略 ベイズ推論の基本 ベイズモデリングの概要については下記の記事を参考にしてください。 www.hellocybernetics.tech 概要をさらっとなぞると、ベイズ推論の基本的な話としては、観測データ $x…

TensorFlow2.0 Preview版が出ました!

TensorFlow 2.0発表! コード周辺の変更 tutorial TensorFlow 2.0発表! ついに動きがありましたね。APIは下記で見ることが出来ます。名前空間がスッキリしていることに気づくはずです。 www.tensorflow.org v1.12.0からv2.0へコードを書き換えるためのツー…

ベイズモデリング勉強の外観

はじめに 上記発言の意図 アヒル本 須山ベイズ 渡辺ベイズ 確率モデリング 確率モデリングの概要 確率モデリング手順 予測モデル MAP推定値 EAP推定値 ベイズ予測分布 ベイズモデリングのまとめ はじめに 今回は下記のツイートが割と評判が合ったので、少し…

Optunaでハイパーパラメータチューニング

【簡易速度比較】TensorFlow vs PyTorch

【TF Advent Calendar 2018】TensorFlow Eager Executionの使い方 step by step

はじめに TensorFlow Eager Execution概要 What's Eager Execution Why Eager Execution 計算グラフを動的に変えられる PythonicかつNumPyライクに使える Eager Execution 実践 自動微分 低レベルEager Optimizer利用 tf.keras.layersl + tf.train Keras で…

TensorFlow Eager Execution Tutorials

TensorFlow Eager_Execution Tutorials 始めました。 PyTorchのTutorialsの充実具合に影響されて始めました。githubにあるPyTorchのtutorialリポジトリを参考に、TensorFlow Eagerへ焼き直し、あるいは適宜内容を変更し、今後も追加していきます。コードは今…

フーリエ変換と線形システム【振動解析への応用】

TensorFlow Probability コードメモ ① 確率分布周りの基本と最尤推定

【主成分分析(PCA)まとめ】分散最大化・確率的主成分分析・ベイズ主成分分析(MAP推定)まで

【確率的プログラミング】Edward2, Pyro, PyStanのベイズ線形回帰コードメモ