HELLO CYBERNETICS

深層学習、機械学習、強化学習、信号処理、制御工学、量子計算などをテーマに扱っていきます

人工知能

PyTorch1.3 リリース【プロダクト側も本格始動】

はじめに Mobile Support Quantization support C++ Frontend Improvements ONNX Exporter Improvements 所感

TensorFlow 2.0 の速度メモ 【vs PyTorch】

はじめに TensorFlow 2.0 データ モジュール名 データセット モデル作成 モデルのインスタンス化と訓練準備 訓練関数 訓練 PyTorch import データ準備 モデル作成 モデルのインスタンス化と訓練準備 学習コード

ニューラルネットワークを用いた近年の変分推論1

はじめに 変分推論 モデルの書き方 立てたモデルに対する変分近似分布 変分推論 EMアルゴリズムの発展としての変分推論 変分推論の違った見方 近似したいという動機 近似のための損失関数の分解 期待値のサンプリングによる近似 事前分布と変分近似分布のKL…

【訓練誤差と汎化誤差】学習・統計的推定は正しいのか?【過学習】

はじめに 学習の目的と試み 真の目的に対する我々の現実 データのサンプリング(採取) 真の目的と推定・学習の関係 具体的な学習の試み 正則化による統計モデルの制限 ハイパーパラメータの調整 最終評価 (補足)ベイズ推論 理論的な学習の評価 これまでの…

GPyTorchでガウス過程を見てみよう

はじめに ガウス過程(GP) GPyTorchを使ったモデリング コード概要 学習コード データとモデルの準備 学習と結果 ハイパーパラメータの振る舞い lengthscale outputscale 最後に

強化学習に出てくるベルマン方程式を理解しよう

はじめに ベルマン方程式の概要 最適制御と評価関数 最適制御 評価関数 価値関数 ベルマンの最適性原理 ベルマン方程式 価値関数の離散化 状態の時間発展再訪 ベルマン方程式 まとめ 最後に

PyTorch1.X系のテンソル操作と微分操作の基本+ニューラルネットワークの基本

はじめに Tensorの生成 Tensorのメモリ確保 すべての要素が $0$ のTensor すべての要素が $1$ のtensor 各要素が $[0, 1]$ の一様分布から生成されるtensor 各要素が 平均 $0$ 標準偏差 $1$ の正規分布から生成されるtensor Pythonやnumpyの型からtorch.Tens…

強化学習の基本:マルコフ決定過程ってなんぞ?

はじめに 環境とエージェント 環境 マルコフ過程 本当のマルコフ過程 マルコフ決定過程 本当のマルコフ決定過程 強化学習の話をちょっとだけ 最後に

ディープラーニングは自動で特徴を抽出してくれる?

はじめに 特徴抽出とは ニューラルネットワークによる特徴抽出 深層学習は特徴抽出を自動で行うのか 補足:本当に自動機械学習に向けて

ガウシアンプロセスを使ってみたい人への最低限の知識

はじめに ガウス過程の構成要素 パラメータの周辺化消去 カーネル関数 ガウス過程 ガウス過程回帰 ガウス過程分類 最後に

tf.functionのメモ

tf.functionの基本 基本的な役割 実際の使い方 注意点 制御構文 TO DO

TFP: 確率モデルの書き方 with tfd.JointDistiburionSequential

はじめに 色々な分布 正規分布を使った基本 変数の接続が複雑な場合 sample log_prob

KL reverseとKL forwardのメモ

はじめに KLダイバージェンス 表記に関する注意事項 確率分布間の比較 ダイバージェンスの非対称性 KL reverseの計算 KL forwardの計算 確率分布の形状再考 変分推論では KL reverseを利用する

変分推論とVAEまでの流れ

はじめに 確率モデリング 例 ガウス分布から生起するデータ 回帰モデル ベイズモデリング MAP推定 変分推論 VAE Normalizing Flow

AutoMLとは?

はじめに AutoMLのライブラリ H20.ai Auto-Keras AutoSklearn hyperas AutoMLとは 機械学習で生ずる作業 AutoMLの役割 ハイパーパラメータ探索 モデルの選定 特徴選択 AutoMLとは 追記

torch.jit を使ってみたのでメモ

はじめに Python on CPU Python on GPU Torch on CPU Torch on GPU

Graph Neural Network 系のライブラリメモ

はじめに PyTorch Deep Graph Library PyTorch Geometric TensorFlow graphnets おすすめ

TensorFlow 2.0 のコードの書き方基本集(PyTorchとの比較)

はじめに 線形回帰と学習のコード データセット PyTorch TF2.0 違い 些細な違い:層の定義の仕方 些細な違い:ロス関数の書き方 大きな違い:勾配計算とパラメータ更新 ニューラルネットワークの簡単な書き方 PyTorch TF2.0 違い 畳み込みニューラルネットワ…

TensorFlow2.0 Preview版が出ました!

TensorFlow 2.0発表! コード周辺の変更 tutorial TensorFlow 2.0発表! ついに動きがありましたね。APIは下記で見ることが出来ます。名前空間がスッキリしていることに気づくはずです。 www.tensorflow.org v1.12.0からv2.0へコードを書き換えるためのツー…

【簡易速度比較】TensorFlow vs PyTorch

【TF Advent Calendar 2018】TensorFlow Eager Executionの使い方 step by step

はじめに TensorFlow Eager Execution概要 What's Eager Execution Why Eager Execution 計算グラフを動的に変えられる PythonicかつNumPyライクに使える Eager Execution 実践 自動微分 低レベルEager Optimizer利用 tf.keras.layersl + tf.train Keras で…

TensorFlow Eager Execution Tutorials

TensorFlow Eager_Execution Tutorials 始めました。 PyTorchのTutorialsの充実具合に影響されて始めました。githubにあるPyTorchのtutorialリポジトリを参考に、TensorFlow Eagerへ焼き直し、あるいは適宜内容を変更し、今後も追加していきます。コードは今…

TensorFlow Eager Execution + Keras API の基本

【TensorFlow Probability】edward2 モジュールの使い方 MCMCまで【更新】

TensorFlow Probabilityでガウシアンプロセス回帰の最尤推定を実行してみる

確率的プログラミング言語 TensorFlow Probability【高レベルAPI、`tfp.glm`の紹介】

【TensorFlow】EagerExecutionがデフォルトになるぞ!!基本的な書き方を身につけておこう

大幅に進化するらしいTensorFlow2.0について

機械学習の分野別概要【ディープ〜ベイズ】

【クラスタリングの新トレンド?】DeepClusterとその発展の考察