HELLO CYBERNETICS

深層学習、機械学習、強化学習、信号処理、制御工学、量子計算などをテーマに扱っていきます

標本数が多い場合の標本平均はガウス分布になる誤解の多い話

数学 数学-確率・統計
  • はじめに
  • 中心極限定理
    • 標本数
    • なぜに標本数を必要とするか
    • 標本平均
    • 標本平均の分布の極限
    • 中心極限定理の誤用
  • データで見る標本平均の分布
    • ある標本の分布（データの分布）
    • とある標本の代表値：標本平均
    • 1000人の研究者に協力してもらう
    • 本当の中心極限定理
    • 補足
  • 最後に
続きを読む

ニューラルネットワークを用いた近年の変分推論１

人工知能 人工知能-機械学習 数学 数学-確率・統計
  • はじめに
  • 変分推論
    • モデルの書き方
    • 立てたモデルに対する変分近似分布
    • 変分推論
    • EMアルゴリズムの発展としての変分推論
  • 変分推論の違った見方
    • 近似したいという動機
    • 近似のための損失関数の分解
    • 期待値のサンプリングによる近似
    • 事前分布と変分近似分布のKLダイバージェンス
  • 最後に
続きを読む

【訓練誤差と汎化誤差】学習・統計的推定は正しいのか？【過学習】

人工知能 人工知能-機械学習
  • はじめに
  • 学習の目的と試み
    • 真の目的に対する我々の現実
    • データのサンプリング（採取）
    • 真の目的と推定・学習の関係
  • 具体的な学習の試み
    • 正則化による統計モデルの制限
    • ハイパーパラメータの調整
    • 最終評価
    • （補足）ベイズ推論
  • 理論的な学習の評価
    • これまでの話との関連
    • 汎化誤差の近似
  • 最後に
続きを読む

MLPシリーズ　ベイズ深層学習

雑談 雑談-書籍紹介
  • はじめに
  • 概要
    • 深層学習に対して不確実性を導入する
    • 深層学習をベイズ推論で理解する
    • ベイズ推論にニューラルネットワークを導入する
  • 中身
    • 1.はじめに
    • 2.ニューラルネットワークの基礎
    • 3.ベイズ推論の基礎
    • 4.近似ベイズ推論
    • 5.ニューラルネットワークのベイズ推論
    • 6.深層生成モデル
    • 7.深層学習とガウス過程
  • 読み方
続きを読む

PyTorch1.X系のテンソル操作と微分操作の基本＋ニューラルネットワークの基本

人工知能 人工知能-Pytorch
  • はじめに
  • Tensorの生成
    • Tensorのメモリ確保
    • すべての要素が $0$ のTensor
    • すべての要素が $1$ のtensor
    • 各要素が $[0, 1]$ の一様分布から生成されるtensor
    • 各要素が 平均 $0$ 標準偏差 $1$ の正規分布から生成されるtensor
    • Pythonやnumpyの型からtorch.Tensorの型に変換する
    • 既存のTensorの形を引用して新しいTensorを作る
  • Tensorの計算
    • 加減乗除
  • tensorの形
    • 形の確認
    • 形の変更
  • Tensorの微分
    • 微分する宣言
    • 連鎖規則
    • ニューラルネットワーク
  • 最後に
続きを読む

【ロバスト回帰】最小二乗法と最小絶対値法

数学 数学-確率・統計
  • ロバスト回帰
  • 単回帰
    • 最小二乗法
    • 最小絶対値法
    • MSEとMAEの比較
      • ライブラリをインポート
      • 扱うデータの可視化
      • モデル構築
      • 学習
      • 結果の可視化
    • 最小絶対値法なんてしていいの？
  • 確率モデル
    • ラプラス分布とガウス分布
      • 最尤推定でやってみる
続きを読む