[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

タグ

SGDに関するhsato2011のブックマーク (1)

  • 確率的勾配降下法 — 数理最適化用語集

    読み: かくりつてきこうばいこうかほう 英名: Stochastic Gradient Descent 確率的勾配降下法(Stochastic Gradient Descent,以下 SGD)は, 確率密度関数 \(p(z)\) に対して目的関数が期待値で表された以下のような最適化問題に対して有効なアルゴリズムである. 上式における \(l,w,z\) をそれぞれ損失関数,モデルパラメータ,データに対応する確率変数の実現値とすれば, 上記問題は機械学習における期待損失(汎化誤差)の最小化問題に他ならない. そこで,関数 \(L(w)\) は 期待損失 と呼ぶことにする. SGD# 期待損失の値やその勾配 \(\nabla L(w)\) はいくつかの理由により計算困難である場合が多い. 例えば分布 \(p(z)\) が未知,\(p(z)\) が既知であっても期待値計算が困難, あるいは母集団

    確率的勾配降下法 — 数理最適化用語集
  • 1