ラグランジュの未定乗数法の説明が式だけだとよくわからなかったので実例で理解したメモです。 ラグランジュの未定乗数法 Wikipediaが詳しいです（ラグランジュの未定乗数法）。 ざっくり概要は、束縛条件がある場合に式の最適化をする方法です。 式で表すと、ある式$f(x,y,z)$があってその極値を求めたいけれど、条件として$g(x,y,z)=0$となるように$x,y,z$を選ばないと行けないという状況です。 計算方法 極値を求めたい式$f(x,y,z)$と、束縛条件$g(x,y,z)$がある場合に、新たな式
機械学習における 劣モジュラ性の利用 大阪大学 産業科学研究所 河 原 吉 伸 Email : kawahara@ar.sanken.osaka-u.ac.jp URL : www.ar.sanken.osaka-u.ac.jp/~kawahara/ 発表の流れ 機械学習に現れる組み合わせ問題 劣モジュラ性とは？ 劣モジュラ性の定義，劣モジュラ関数の例 劣モジュラ最適化の分類 劣モジュラ最小化・最大化の機械学習における例 劣モジュラカット法*)の紹介 まとめ 2 Y. Kawahara, K. Nagano, K. Tsuda and J. Bilmes (2009): “Submodularity cuts and applications”, Advances in Neural Information Processing Systems 22, pp.
1. 自然言語処理における argmax 操作 NISHIKAWA Hitoshi NISHIKAWA Hitoshi 2011/07/23 DSIRNLP #1 1 2. 目的 • NLP タスクの全体像をご説明差し上げ、ご理解いた タ ク 全体像をご説 差 上げ ご理解 た だき、皆様の学習の一助とする – NLP とは何ぞや – 他の分野との関係 – 構成要素、 NLP の世界観 • NLP タスクのうち、特に argmax 操作（デコード）と呼 g ばれる操作についてお話差し上げ、モデル開発の 一助とする 2011/07/23 DSIRNLP #1 2 3. 目次 概 分 1. NLPの概要(10分) 1. 他分野との関係、 NLP の諸技術(5分) 他分野 関係、 諸技術( 分) 2. モデル、パラメタ、デコード(5分) 2. デコード(30分) 2 デコ ド(30分) 1. 近
We provide a general theory of the expectation-maximization (EM) algorithm for inferring high dimensional latent variable models. In particular, we make two contributions: (i) For parameter estimation, we propose a novel high dimensional EM algorithm which naturally incorporates sparsity structure into parameter estimation. With an appropriate initialization, this algorithm converges at a geometri
We introduce the online stochastic Convex Programming (CP) problem, a very general version of stochastic online problems which allows arbitrary concave objectives and convex feasibility constraints. Many well-studied problems like online stochastic packing and covering, online stochastic matching with concave returns, etc. form a special case of online stochastic CP. We present fast algorithms for
We consider distributed convex optimization problems originated from sample average approximation of stochastic optimization, or empirical risk minimization in machine learning. We assume that each machine in the distributed computing system has access to a local empirical loss function, constructed with i.i.d. data sampled from a common distribution. We propose a communication-efficient distribut
はじめに 勉強会で、学習率を改善(自動調整)する事で学習時間を短縮し、ファンタジスタドールを見る時間を多く確保できる事が示されていた。 AdaGrad等をさらに改良したらしいAdaDeltaがあるようなので、ロジスティック回帰に適用してみた。 AdaDeltaとは M. D. Zeiler, ADADELTA: AN ADAPTIVE LEARNING RATE METHOD http://www.matthewzeiler.com/pubs/googleTR2012/googleTR2012.pdf 学習率を自動調整する方法の一つ 他の関連手法の問題点等を改良 過去すべての勾配を考慮→直近の勾配だけを考慮したいので、指数関数的に減衰するように考慮 グローバルな学習率を指定→second order methodsの特性を持つように、パラメータの変化について直近のパラメータの変化から計算し
ラグランジュ関数は以下のような形をした制約付き最適化問題を解くために導入される有名な手法です． $\min_{x \in D} f_0(x),$ $\mbox{subject to}$ $f_i(x) \le 0$ $(i=1,2,...,m)$ $h_i(x) = 0$ $(i=1,2,...,p)$ ここで，$D \subseteq \mathbb{R}^n$ は目的関数の定義域で， $f_0,f_1,\cdots,f_m, h_1, \cdots, h_p: D \rightarrow \mathbb{R}$ は任意の関数． この記事では "Convex Optimization" (by Boyd and Vandenberghe) の5章 "Duality" の項を元に，ラグランジュ関数とその背後にある理論について記します．主に記したことは以下のとおりです． ラグランジュ関数の定
2. 自己紹介 ステータス • @piroyoung a,k,a みずかみひろき • 数学(ゲーム理論） → SPA企業の総合職（物流・小売） → データナントカ（コンサル）Now! • 最近，渋谷が気になる スキル・興味・近況 • R, SQL, Python, Ruby, Jags/Stan • データマイニング屋 • NLPについては何も知らない • Scala修行中 • 新しいものが好き • Yo!! 始めました → PIROYOUNG • LINEも始めました→ piroyoung 2 5. • 1.2 最適化問題 • 1.2.1 凸集合と凸関数 • 1.2.2 凸計画問題 今日やること • 1.2.3 等式制約付き凸計画問題 • 1.2.4 不等式制約付き凸計画問題 • 1.3 確率 • 1.3.1 期待値 平均 分散 • 1.3.2 結合確率と条件付き確率 • 1.3.3 独
//---はじめに--- こんにちは。Machine Learning Advent Calendar 2013の11日目を担当することになりました@vaaaaanquishです。今回は大学で研究している進捗としてstochastic average gradient(SAG)についてまとめていきたいと思います。「前年度も誰かがやってたような･･･」と思った方はきっと記憶違いです。よろしくお願いします。 //---SAG--- SAGはNIPS2012で発表*1されたオンラインアルゴリズム最適化手法の一つです。その名の通り更新時に確率的勾配の「Average」を取るアルゴリズムです。このような平均化されたアルゴリズムは、averaged stochastic gradient descent*2やSample Average Approximation*3のように昔から数多くの研究が行われ
RjpWiki はオープンソースの統計解析システム R に関する情報交換を目的とした Wiki です汎用最適化関数 optim() の使用法 統計学では、最尤推定や最小自乗法等、ある目的関数の最適化を行なう必要が しばしば起こる。optim() は R の汎用最適化関数で、複数の代表的手法をオプションで選べる便利な道具である。 一変数関数専用の最適化関数 optimize もある。 線形不等式制約の場合は 線形不等式制約付きの最適化関数 constrOptim 参照。 同種の関数として 汎用非線形最小化関数 nlm もある。 一変数関数の根を求める専用関数 uniroot もある。 非線形回帰専用の関数 nls は独自の最適化アルゴリズムを使用する。 命令書式 optim(par, fn, gr = NULL, method = c("Nelder-Mead", "BFGS", "CG",
RecSys 2013 (Hong Kong) - RecSysのbest paperが、なんだか面白そうだったので読む。 A Fast Parallel SGD for Matrix Factorization in Shared Memory Systems 著：Yong Zhuang, Wei-Sheng Chin, Yu-Chin Juan, and Chih-Jen Lin 本論文自体は、Matrix FactorizationのためのSGDの拡張である点が、他の論文とは違うらしい。 序論は確率的勾配降下法（SGD）の並列化について - 分からんこと多すぎに書いたので、本文の3章（SGDの並列化に関する諸問題）からになる。 また結論から言うと、計算速度は従来手法の十倍程度になる。 ただし、プログラミング上のテクニック的な話なので、理論とかあんまりない。 勉強になるし実用的で、企業
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く