L1正則化について 岡野原大輔 東京大学辻井研 D2 2008/8/5@奥村研 目次 • L1正則化の性質 – Laplace事前分布によるMAP – Representor Theorem (L2との違い) • L1の最適化⼿法 – 差分表現 / OWLQN / Multiplicative Update Grafting • L1によるアプリケーション例 教師有り学習のおさらい • ⼊⼒x∈Rm から出⼒yへの写像を求める – y∈{-1,+1}: ニ値分類 y∈{1…k}: 多値分類 – y∈r1× r2× …×rt ri∈{1…k}:構造出⼒分類 • 写像のモデルとして線形識別器を使う – w∈Rm モデルパラメータ(重みベクトル) – Φ(x,y)∈Rm : x, yから決定される素性ベクトル – y*=argmaxywTΦ(x,y) – SVM, NB, MaxEnt (Lo