![みんな⼤大好き-cオプション
l 「Cいくつにした？」と聞かれる
l 正則化項と損失の⽐比率率率を調整する重みのこと
26
% svm-train"
Usage: svm-train [options] training_set_file
[model_file]"
options:"
..."
-c cost : set the parameter C of C-SVC, epsilon-SVR,
and nu-SVR (default 1)"
...](https://image.slidesharecdn.com/20140606mlct-140606061901-phpapp02/75/Jubatus-MLCT-26-2048.jpg)
Jubatusにおける機械学習のテスト@MLCT
- 1. Jubatusにおける機械学習の テスト 株式会社Preferred Infrastructure 海野 裕也 (@unnonouno) 2014/06/06 Machine Learning Casual Talks@Cookpad
- 2. ⾃自⼰己紹介 海野 裕也（@unnonouno） l (株) Preferred Infrastructure l Jubatus開発者 l 専⾨門：⾃自然⾔言語処理理、テキストマイニング l クックパッドプレミアム会員 2
- 4. Jubatus (http://jubat.us/) l 分散オンライン学習のフレームワーク l 分類・回帰・レコメンド・グラフ・近傍探索索・異異常検 知・クラスタリング l 特徴抽出エンジンも備えているので、⽣生データも扱える l 全て分散環境かつオンラインで動く 4
- 6. 各モジュールの役割 l サーバー・クライアント l msgpack-rpcサーバー・クライアントとして振る舞る l だいたい⾃自動⽣生成される l ドライバー l ⽣生データ（⽂文書など）を処理理する層 l 特徴抽出、重み付け、学習を結びつける役割 l コア l ベクトルを受け取る⽣生の学習器 l ベクトルを⽣生成する⽣生の特徴抽出器 l 最近リポジトリを分離離した（jubatus_core） 6
- 7. 各レイヤーのテスト l サーバー・クライアント l 正しくクライアントのリクエスト受けつけて、処理理をドライ バーに投げられるか l ドライバー l ⽣生データを正しくそれぞれのモジュールに引き渡しているか l コア l ちゃんと学習するか 7
- 8. 各レイヤーのテスト l サーバー・クライアント l 正しくクライアントのリクエスト受けつけて、処理理をドライ バーに投げられるか l ドライバー l ⽣生データを正しくそれぞれのモジュールに引き渡しているか l コア l ちゃんと学習するか 8 割りと一般的なテスト
- 9. 各レイヤーのテスト l サーバー・クライアント l 正しくクライアントのリクエスト受けつけて、処理理をドライ バーに投げられるか l ドライバー l ⽣生データを正しくそれぞれのモジュールに引き渡しているか l コア l ちゃんと学習するか 9 今日の話はこっち
- 10. 「ちゃんと」って？ 10
- 11. 3つの「ちゃんと」の話をします l 「ちゃんと」問題が解けるか l 「ちゃんと」論論⽂文通りか l 「ちゃんと」使えるか 11
- 13. テストを書いてみた・・ l Perceptron l 正解率率率：95% l Passive Aggressive l 正解率率率：97％ l Confidence Weighted l 正解率率率：98% l AROW l 正解率率率：98% l NHERD l 正解率率率：70% 13
- 14. ？？？ 14
- 17. Crammer系⼿手法のおさらい 17 initialize w, ∑" for (x, y) in data:" #m = y (x・w)" #if m < e:" # #w := w + αy∑x" # #update ∑" l ベースのアルゴリズムはシンプル l 各⼿手法は、上記のe, α, ∑だけが違う
- 19. 雰囲気だけ・・・ 19 void normal_herd::update( const common::sfv_t& sfv, float margin, float variance, const string& pos_label, const string& neg_label) { for (common::sfv_t::const_iterator it = sfv.begin(); it != sfv.end(); ++it) { // 中略略 storage_->set2(feature, pos_label, storage::val2_t(pos_val.v1 + (1.f - margin) * val_covariance_pos / (val_covariance_pos * val + 1.f / C), 1.f / ((1.f / pos_val.v2) + (2 * C + C * C * variance) * val * val))); if (neg_label != "") { storage_->set2(feature, neg_label, storage::val2_t(neg_val.v1 + (1.f - margin) * val_covariance_neg / (val_covariance_neg * val + 1.f / C), 1.f / ((1.f / neg_val.v2) + (2 * C + C * C * variance) * val * val))); } } } この中に⼀一箇所だけ＋と−を間違えています
- 20. 結局、何が起こっていたか l 1箇所だけ正負を間違えていた l 何度度も何度度も⾒見見返してようやく発⾒見見した l 数式とコードのギャップは深い l 発散するでもなく、完全にランダムでもなく、 妙に精度度が低かった l 精度度が思ったよりも悪かったら、疑うべき（あ たりまえだけど） 20
- 22. あっ、あっ、あっ 22
- 23. 正直すまんかった @@ -38,7 +38,7 @@ void PA::train(const sfv_t& sfv, const string& label) {" if (sfv_norm == 0.f) {" return;" }" - update_weight(sfv, loss / sfv_norm, label, incorrect_label);" + update_weight(sfv, loss / (2 * sfv_norm), label, incorrect_label);" }" " string PA::name() const { 23
- 24. 結局、どうなったのか l そこらにあるテストセット（news20など）を利利 ⽤用して精度度の変化を試したが、ほとんど変わら なかった l 何故か間違った実装のほうが精度度が出た l 意図した実装でないことは事実、しかし発⾒見見は 極めて困難 l テストだけでは発⾒見見出来ない 24
- 25. 「ちゃんと」利利⽤用者に使い⽅方がわかるか l 実装のテストというか仕様のテスト？ l どういう設定をするどどうなるのかが利利⽤用者に とってわかりやすくなっているか l もっと⾔言えば、望まない結果が得られた時にど う対処すればよいかわかるようにできているか 25
- 26. みんな⼤大好き-cオプション l 「Cいくつにした？」と聞かれる l 正則化項と損失の⽐比率率率を調整する重みのこと 26 % svm-train" Usage: svm-train [options] training_set_file [model_file]" options:" ..." -c cost : set the parameter C of C-SVC, epsilon-SVR, and nu-SVR (default 1)" ...
- 28. λ1とλ2どこ⾏行行った？ 28
- 29. AROWの論論⽂文より 29
- 30. AROWの論論⽂文より 30
- 31. r、お前誰？ 31
- 32. よく⾒見見ると・・・ l 本質的には r と λ の役割は同じ l ところが⼤大⼩小関係が逆なので、⼤大きくしたり⼩小 さくした時の挙動が他のアルゴリズムと逆にな る 32
- 33. ハイパーパラメータは所詮ハイパーパラメータ l λ が正しいか 1/r が正しいかの議論論は不不⽑毛 l いずれにせよ、ハイパーパラメータチューニン グで最適化するものであるから、いずれかが間 違いとは⾔言えない l 利利⽤用者側の観点でみると、考えるべきは論論⽂文と の整合性よりも使い勝⼿手（⼀一貫性） 33
- 34. 直しました --- a/src/classifier/arow.cpp" +++ b/src/classifier/arow.cpp" @@ -40,7 +40,7 @@ void AROW::train(const sfv_t& sfv, const string& label){" if (margin >= 1.f) {" return;" }" - float beta = 1.f / (variance + config.C);" + float beta = 1.f / (variance + 1.f / config.C);" float alpha = (1.f - margin) * beta; // max(0, 1- margin) = 1-margin" update(sfv, alpha, beta, label, incorrect_label);" } 34
- 35. 直しました 35
- 36. 設定の与え⽅方を気をつける l 式中のハイパーパラメータを外から設定できる ようにしたいが、パラメータに名前をつけるの は難しい l 仮に「元論論⽂文(2)式中のrです」と書いても、適 切切な値は探索索しないとわからない l 上下したときの影響がわかりやすく、⼀一貫性が 取れるようにする 36
- 37. ハイパーパラメータが1つだけだと思うなよ l 分類器なら正則化パラメータや学習率率率程度度だっ た l 教師無しになるほど何かしらの過程を置く l ◯◯分布を仮定する l ◯◯個のトピック、クラスタを仮定する 37 ハイパーパラメータの数が爆発
- 41. 最近思っていること パラメータによる影響範囲がなるべく限定的にし、 複数の変化が起きにくくするのがよい l メモリ消費量量 l イテレーションの時間 l スループット l 直近のデータへの感度度・過去データの忘却の程 度度 41 1つのパラメータで3つ以上変化 すると制御は難しい
- 42. まとめ l 「ちゃんと」問題が解けるか l 解けそうな問題を解けるか l 簡単な問題にヒドイ間違いをしないか l 「ちゃんと」論論⽂文通りか l 数式はちゃんと写しているか l 確認する⽅方法は・・・頑張れ・・・ l 「ちゃんと」使えるか l 設定は⼗十分意味が伝わり、⼀一貫性が有るか l 挙動を制御しやすいか 42