2. (C)Recruit Communications Co., Ltd. 背景:Dropout学習 • ニューラルネットワークの過学習を抑制する手法 • 学習ステップ毎にランダムに一部のユニットを落とす • 暗に多数のネットワークのアンサンブルモデルを学習している • [Srivastava et al., 2014] 1 学習対象のネットワーク 学習ステップ1 学習ステップ2 ・・・ 学習時 3. (C)Recruit Communications Co., Ltd. 背景:Dropoutにおける予測計算 2 Doropout学習時にはネットワーク構造がランダム => 予測時にどの構造を採用するか? 理想:全てのDropoutパターンでの予測計算の期待値をとる Standard Dropout [Srivastava et al., 2014] • 予測時にはユニットを落と