2018年3月29日、株式会社サイバーエージェントが主催するイベント「春の機械学習祭り 〜Data Engineering & Data Analysis WS#4〜」が開催されました。サイバーエージェントのデータ分析基盤とデータ活用、およびそれらの技術を共有する本イベントでは、秋葉原ラボ所属メンバーを中心に基盤と分析について具体的かつ実践的な技術を紹介します。プレゼンテーション「大規模分散深層学習とChainerMNの進歩と課題」では、ディープラーニングのフレームワークChainerを開発する株式会社Preferred Networksの秋葉拓哉氏が登場。分散機械学習の仕組みや現在の潮流について語ります。 オープンソースのDeep Learning Framework「Chainer」 秋葉拓哉氏（以下、秋葉）：ChainerとChainerMNについても少し紹介したいと思います。時間が
米サンフランシスコで開催された「Deep Learning Summit 2017」にて、PFN は Chainer のマルチノードでの分散学習対応への取り組みについて発表しました。本記事では、その発表について詳しく説明していきます。 分散深層学習の重要性と現状 GPU の性能は継続的に向上していますが、より大きなデータを活用してより精度の高いモデルを実現するために、深層学習で使われるモデルのパラメータ数や計算量も増大しています。そのため、現在でも、Chainer を含む一般的なフレームワークを用いた標準的な学習では 1 週間以上かかってしまうようなユースケースが少なくありません。より大規模なデータを扱ったり、試行錯誤のイテレーションを効率化するために、複数の GPU を連携させ学習を高速化させることは重要な課題です。そこで、我々は Chainer にマルチノードでの分散学習の機能を追加す
本稿は、長年のテクノロジ・ジャーナリストであるマイケル・コープランド（Michael Copeland）氏がディープラーニングの基本を説明する一連の記事の第一弾です。 「人工知能は未来のテクノロジだ」、「人工知能はサイエンス・フィクションだ」、「人工知能はすでに私たちの日常生活の一部だ」――これらの説明はすべて事実であり、単にAIのどの面を指して言っているかによります。 たとえば、今年、Google DeepMindが開発したプログラム「アルファ碁」（AlphaGo）が囲碁の対局で韓国のプロ棋士イ・セドル（Lee Se-dol）氏を破った際に、DeepMindが勝った経緯を説明するため、「AI」、「機械学習」、「ディープラーニング」という言葉がメディアでさかんに取り上げられました。この3つは、どれもアルファ碁がイ・セドル棋士を打ち負かした理由の一部ですが、同じものではありません。 その関係
3. 確率率率的勾配降降下法 until converge: for x, y in trianing data: grad = calc_grad(x, y) update(w, grad) 3 こちらの並列列化は限度度がある こちらの並列列度度を上げる 4. ミニバッチ並列列化 until converge: for {x, y} in trianing data: grad = calc_grad({x, y}) update(w, grad) 4 ⼀一度度にたくさん計算する 並列列に計算できる 5. ミニバッチの勾配計算の例例（SVM） Lhinge(yxTw) l W ∈ RD l x ∈ RD l y ∈ {-1, 1} l Lhinge: R à R 5 ∑ Lhinge(y⦿(xTw)) l W ∈ RD l x ∈ R{B, D} l y ∈
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く