Efficient Neural Architecture Search via Parameters Sharing @ ICML2018読み会
Efficient Neural Architecture Search via Parameters Sharing @ ICML2018読み会
Siamese Networkを理解してchainerで実装するまでの流れを書きたいと思います。 Siamese Networkとは、１クラスあたりの学習データが極端に少ないケース（これをone shot learningとかfew shot learningと言います）にでもうまく学習をしてくれるネットワークモデルです。 Siamese Networkは20年以上前に作られたものらしいのですが、近年のディープラーニングブームでSiamese NetworkにCNNやLSTMを組み込んだものが良い結果を出してきて、プチブームが起こっている気がします。(GANには遠く及びませんが) このSiamese Networkに基づいた研究にNIPS2016で発表された”Matching Networks for One Shot Learning”(Oriol)があります。個人的にはこれを実装するこ
こんにちは。 GANの発音を、「ガン」 or 「ギャン」のどっちかと言われたら、「ガン」な私です(いやまぁ気持ちだけ…)。 さて、先日某つぶやきサイトに流れてくるつぶやきを眺めていたら、衝撃的な動画を見つけました。 ぐぉォォ。。。マジカ。 ＝＝ Progressive Growing of GANs for Improved Quality, Stability, and Variation https://t.co/Qp8d4N4zXr via @YouTube— Hakky@Julia勉強中(´･∀･) (@St_Hakky) 2017年10月28日 それが以下の動画です。 www.youtube.com これは、今回読んだ「Progressive Growing of GANs for Improved Quality, Stability, and Variation」というタイト
Research Learning explanatory rules from noisy data Published 29 January 2018 Authors Richard Evans, Edward Grefenstette Suppose you are playing football. The ball arrives at your feet, and you decide to pass it to the unmarked striker. What seems like one simple action requires two different kinds of thought. First, you recognise that there is a football at your feet. This recognition requires in
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
こんにちは Ryobot (りょぼっと) です． 本紙は ICLR 2017 のポスターセッションでもっとも注目を集めた論文である．写真の右側の Google Tシャツの男性が第一著者の Noam Shazeer，左側の女性が第二著者の Azalia Mirhoseini (ソース)． この論文では傍若無人なほど巨大な (Outrageously Large) 混合エキスパートと少数のエキスパートを選択するゲーティングネットワークを用意し，ゲーティングで選択した少数のエキスパートのみ順/逆伝播を実行することで巨大なモデルであっても少ない時間で訓練できる．機械翻訳と言語モデルの SOTA を達成した． 著者に猫の概念で注目を集めた Quoc Le，深層学習のゴッドファーザー Geoffrey Hinton，分散システムの大御所 Jeffrey Dean が会している点でも注目を集めた． WM
Darknet is an open source neural network framework written in C and CUDA. It is fast, easy to install, and supports CPU and GPU computation. You can find the source on GitHub or you can read more about what Darknet can do right here: Installing Darknet Darknet is easy to install and run. This post will guide you through it. YOLO: Real-Time Object Detection You only look once (YOLO) is a state-of-t
Deep learning methods employ multiple processing layers to learn hierarchical representations of data and have produced state-of-the-art results in many domains. Recently, a variety of model designs and methods have blossomed in the context of natural language processing (NLP). In this paper, we review significant deep learning related models and methods that have been employed for numerous NLP ta
StackGANによるフォントの錬金術 図1. 中央が錬金したフォント 近況 図2. 真理の一撃を放とうとするカリオストロさん（公式絵より） グランブルーファンタジーというスマホのゲームでカリオストロというキャラクターがいます。もとは天才錬金術師で、自己の性別を錬金術で男から女に変えた天才です。そんな彼（彼女？）が真理の一撃だー！っていうんですよ、かっこよいですね。 あまりにも今までの不可能を打開し続けるDeep Learning。自分で言うと甚だ科学としての機械学習が零落しそうですが、まだDeep Learningは体系化された知恵の集合体としての正しい科学の段階にはたどり着いていないように思います。どちらかと言うと錬金術に近い技かも。 Deep Learningは、いつかまだ見ぬ真理へと人類を導いてくれるんでしょうか。各人、期待しております。 モチベーション 日本語のフォントを作成する
こんにちは。 今（僕の中で）話題沸騰中のベイズ統計用Pythonライブラリ Edward GitHub - blei-lab/edward: A library for probabilistic modeling, inference, and criticism. Deep generative models, variational inference. Runs on TensorFlow. を使って Bayesian DNN ＆ Variational Inference をやってみましたので、その報告＆コードの簡単な解説＆感想をこの記事では残しておこうと思います。 前回の記事 mathetake.hatenablog.com で用意したHiggs粒子データセットを使って、分類器を作ろうと思います. ※Edwardってなんぞやって人は、公式Webまたは次の論文 [1701.037
概要 先日発表されたpix2pixが楽しそうだったので実際に動かしてみた。 対象を絞れば学習画像が500枚程度でもそれなりに動く。 結論：GANすごい。 はじめに pix2pixとは、ざっくりと言えば、2画像間に潜む画像変換をDNNで表現してしまおう！というものです。変換前後の画像さえ用意できれば大体どんな変換でも対応可能らしく、例えば以下のようなことが可能らしいです。 航空写真 → 地図画像 モノクロ画像 → カラー画像 線画 → カラー画像 (上記すべて逆も可能) 何やら万能っぽい雰囲気！素晴らしいことにコードが公開されている（torchだけど）！しかも自前画像でも簡単に試せそう！ ということで試してみました。 データ flickrから収集したラーメン画像(1,000枚)を使用。多少のゴミは無視で。公式のソースコードに合わせて、各画像を中心でクロップ＆リサイズしておき、学習画像と評価画
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
RNN/LSTMでテキスト分類をしたいと思い、まず自分でネットワーク構造を考えてみました。word embeddingとLSTMを組み合わせて、単純な和を文章全体のベクトルとして扱うことを考えてみたのですが、これは思うように動きませんでした。さっぱり学習する気配がありません。 そこで既に提案されている手法を探してみると、word embeddingの配列をx軸固定の畳み込み演算するという手法がひとつありました(CNNによるテキスト分類)。TensorFlowでの実装もあったのですが、chainerでできないかと思いmax_poolingでstride=(0, 1)といった感じで指定してみたのですが、chainerではstrideの値が0より大きいことを想定しているため0除算が発生して動かせませんでした。 仕方がないので、もうひとつの手法「Recurrent Convolutional Ne
ここがすごい、DCGAN 概要 写真と見間違えるこの画像、 引用元：dcgan_code 実は機械学習により生成したものらしいです。 DCGAN(Deep Convolutional Generative Adversarial Network)というプロジェクトにて公開されている技術です。 概念の「演算」もできる どういうことかと言うと・・・ 引用元：dcgan_code このように概念を組み合わせて新たな画像を生成することもできるらしいです。 この記事では、なぜこのようなことが実現できるのか理解するために、TensorFlowでDCGANに使われている基礎的な技術を実装してみました。 DCGANの技術を分解 DCGANの頭文字を分解すると・・・ Deep : 今流行りのDeep Learning Convolutional : 画像認識の分野で大きな成果を上げている畳み込みネットワーク
5月22日、研究所内勉強会の担当回だった時の資料（一部変更）。 画像説明文生成や真相学習を利用した画像生成など、以下のオーラル発表5本を紹介。 1. Show and Tell: A Neural Image Caption Generator 2. Long-term Recurrent Convolutional Networks for Visual Recognition and Description 3. Deep Visual-Semantic Alignments for Generating Image Descriptions 4. Deep Neural Networks are Easilly Fooled: High Confidence Predictions for Unrecognizable Images 5. Understanding Deep Ima
Authors Anoop Korattikara Balan, Vivek Rathod, Kevin P. Murphy, Max Welling Abstract We consider the problem of Bayesian parameter estimation for deep neural networks, which is important in problem settings where we may have little data, and/ or where we need accurate posterior predictive densities p(y|x, D), e.g., for applications involving bandits or active learning. One simple approach to this
Aug 08, 2024 : Player emotion analysis: ML technologies of Leon casino Oct 11, 2017 : RNN made easy with MXNet R Jun 1, 2017 : Conditional Generative Adversarial Network with MXNet R package Jan 18, 2017 : MinPy: The NumPy Interface upon MXNet’s Backend Jan 7, 2017 : Bring TensorBoard to MXNet Dec 14, 2016 : GPU Accelerated XGBoost Nov 21, 2016 : Fusion and Runtime Compilation for NNVM and TinyFlo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く