多くの科学領域でシミュレーションが作られてきたが、尤度が計算できず、観測からの推論が困難で非効率なABCしか使えなかった。近年のML/DLの発展で高次元でも尤度や事後確率分布の代理関数を推定でき、微分可能なシミュレータを使って高度… https://t.co/UMMm24HVRR
はじめに コークハイとか酎ハイをお店で飲むと、割り方とかレモンが効いていたりとかでお店によって結構違いが出ますよね 自分好みの最高のコークハイの作り方を知ることは全人類の夢だと思います。 本記事は一足先にそんな夢に挑戦したという記事です。 手法としてはベイズ最適化を使用します。 実データで実験計画と絡めながらベイズ最適化を実際に行う記事はあまり見かけなかったので今回は、 最適化パラメータ 1. コーラとウイスキーの比 2. レモン汁の量 目的変数 コークハイの美味しさ という2次元入力、1次元出力で実際に実験とチューニングを並行しながら行ってみたいと思います。 目次 はじめに ベイズ最適化とは 実験系の説明 実験条件 実験で考慮しないこと(パラメータ) 実験材料 実験方法 スコアの付け方 実験をやりました（本題） 実装コード 実験開始 ARDありver. 反省点 さいごに ベイズ最適化とは
0.はじめにUKIです。 主題と副題の序列を迷いましたが、いったんPVを稼げそうなほうを主題に置きました（そのうち修正します）。 (1)対象読者 ・EAやbotなどの自動売買に興味がある方 先に結論を書いてしまいますが、たとえAIを使ったとしても儲かる自動売買の戦略を完全に見分けることは不可能です。 商材自体は悪いものではありません。当然、製作者が誠意をもって製作したものもあるでしょう。しかし現実には、悪意のあるもの（儲からないと分かっているが儲かるように振る舞っているもの）や、悪意はなくともバイアスに気付いておらず、結果として購入者が不利益を被るものが大多数紛れ込んでいます。 そもそも市場にアルファ（収益の根源）は殆ど存在しておらず、自動売買の戦略構築過程で発生するバイアスの影響を掻い潜って将来的に利益が出る戦略を作る（見分ける）のは極端に難しいことを知るべきです。不特定多数に販売されて
このページ 機械学習初心者、Python初心者なので基本的に参考にさせていただいたページを読み解く感じになると思います。 条件付き確率(ベイズの定理)って？？ 少し、数学の話です。 条件付き確率 という言葉を聞いたことはありますか？ 前に授業で少し聞いたくらいでほぼ覚えていませんでした。 P(B|A) というのは、事象Aが起こった場合の事象Bが起こる確率を言います。 有名な問題に、子供の話があります。 ある夫婦には子供が二人いる。二人のうち少なくとも一人は男の子であるということが分かった。このとき，二人とも男の子である確率を求めよ。ただし，男の子が生まれる確率，女の子が生まれる確率はともに 1/2 とする これの考え方は 事象A : 二人のうち少なくとも一人は男の子であるということが分かった。 事象B : 二人とも男の子である と考えれば、以下のように考えることができます。 事象A 少なく
概要 ナイーブベイズ分類器(ベイジアンフィルター)のアルゴリズムを具体的な数値を使って説明します。また、Pythonで実装してみました。自分の勉強メモのつもりで書いたのですが、他の方の役にも立てたら嬉しいです。 #ナイーブベイズ分類器って？ あるデータ(文章)をどのカテゴリーに属するのかを判定させる、機械学習の教師あり学習の手法の一つです。 スパムメールフィルターやWEBニュース記事のカテゴライズによく使われています。 難易度 ベイズの定理を利用した単純な手法で、難易度は低です。 なるべく数式を使わないで説明してみました。 ナイーブベイズ分類器の計算 対象文章がどのカテゴリーに分類されるかを決めるための計算ロジックを、具体的な数値を使って説明します。 学習データが以下である場合、対象文章がどのカテゴリーに分類されるか計算します。 学習データ サッカー [ ボール | スポーツ | ワール
概要 こんにちは、データインテグレーション部のyoshimです。この記事は機械学習アドベントカレンダー6日目のものとなります。 今回は「ナイーブベイズ」という手法を説明してみようと思います。 ナイーブベイズは「学習が高速、かつ実装が容易」といった実用性の観点から利用されることの多いアルゴリズムです。 (より精度が高いアルゴリズムやナイーブベイズを元にした発展系も存在します) なお、今回のエントリーではナイーブベイズの「理論」の部分だけで、実際にやってみた例については後日公開しようと思います。 目次 文書を単語単位に分割する ベイズの定理とは ナイーブベイズとは まとめ 文書を単語単位に分割する 早速、「ナイーブベイズ」について説明していきたいのですが、その前に「自然言語を機械学習で扱う際によくやる前処理」について説明します。 今回の記事では、ナイーブベイズを使って「文書分類」をする例で説明
今回はベイズの定理という数学(確率論)の定理をもとにした、Naive Bayes アルゴリズムと呼ばれる教師あり学習アルゴリズムについて説明します。 これは分類タスク向けのアルゴリズムで、文書データに対してよい結果を出すことが知られています。 用意してある、Jupyter notebookをダウンロードして実際にコードを書きながら学習することができます。 今回は、下記にコード例も最後に載せてあるので、ぜひ自分の手で実行して理解を深めてみてください。 ベイズの定理とは 機械学習のタスクでは、データセットが与えられたときに、それをもとにした推定がいくつかある中で、どの推定が最もらしいかということがよく問題になります。 例えば分類タスクでは、そのデータ点(サンプル)がどれに分類されるのかというのが、ここでいう推定ということになります。 このような、どの推定が最もらしいか判断するときに使えるのが、
簡単な例 どれか１つのボールが等確率で出てくる玩具があります。 小玉 大玉 合計 青玉 2 3 5 赤玉 6 1 7 合計 8 4 12 ■周辺確率の関係式 青玉が出てくる確率は、 小さな青玉が出てくる確率は、 大きな青玉が出てくる確率は、 これらから分かるように、 一般には、下記の Sum Rule（周辺確率）が成立する。 ■条件付き確率の関係式（Bayesの定理） 小玉が出たとわかっている場合、それが青玉である確率は、 ―― (1) 右辺の分子・分母を12（すべての玉の数）で割ると (1) したがって、 ―― (2) 一方、青玉が出たとわかっている場合、それが小玉である確率は、 ―― (3) 右辺の分子・分母を12（すべての玉の数）で割ると (3) したがって、 ―― (4) 一般には、下記の関係が成立する。 ―― (5) 特に次のように変形したものを「Bayesの定理」と呼ぶ。 この
おつかれさまです． 僕はあまり深層学習に関して記事を書くことはないのですが，ちょっと気になった論文があったので紹介します． [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので，NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています．実は深層学習をガウス過程（Gaussian process）で構築するのはこの論文が初出ではないのですが，論文ではベイズ学習，深層学習，カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります． さて，「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが，もう少しだけ正確に論文の要点をまとめると次のようになります． 背景 単一
ステップ2 $r_{nk}$を固定して$J$を$\mu_k$で偏微分して最小化します。 式変形をすると、 クラスタ$k$の最適なCentroidは上記のように、クラスター$k$に所属しているデータの平均であることがわかりました。 上記より最初のデモンストレーションで行っていたアルゴリズムは損失関数$J$の最適化によって導出されたものを適用していたことがわかります。 2−3. 実装 上記で示した２ステップを計算して、イテレーションを回すだけのシンプルなプログラムです。最後に更新前のmuと更新後のmuの差を取り、それがある程度小さくなったら収束したと判断し、イテレーションを止めるようにしています。 下記はアルゴリズム部分の抜粋です。プログラムの全文はコチラにあります。 for _iter in range(100): # Step 1 =============================
前回（「Machine Learning – A Probabilistic Perspective」第3章を読んだ。）の続き。 4章は多変数ガウシアンモデルについて。この章は数学的に他の章よりも難しいと、一番初めに書かれており確かにその通りで難しい。流し読みな感じだけど大丈夫だろうか。 分かりやすい解説スライドを見つけたのでこれで復習しよう。 目次は以下の通り。（*がついているところは数学的に難易度が高いところ） 4 Gaussian models 4.1 Introduction 4.1.1 Notation 4.1.2 Basics 4.1.3 MLE for an MVN 4.1.4 Maximum entropy derivation of the Gaussian * 4.2 Gaussian discriminant analysis 4.2.1 Quadratic disc
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 藤井四段の連勝が止まらないですね。 21日の対局に勝利して、連勝記録を１位タイの28連勝まで伸ばしてきました。26日の対局で勝利すれば単独トップになります。 そんな藤井四段の対戦成績は28勝0負。勝率でいうと1.000です。クラクラするような成績ですが、この「勝率」とは何かを少し数学的にみてみましょう。 単純に言葉だけをみると「藤井四段が勝利する確率」ではないかと考えられます。つまり $$P(\text{勝利}\ |\ \text{藤井四段}) = 1.0$$かのように感じます。 ではここで、26日の対局で藤井四段が勝利する確率はどれだ
(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット
対ボルトで男子100m走選手はどれくらい勝算がある？ - 実験スピリッツ id:yeomanさんのところで面白い分析をやっていた。 箱ひげ図による可視化はセンスが良いと思ったんだけど、後半のボルトvsガトリンの勝利確率の導出はいろいろと怪しい部分があったように思う。 「諸分野に明るい方ご意見を宜しくお願い致します」というコメントもあるし（こういう姿勢で色々なことに挑戦しているのでこの人のブログは好きだ）、考え始めたらドツボにはまっていって結構な分量になったのでせっかくだから書き出しておく。 一応なるべく分かりやすく書いたつもりだけど、統計統計した話なので興味が無い方は回れ右。 ※ブコメで効率のよい解き方のご指摘をいただいたので、結論から知りたい方は末尾の追記を読んでください 問題設定 元記事ではボルトとガトリンのタイムはそれぞれ正規分布に従うと仮定している。 箱ひげ図を見た感じでもほぼ平均
先日行われた第9回「データ解析のための統計モデリング入門」読書会にて、 「可視化で理解するマルコフ連鎖モンテカルロ法」というタイトルで発表させて頂きました。 発表スライドは以下です。 可視化で理解するマルコフ連鎖モンテカルロ法 from hoxo_m この発表は、みどりぼんに登場する、マルコフ連鎖モンテカルロ法(MCMC)のアルゴリズムである「メトロポリス法」と「ギブス・サンプラー」について、可視化して理解しようというお話です。 「マルコフ連鎖モンテカルロ法」というのは、字面だけ見ると難しそうですが、この発表で理解すべきポイントは、次のスライド 1枚に凝縮されています。 このことを念頭に置いて、それぞれの手法を見ていきましょう。 まず、メトロポリス法ですが、これは、 前の状態の近くの点を次の遷移先候補として選ぶ（マルコフ連鎖） そのときの確率比 r < 1 ならば確率 r で棄却する。それ
Pythonでマルコフ連鎖モンテカルロ法を実装して解説してみる記事です 『計算統計 II マルコフ連鎖モンテカルロ法とその周辺』のp16に この節の内容を実感するために一番良い方法は、どんな計算機言語でもいいから、 ここで述べたことを白紙から実装してみることである。 という事で、素直にやってみました。せっかくなのでコードと仕組みの解説をしようと思います。 先に結果のアニメーションとプロットを表示しておきます (Burn-in期間：1-30 [この期間のデータは色を薄くしてプロットしています。], 棄却含め150回のサンプリングまで) 10,000回繰り返してサンプリングした結果をプロット。（うち、Burn-in: 2,000回） はじめに まず最初に必要なライブラリのインポートを行います。 import numpy as np import numpy.random as rd impor
ベイジアンになろう 電子情報工学科 伊庭 斉志 確率の復習 条件付き確率 Ａが起こったという条件でＢが起きるという 事象を であらわす その確率 を条件ＡのもとでのＢの 起きる条件付き確率といい、 で定義する A B | ) | ( A B P ) ( ) ( ) | ( A P B A P A B P ∩ = 確率の復習 周辺確率 Ａが起こったとときに同時にB1,B2,…Bmの いずれかが起きるとする。ただし B1,B2,…Bm は同時には起こらない。 このとき、Aがおこる確率は以下のように表 わされる。 ∑ ∑ = = = = m i i i m i i B P B A P B A P A P 1 1 ) ( ) | ( ) , ( ) ( 確率の復習 乗法定理 から が得られる ) ( ) ( ) | ( A P B A P A B P ∩ = ) ( ) ( ) | ( B P B
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く