巷では何かと分散処理が流行っています。 特にHadoop＋Mahoutで大規模データに対して機械学習や統計モデルを高速分散処理することで、データマイニングがより盛んになるのではないかと期待がされています。 分散処理するためには、最後に足し合わせることができればいいわけで、考えてみるとそんなに難しいことじゃないんですよね。 試しにRを使って、線形単回帰を分散処理っぽく計算します。 大規模データで試しているじゃないですし、パフォーマンスを比較しているわけではありませんのであしからず、、 結局、分散処理は データを分割 それぞれのデータでパラメータ計算 計算結果を足す の3つをやっているだけだと、私は理解しています。 ですので、その3つの手順をRで100サンプル発生させて書いてみます。 まずは全体データで回帰係数を計算。 set.seed(1) x <- rnorm(100) set.seed(
PRML ４章とかを読んで、ちょっと試しに識別器を実装してみたい！ というとき、初心者的にはデータセットをどこから持ってくるか、そのデータセットをどう使うか、実行結果をどうやってグラフなどに出力するか、といったあたりが悩み。 R はそのへんとてもよくできていて、すごくラクチン。 まず結構な数の著名なデータセットがあらかじめ入っている。その一つである iris dataset を例に「識別器を試作するための準備」について説明していこう。 iris dataset は、３品種(setosa, versicolor, verginica)のユリの花それぞれ50本について、花の萼(がく)の長さと幅、花弁の長さと幅を測ったもの。 iris はデータがきれいに分かれているので、どんな識別器に食わせてもそこそこ良い結果が出る。初心者が達成感を得るのに最適(笑)。 R での iris データセットの利用は
Not rated yet. You must be logged in to rate this video.
はじめに 皆さんは R 好きですか？好きですよね。勉強会もたくさんありますもんね。 僕は嫌いです。遅いので。でも、書き方の工夫でなんとかなることもあります。 僕が研究室でやってることは、表向き検索ということになってるのですが、 やってることは、次元削減とかクラスタリングとか、そのあたりです。 データがなす空間を、解析するという点では、検索も機械学習も一緒ですね。 この、データが空間上でどういった感じになってるのか、の手がかりとなるモノに、 全データ点同士の距離があります。これを行列で表したものが、距離行列です。 距離には、だいたい、まずは、ユークリッド距離を試します。 R で距離行列を求める場合 dist 関数を使いますが、 ユークリッド距離だけに絞れば、自作した関数の方が速くなります。 2点間のユークリッド距離 いま、二次元のデータが、二点あるとします。 ちなみに、データ点
R package ElemStatLearn では, 統計学習の教科書 Elements of Statistical Learning に対する R package を紹介しましたが, これを紹介しているページ CRAN Task View: Machine Learning & Statistical Learning にある, 機械学習, 統計学習のための他の R パッケージを 以下のような項目にしました. 人工神経回路網 (neural networks) nnet: 単一隠れ層の人工神経回路網 決定木, 回帰木 rpart: CART のような木構造を作るのにお勧め. (base R に付属) mvpart: rpart を多変量の出力に対応した版. tree Weka + RWeka インターフェイス. Weka には, C4.5 の Java による実装 J4.8 などがあ
EmacsでのR開発環境をRstudio、Eclipseライクにするe2wm-R.el 2011.03.15 Emacs e2wm, Emacs このところ、R界隈では新しく公開されたRstudioというIDEの話が飛びかっておりました。 RStudio これが、かなり完成度が高いです。補完機能はもちろんのこと、パッケージマネージャ、オブジェクトマネージャーなど洒落た機能まで持っています。しかもサーバ版まで。githubのコミットログを見てみると12月頃から開発が始められているようなので、3ヶ月ほどで完成したことになります。いやーすごいです。 Rstudioに始まったことではなく、R関連のエディタ、IDEはすでに成熟した分野となりつつあります。gedit、notepad+などの主要なエディタにはすでにR用の拡張がありますし、当然あのEclipseにもR用の拡張があります。 R を Ecli
Tsukuba.R#8 - Tsukuba.R - Seesaa Wiki（ウィキ） 今回はつくばの回(奇数回が東京、偶数回がつくば)だったのですが、筑波大ではなく産総研にてやらせてもらったそうです。@toddler2009さん、ありがとうございました。 発表者のスライドでWebに上がっているものは以下の通り(抜けがあったら教えてください)。 Tsukuba.R#8で発表しました - ぬいぐるみライフ(仮) Tsukuba.R #8 - Mad Dryfarm Wolves TsukubaR#8主催 & 「俺のUseR!解説が45分でわかるわけがない」を発表してきた - 糞ネット弁慶 その頃id:syou6162は何をやっていたかと言えば京都でハチロクの集まりがあっていたので参加しにいっていました。LT的な発表が何件かあって、id:satzzさんが「ハチロク世代とは何だったのか」という発表
For full functionality of this site it is necessary to enable JavaScript. Here are the instructions how to enable JavaScript in your web browser.
HOMEEmacsEmacsでRのコード補完を快適にしてくれるauto-complete-acr.elがオムニ補完に対応しました。 EmacsでRのコード補完を快適にしてくれるauto-complete-acr.elがオムニ補完に対応しました。 2010.08.27 【統計】R Emacs auto-complete, Emacs, ESS, KeySnail, Python 案の定、auto-complete.elのR用拡張でした。 ざーっと見た感じ、オムニ補完ができそうだし、古いバージョンのRでも補完ができるようになっていたりと、とても高機能っぽいです。 ちなみにオムニ補完とは、もともとVimの補完方法につけられている名称で(多分)、VSのインテリセンスのようなものだと思うとわかりやすいかもしれません。 これを使うと例えば、JavaやPythonのメソッドをさくっと補完していくことがで
Revolutions Milestones in AI, Machine Learning, Data Science, and visualization with R and Python since 2008 G Jay Kerns has published a 400+ page introductory text on Probability and Statistics. All of the examples and illustrations are done using R (as Jay puts it, "The people at the party are Probability and Statistics; the handshake is R") so if you want to brush up on your probability and lea
今ほど統計解析が必要とされる時代はありません。オープンソースの統計処理言語・環境の「R」を使って実践的な統計解析のテクニックとリテラシーを習得しましょう！ 読者にとってRは、世に溢れるデータの密林を切り開くための“ブッシュナイフ”となることでしょう（編集部） 統計解析の必要性とリテラシー 21世紀になって、経営学者の故ピーター・ドラッカー氏が言うところの知識労働者は、ますます統計解析を必要する局面が増えてきました。この状況は、20世紀後半から21世紀に起きた計算機能力の増大とインターネットの発展を基礎に、3つの大きな潮流が現れたことがキッカケとなっているように思います。その3つの潮流とは、オープンソース、オープンデータ、そしてオープンアイデアです。後ろの2つは今筆者が名付けました。 オープンソースは、皆さんがご存知のように、Linux、Apache、Perl、Python、RubyなどのO
統計分析ソフトウェア R のための検索エンジンです。R 言語に関する内容に特化した検索結果を表示します。
PRML復習レーンで、id:a_bickyさんのディリクレ分布の可視化スクリプトをデモさせていただきました。ディリクレ分布まとめ - a_bickyの日記 IBISMLでの牧野先生の講演を参考に、単語1と単語2と単語3があって、その多項分布の事前分布をベイジアンアップデートしていって、最終的に3:2:2の比率の多項分布に収束するというデモで説明をしてみました。 library(MCMCpack) library(fields) # Dirichlet distribution over three variables dirichlet3d function(n = 25, alpha = rep(1, 3)){ gx1 gx2 seq(0, 1, len = n) # grid d outer(gx1, gx2, dirichlet3d.each, alpha) d ifelse(d !
R言語による統計学 * はじめに * 基本的統計量 ** 分散 *** 共分散 *** 共分散行列 *** 相関係数 *** 分散共分散行列 ** 標準偏差 ** 標準誤差 * 分散分析の原理 ** 一元配置分散分析 ** 二元配置分散分析 * χ2乗検定 * 重回帰分析 ** 標準偏回帰係数 ** 3次元散布図 * 因子分析 ** 骨密度データの例 * 共分散構造分析 ** 下部消化器癌の例1 ** 下部消化器癌の例2 ** Kleinの例 ** パス図 * 多重ロジスティック解析 * クローンバッハα係数 * 入出力 ** ファイル出力 * はじめに > で始まる行はRへのコマンド入力を表します。一方、%で始まる行は、ターミナルからの入力を意味します。Rからの 出力は特に区別していませんが、文脈から明らかでしょう。 なお、私の実行環境は、 Debian GNU/Linux woody
5月9日(日)に、Rの勉強会「Tsukuba.R#7」が開催されました。 Tsukuba.Rは、奇数回を都内、偶数回をつくばで行うのが慣例となっており、第7回の今回は東京大学理学部での開催となりました。今回は初の試みとして、スピーカー12人全員が各10分のLT形式で発表するという「LT祭り」を行いました。Ustreamの録画とともに、各セッションの内容を簡単にご紹介します。 1.wakutekaさん「Beautiful woRld」 最初は今回の主催者の一人であるwakutekaによるBeautiful woRldです。Rに興味を持ったばかりの方やR初心者の方に向けて、Rの簡単な説明からその利用法、そしてRに関する様々なウェブリソースの紹介やその活用法について話しました。 初心者には取っ付きづらいこと、Rという単語そのものが検索しづらいこと、まだまだ利用者が多くないことなどを克服するため、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く