Violin design has been in flux since the production of the first instruments in 16th century Italy. Numerous innovations have improved the acoustical properties and playability of violins. Yet, other attributes of the violin affect its performance less, and with fewer constraints, are potentially more sensitive to historical vagaries unrelated to quality. Although the coarse shape of violins is in
統計処理言語の R のバージョン3.1.0が、2014年4月10日に公開された。この新リリースでの主な変更点について解説する。 バージョン3.1.0のリリース 2014年4月10日、R のバージョン3.1.0がリリースされた。コードネームは Spring Dance（春の踊り）である。バージョン3.0.0がリリースされたのは、2013年4月3日なので、およそ1年を経てマイナーバージョンアップが行われたことになる [1] 。 Rのバージョン3.1.0のコードネームは Spring Dance（春の踊り）である。 [2] バージョン3.1.0での変更点の詳細は、Rアナウンスメーリングリストでのバージョン3.1.0リリースの通知（R 3.1.0 is released、英語）を参照されたい。 バージョン3.1.0での主な変更点 以下で、バージョン3.1.0での変更点のうち、重要だと思われる点をい
minaka@affrc.go.jp http://cse.niaes.affrc.go.jp/minaka/ "To classify is human" > library(cluster) > test.d <- c(2,6,10,6,10,10) OTU1 OTU2 OTU3 OTU1 OTU2 2 OTU3 6 6 OTU4 10 10 10 > test.d [1] 2 6 10 6 10 10 > agn <- agnes(test.d, diss = TRUE, method = "average") > plot.agnes(agn, which.plots=2, hang=-1) > library(cluster) > test.d <- c(6,7,14,3,10,9) OTU1 OTU2 OTU3 OTU1 OTU2 6 OTU3 7 3 OTU4 14 10 9
さて、教師あり学習の方はひと段落ついたので、今度は教師なし学習の話をやっていこうかと思います。と言っても僕が知っている範囲でなおかつ常用するような教師なし学習はRでの実装が割と貧弱なので、シリーズとしてはあまり面白くない感じになりそうです（笑）*1。一応、単なるプランですが 階層的クラスタリング k-meansクラスタリング 主成分分析・独立成分分析 混合正規分布（EMアルゴリズム） 混合ディリクレ過程 あたりを取り上げれば良いのかなと思ってます*2。教師あり学習5編との比較のために、相変わらずサンプルデータにXORパターンとか使おうかなとは考えてますが、もしかしたら面白くないからとかいう理由でサンプルデータは変えるかもしれませんので悪しからず。 今回は階層的クラスタリングからいってみましょう。あれですよ、ウォード法とか出てくるアレです。僕は実は怠慢なのであまり教師なし学習に関する書籍は持
「クラスタは球状だ」と想定しているk平均法が苦労するように、細長くて交差したクラスタのデータを使った。また変分ベイズの「クラスタの個数を自動調整する」というメリットを確認するために、クラスタの個数は2, 4, 8個で行った。EMアルゴリズムと変分ベイズでは、k平均法ができていない「長細いクラスタだ」という推定ができている。またEMアルゴリズムではクラスタの個数は人間が与えないといけないが変分ベイズでは自動調整されている。ただし、自動調整に失敗することも結構あるので「何回か実行して一番良かったものを取る」というアプローチが必要だろうな。変分ベイズの8クラスタでの実験は10回やって一番良かったものを取っている。4クラスタの実験は6回。それぞれ初期状態から20ステップの学習過程を動画にしている。 k平均法 k平均法では細長いクラスタを見つけられないのでこれが限界 4クラスタの例。クラスタの個数を
Stein van Dongenの博士論文("Graph clustering by flow simulation")をぱらぱらと読んでいます。この論文のテーマは有向グラフをクラスタリングすることです。"Markov Clustering"の名称の由来は、グラフからクラスターを発見するのに、グラフ上のランダムウォークを利用したときに、グラフ上の遷移をMarkov過程としてモデルできるからです。グラフ上のランダムウォークとは、適当にノードを選択し、そこからエッジを無作為に選んで隣接するノードに向う移動を繰り返すことです。ランダムウォークを無限に繰り返したときに各ノードを訪問する遷移確率を利用してグラフからクラスターを発見するようです。 MCLの計算量はO(Nk2)です。ここでNはノード数、kはノードの平均次数。たぶん、O(Nk)の項は行列積を一回計算するのに必要な計算量で残ったO(k)は?
Kohonenの自己組織化マップ（SOM: Self-Organizing Maps）は、標準的なデータサイエンス手法の1つとしてよく知られております。ただし、ここで述べるSOMテクノロジーの効用を発揮するには、高度なソフトウェアの実装が必要となります。Viscovery Software GmbH（本社・ウィーン）は1990年代から世界に先駆けて、実用的なSOMテクノロジーを開発し、日本では2000年からマインドウエア総研が提供しております。一般的な教科書や解説書に記述されているSOMでは、ここに述べるような実用性は実現できませんので、その点をご了承ください。 大規模データの分布のトポロジーを保持しながら、 コンパクトに圧縮した要約版を作成し、 素早く類似データを照合するインタフェースとして動作し、 データ分析やモデリング、モデルの実行を拡張・統合・支援する。 というもので、これを単体で
K-means and KD-trees resources Read the K-means paper (PS), or K-means paper (PDF) . Note: recently a similar, though independent, result, was brought to our attention. It predates our work. For completeness, you can read that too. Read the X-means paper (PS) or X-means paper (PDF). The X-means and K-means implementation in binary form is now available for download! Currently, there are versions f
K-means法によるクラスタリングでは、あらかじめクラスタ数Kを固定する必要があります。HatenarMapsでもK-means法を使っているのですが、クラスタ数は（特に根拠もなく）200個に決め打ちになっていました。 これに対して、X-means法というK-means法の拡張が提案されていることを知りました。X-means法を使うと、データに応じて最適なクラスタ数を推定できます。 K-means and X-means implementations http://www-2.cs.cmu.edu/~dpelleg/download/xmeans.pdf X-means法の考え方は、K=2で再帰的にK-means法を実行していくというもので、クラスタの分割前と分割後でBIC（ベイズ情報量規準）を比較し、値が改善しなくなるまで分割を続けます。 調べたところ、Javaのデータマイニングツー
久しぶりにブログを更新してみる。 以前スペクトラルクラスタリングについて記事を書いたが、そのときはだいぶ勉強不足で、少し見当違いのことを書いていた気がする。 スペクトラルクラスタリングは、本質的にはラプラシアン固有マップ法と同じことをしている。ラプラシアン固有マップ法は次元削減の手法で、もともとの高次元空間におけるデータ間の類似度が、低次元に写像した後にも反映されるように設計されている。それが結果的に類似度行列から定義されるグラフ・ラプラシアンの固有値問題に帰着されるのだ。具体的には、グラフ・ラプラシアンLの固有値を大きいほう（定式化によっては小さいほう）からk番目までをλ1, λ2, …,λk, それに対応する固有ベクトルをv1, v2, …, vk とすると、その固有ベクトルを列として並べた行列 V = (v1 v2 … vk)の各行が、各データ点の低次元空間における座標とする。このと
実家に帰省中，電車の中で読んでた論文の紹介。 概要 k-meansはクラスタリングテクニックとして非常に基本的な手法である。 しかし、k-meansでは全データに対してラベリングを複数回繰り返す必要があり、全データ点を保存する必要がある、そこでk-meansの出力であるk個のクラスタ中心をワンパスで見つける方法を提案する。 ここで得られるクラスタ中心は最適値と比較したときにO(log k)の近似となっている ストリームアルゴリズムについて 本論文で言っているStreamingの意味としては入力を前から見ていって、すべて保存しないアルゴリズムのことを言っている。いわゆるオンラインアルゴリズムのように入力が入ってくるたびに何かしらの結果が得られるわけではない。また，ストリームの長さは有限である事を仮定している。 k-meansとは k-meansとはデータ点 X = {x_1 , ... x_
Freeware† mloss:clustering Cluster Analysis & Finite Mixture Models @ CRAN Task View：統計処理ソフト R の関連パッケージまとめ RjpWikiの関連ページ RjpWiki:Rの基本パッケージ中の多変量解析関数一覧 RjpWiki:stats(R 統計)パッケージ中のオブジェクト一覧： 一般的な凝集型階層的クラスタリングのhclustやk-means法のkmeansといった関数を含む RjpWiki:CRANパッケージリスト： clusterパッケージには clara, agnes, diana, fanny, mona, silhouette, xclara のアルゴリズムが含まれる Cluster：クラスタリング (C，perl，python) figue：JavaScript で k-means法 と
文書クラスタリングの基礎 大西 祥代，廣安 知之，三木 光範 ISDL Report No. 20070913004 2007年 4月 24日 Abstract 文書クラスタリングでは，文書の定義，クラスタリングに用いる類似度の定義，クラスタリング手法などに特徴的な点がある．そこで本報告ではそれらをまとめ，文書クラスタリングに対する理解を深める． 1 はじめに 知的システムデザイン研究室では，ISDLレポートと呼ばれる研究報告を現在までに1300本以上Web上に公開している．多くのレポートが存在するが，レポートの分類は行われていないため，クラスタリングにより自動的にレポートのグループ化を行うことを目指している．しかしISDLレポートのような文書に対するクラスタリングではいくつか特徴的な事項があり，それらを考慮する必要がある．そこで本報告では文書クラスタリングに関する特徴点をまと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く