MCMD(Mコマンド)

大規模な表構造データ（CSVデータ）を効率よく処理する目的で開発されたオープンソースのコマンド群である。一般のPCでも数千万件〜数億件のCSVデータを処理できる。

M-Command is a set of open source commands developed to process large scale data structures (CSV data) efficiently. The commands can process more than 10 million records of CSV data on a regular PC.

Take

頻出パターンマイニングに関する各種コマンドを提供する。頻出アイテム集合、系列パターンについて、emerginパターンやtaxonomyを加味したパターン列挙が可能。コアアルゴリズムとしてLCMやVSOPを利用している。

Includes a variety of commands for frequent pattern mining. Features such as emerging pattern and taxonomy are added for the enumeration of frequent item sets and sequential patterns. LCM and VSOP is used as the core algorithm.

ZDD

本パッケージは、ZDD(Zero-suppressed Binary Decision Diagrams: ゼロサプレス型二分決定グラフ)を利用し、 重み付きのアイテムの組み合わせ集合をコンパクトに格納することを可能とするVSOP (Valued-Sum-Of-Products calculator)をruby拡張ライブラリとして実装したものである。

This package uses ZDD(Zero-suppressed Binary Decision Diagrams: BDD Zero-suppressed graph), weighted item sets can be stored in a compact structure with VSOP (Valued-Sum-Of-Products calculator), implemented as Ruby extension library.

Mining

データマイニングや機械学習の手法を提供するパッケージで、大学の研究室で開発されたツールや統計パッケージRと連動したコマンドなどを提供する。

The Mining Command extends the functionality to implement experimental analysis technique in a relatively small scale.

View

視覚化のコマンドを集めたパッケージで、GraphVizやGephiで描画可能なグラフデータを構築したり、D3で描画可能な各種チャートを簡単に生成できるようにしたコマンドなどが含まれる。

A collection of visualization commands which allow users to build graph based data in GraphViz and Gephi. It is also possible to generate various charts with D3.

Fumi

テキストマイニング関連のコマンドを集めたパッケージで、jumanやknpを用いた日本語文の形態素解析や構文解析に始まり、格フレームの抽出や辞書登録などを用意に実現できるようにしたパッケージである。

The package contains a collection of text mining-related commands which carries out parsing and morphological analysis of Japanese sentences with knp and Juman, and the command is capable of extracting from case frame and registering in the dictionary.fumi

NYSOL Python

pythonでmcmdを利用するライブラリ

NYSOLをPython上で利用できるように改良したものが nysol_python ライブラリである。 現在のところ、nysol_pythonには、 データの前処理に威力を発揮するmcmdモジュールとアイテム集合マイニングに関する多様なツールを提供するTakeモジュールが含まれている。

RubyM

Ruby上で大規模なCSVデータを扱うためのRuby拡張ライブラリ。シーケンシャルな読み込み/ 書き込み関数、 そしてセル単位でのランダムアクセス関数などがある。いずれの関数もCSVの標準仕様であるRFC4180に概ね準拠しており カンマや改行を含む文字列も扱うことができる。

Ruby extension library is developed to process large-scale CSV data on Ruby. It includes sequential read (Mcsvin) and write (Mcsvout) functions, as well as random access to each cell within the CSV data table (Mtable). These functions treats newline and comma in strings according to the standard specification of CSV data compliant to RCF 4180.