2016年6月2日

構造化テキストデータを操作するためのコマンドラインツールリスト

A list of command line tools for manipulating structured text data

(2016-06-02時点)by Danyil Bohdan

本記事は、原著者の許諾のもとに翻訳・掲載しております。

テキストベースのファイル形式と、それぞれを（主にLinux上で）操作するためのコマンドラインツールのリストを掲載しています。

DSV

CSV や TSV などを含む DSV（Delimiter-separated values、区切り文字で区切られた値）です。

Awk

AwkはPOSIXで標準化されているコマンドラインツールで、DSVデータ処理用プログラミング言語です。Awkに関するリンクは以下のとおりです。

Awk.info — Awkに関する情報が豊富です。
AWK Vs NAWK Vs GAWK —プラットフォーム別実装の比較です。
すでにプログラミング言語を使用してプログラミングをしている場合は、nawkの manページを読めばAwkについていち早く学ぶことができます。異なるプラットフォームへの実装にも適用できることを学ぶことができます。 GNU Awk マニュアルの膨大さに圧倒された人にはまずnawkのmanページを読むことをお勧めします。

POSIXコマンド

コマンド名	説明
`cut`	単一もしくは複数のファイルから選択部分を切取るコマンド。区切り文字で区切られたフィールドに使用可能。使用のシステムで、 `man 1 cut` を確認してください。( GNU , FreeBSD ).
`join`	2つのファイルを読み、共通するフィールドの行を結合します。使用のシステムで、 `man 1 join` を確認してください。( GNU , FreeBSD ).
`paste`	複数のテキストファイルを行単位で連結し、1つにまとめます。使用のシステムで、 `man 1 paste` を確認してください。( GNU , FreeBSD ).
`sort`	キーとなるフィールドで行をソートします。使用のシステムで、 `man 1 sort` を確認してください。( GNU , FreeBSD ).
`uniq`	重複する行の検索または削除をします。使用のシステムで、 `man 1 uniq` を確認してください。( GNU , FreeBSD ).

その他のツール

ツール名とリンク	説明
GNU　datamash	テキスト入力に対して統計的処理を実行します。
Miller	CSVやJSONの表データのような、名前でインデックスされたデータ用の `sed` 、 `awk` 、 `cut` 、 `join` 、 `sort` です。
tab	データ処理用のチューリング完全ではないプログラミング言語です。Awkの代わりになります。
xsv	CVSファイルのインデックス、スライス、分析、分割、統合をします。

SQLベースのユーティリティ

ユーティリティ名	言語とデータベース	機能	使用方法のリンク	ライセンス
csvkit	Python、SQLite3	ヘッダ行を列名に使用できる。カスタム入出力エンコーディング、カスタム入力フィールドセパレータ、カスタム出力フィールドセパレータ、カスタム出力フォーマット、CSV結合、Pythonモジュール。ExcelやJSONをCSVに変換。CSVをJSONに変換。SQLクエリをCSV出力。	使用法	MIT
q	Python、SQLite3	ヘッダ行を列名に使用できる。カスタム出入力エンコーディング、標準入力を圧縮、カスタム入力フィールドセパレータ（文字列リテラル）、カスタム出力フィールドセパレータ、カスタム出力フォーマット、表の結合、Pythonモジュール。	使用法	GNUGPL3
Sqawk	Tcl、SQLite3	ヘッダ行を列名に使用できる、カスタム入力フィールドセパレータ（正規表現、ファイル単位）、カスタム入力レコードデリミタ（正規表現、ファイル単位）、カスタムで表に名前を付けられる、カスタム出力フィールドセパレータ、カスタム出力レコードセパレータ、列の結合、ASCII/Unicode変換表が出力、CSV入出力、JSON出力、Tcl出力、表の結合。	使用法	MIT
sqawk	C、SQLite3	ヘッダ行を列名に使用できる、列名に別名を付けることができる、正規表現の一致を見つけるまで行を飛せる、カスタム入力フィールドセパレータ（文字列リテラル、ファイル単位）、SQLiteファイルを保持、生成したSQLを表示、表の結合。	使用法	?
Squawk	Python、カスタムSQLインタープリタ	ログにアクセス、CSV入力、JSON出力とCSV出力、Pythonコード生成。	—	Three-clauseBSD
termsql	Python、SQLite3	ヘッダ行を列名に使用できる、カスタムフィールドセパレータ（正規表現）、カスタムレコードセパレータ（文字列リテラル）、行を列として使用できる、最初と最後の複数の行を飛ばすよう設定できる、選択した列を結合、HTML出力、CSV出力、SQL出力、Tcl出力。	マニュアル	MIT
textql	Go、SQLite3	ヘッダ行を列名に使用できる、SQLiteを保持、カスタム入力フィールドセパレータ（文字列リテラル）。	使用法	MIT

XMLやHTML

ツール名とリンク	説明
pup	CSSセレクタを使用してHTMLページをフィルタリングします。 jq にインスパイアされています。
Saxon	XPath 表現構文を使用してXMLとHTMLのデータを取得します。ドキュメント
tq	CSSセレクタを使用してHTMLからコンテンツを取り出します。
xml2	XMLとHTMLからgrepできる”path=value”命令文リストに変換、グレップできる”path=value”命令文リストからXMLとHTMLに変換します。
XMLStarlet	XML文書の変換、クエリ、バリデーション、編集をします。

StackOverflowで掲載されている XMLコマンドライン処理用のgrepとsedライクな機能も参照してください。

JSON

ツール名とリンク	説明
jo	シェルからJSONオブジェクトを作成します。
jq	関数型 DSL でJSONの作成と操作をします。JSONを他のフォーマットに変換可能。
jshon	getopt スタイルのコマンドラインオプションを使用してJSONの作成と操作をします。
json2	JSONからgrepできる”path=value”命令文リストに変換、グレップできる”path=value”命令文リストからJSONに変換します。 xml2 をモデルとしています。
jsonaxe	PythonベースDSLを持つJQに似たJSONプロセッサです。
json	JQに似ていますがJavaScriptで書かれています。JSON入力上で任意のJavaScriptを実行することができます。
json-table	シェルでの処理のために表にJSONデータ構造を変換します。
json.tool ( Python3ドキュメント )	JSONデータを検証し、整形します。このモジュールは、Pythonの2/3の標準ライブラリの一部なので、Pythonがインストールされていれば、このモジュールもインストールされています。
jsonwatch	コマンドラインで、JSONデータの変更をリアルタイムにトラッキングします。 `watch-d` のように機能します。
lobar	`lodash.chain()` 用ラッパーを使用して、バッチでJSONをインタラクティブに探索・処理をします。JavaScriptシンタックスでのjqの代替ともいえます。
validjson	JSONデータを検証・整形します。

YAMLやTOML

下のRemarshalのようなフォーマット変換ツールを使用すれば、 JSON ツールでYAMLとTOMLを処理できますが、変換の際にデータを失わないように気を付けてください（例）。

ツール名とリンク	説明
Remarshal	YAML、TOML、JSONの間でフォーマット変換します。それぞれのフォーマットを検証し、整形します。
shyaml	YAMLのデータを読み取ります。シェルスクリプトで使用するためにNULL終端文字列を出力できます。
validyaml	YAMLデータを検証し、整形します。

INI

ツール名とリンク	プラットフォーム	ライセンス	説明
crudini	Python2.xのいずれでも	GNUGPLv2	INIファイルのプロパティの設定と削除をします。シェルスクリプトコマンドとしてプロパティを取り出し、対応する変数を設定します。その場で更新されたINIデータを出力またはファイルの変更をします。
IniFile ( DOS版 )	Windows(x86、x86-64)、MS-DOS	Closed-sourcefreeware	INIファイルのプロパティの設定と削除をします。’set’コマンドのバッチファイルのリストととしてプロパティを取得し、対応する変数をセットします。その場でファイルの変更をします。
initool	Windows、Linux、FreeBSD	MIT	INIファイルのプロパティの設定と削除をし、存在を確認します。更新されたINIデータを出力します。

設定ファイル

Augeas -データを複数のファイル形式から抽出し、形式の変更をします。Augeasが全てのファイル形式を同じようにサポートしていないこと、場合によってはパースに有効なファイルの一部しかサポートしていないことに注意してください。
Elektra – 設定ファイルを操作します。アプリケーションに特化した設定ファイル(同じレンズを使用)に関しては、Augeasと同じ制約があります。JSONやINIなどの一般的な形式の方がよくサポートされています。

おまけ：単一ファイルデータベース用コマンドラインインタフェース（CLI）

名称	説明	ファイル形式
GNU Recutils	“recfileと呼ばれる、人による編集が可能な、プレーンテキストデータベースにアクセスするためのツールやライブラリです。”	“key:value”に似たテキスト形式
SDB	“djbのcdbディスクストレージをベースにした単純な文字列のキーと値のデータベースで、JSONと配列イントロスペクションをサポートしています。”	バイナリ形式
sqlite3(1)	“SQLiteデータベースに対してSQLステートメントの手動で入力と実行を可能にする単純なコマンドラインユーティリティです。”	バイナリ形式

ライセンス

ここで記載した内容は、 Creative Commons Attribution 4.0 International License に帰属します。貢献される場合は、著作権がこのライセンスに属することに同意していただくことになります。

情報開示

本稿を書いた著者によって、 Sqawk 、 jsonwatch 、 Remarshal 、 initool は書かれています。

古川陽介
株式会社リクルート　プロダクト統括本部　プロダクト開発統括室　グループマネジャー株式会社ニジボックス　デベロップメント室室長 Node.js 日本ユーザーグループ代表

複合機メーカー、ゲーム会社を経て、2016年に株式会社リクルートテクノロジーズ(現リクルート)入社。現在はAPソリューショングループのマネジャーとしてアプリ基盤の改善や運用、各種開発支援ツールの開発、またテックリードとしてエンジニアチームの支援や育成までを担う。 2019年より株式会社ニジボックスを兼務し、室長としてエンジニア育成基盤の設計、技術指南も遂行。 Node.js 日本ユーザーグループの代表を務め、Node学園祭などを主宰。