csv.gz 拡張子のファイルを結合し,ヘッダを1つに統一するためのスクリプトである. google cloud storageからcsv.gzを分割し,ローカルにダウンロードした後に,csv.gzファイルのまま結合することを目的に作成した.
第1コマンドライン引数にファイル名,第2コマンドライン引数にファイルについている番号の最大値を指定することで<file_name>.csv.gzに結合後ファイルを出力してくれる.<file_name>は第3コマンドライン引数にて自分で定義したファイル名(拡張子を除いたもの)を要求する.
merge_huge_csvgzは一行ずつ処理するため,巨大なファイルについて実行を行った時,システムのリソース(メモリなど)を上限まで使用したのが原因でプロセスがkillされてしまうことを防ぐ役割がある.