Digdagを仕事で使ってみて良かったこと、ハマったこと / Using Digdag in production environment
Digdagを仕事で使ってみて良かったこと、ハマったこと / Using Digdag in production environment
Treasure Data社によってOSSワークフローエンジン『Digdag』はその発表以後多くの反響を呼び、社内外を含め良く利用されるようになってきていますが個人的には下記の『試してみた』エントリ以降、あまり触って来ていませんでした。ちょっと個人的にも腰を据えて取り掛かってみようかという感じになってきましたので、仕組みや使い方を把握するという意味で一番参考になるであろう公式ドキュメントの一部を読み進めてみた記録をブログエントリとして残しておきたいと思います。 Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag ｜ Developers.IO Digdagのアーキテクチャ Digdagによるワークフローの自動化 ワークフローを使って、手動で行なっているあらゆる操作を自動化出来ます。一連のタスクを『ワークフロー』として定義し、Digdagを使
最近 Treasure Data のワークフローエンジン「Digdag」をさわり始めました。 Digdag server はフォアグラウンドで起動するだけなので、Supervisor で管理できるようにしてみました。 Supervisor を使うことで、自動起動やログの取得などプロセス管理が楽になります。 検証した環境は Ubuntu 14.04 LTS です。 $ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=14.04 DISTRIB_CODENAME=trusty DISTRIB_DESCRIPTION="Ubuntu 14.04.3 LTS"
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。 変更内容が気になる方は変更履歴をご覧ください。 1. 開催されるイベント 2. オフィシャルページ オフィシャルページ ソースリポジトリ 3. チュートリアル Getting started (英語) Treasure Data社のOSSワークフローエンジン『Digda
ワークフローエンジンというのを知っていますか。 申し訳ないのですが私は全く知りませんでした。 ワークフローエンジンの定義は仕事の流れをツールが回してくれるツールのことが一般的のようです。 幾つかそういったワークフローエンジンがあるようですが今回はTreasure Data社がOSSとして公開し始めたDigDagをご紹介いたします。 DigDagとは 目的は手動でできる仕事をすべて自動化する目的で開発が進められているようです。 そのため用途はタスクを実行した時にエラーが発生した場合にリトライを何回実施するかをyamlに記述しておけば同じタスクを何度も実行できたり、失敗を何度も繰り返したらメールを送信をさせたりなどが実施できるようなことができます。 現在はタスクとして実行できる言語はRuby、ShellScript、Pythonとなりますが拡張性が高いアーキテクチャになっており、プラグインを追
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く