この記事は、doda Developer Group Advent Calendar 2024の19日目の記事としてお届けします。 はじめに この記事を読んで得られる知見 Dynamic Task Mappingとは 今回のユースケース 処理の流れ 処理のイメージ 作成したDAGファイル コードの解説 1. S3から最新フォルダとファイルリストを取得 解説 XComについて 2. Dynamic Task MappingでECSタスクを生成 解説 3. DAGの定義 解説 4. Airflowタスクの依存関係の定義 解説 動作確認の結果 同時実行するタスク数を制限する まとめ はじめに こんに…