タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
POSIX 準拠のシェルスクリプトでは find | xargs よりも find -exec {} + を使うべき！ShellScriptBashshellPOSIX はじめに find の出力を xargs にパイプで渡すというのはよく見かける使い方ですが、find -print0 | xargs -0 が使えない POSIX 準拠のシェルスクリプトでは find -exec {} + を使った方が良いです。安全かつ十分に速いからです。よく見かける -exec {} ; ではなく -exec {} + ですので間違えないようにしてください。多くのケースでは + の方が優れているのですが ; ばっかり使われているのを見ると、意外と知られてない気がします。 少しだけ予備知識として、-exec {} ; は -exec {} \; と ; をバックスラッシュでエスケープするのがよく見る使い方
こんにちは。マッハバイトを運営するアルバイト事業部エンジニアの mnmandahalf です。 みなさんは本番DBへのSQLの手動実行等の作業をどんな環境で行なっていますか？ 通常はDBにアクセスする用の踏み台サーバにSSHログインして作業を行うケースが多いと思います。 マッハバイトでも最近まで（現在もDBによっては）踏み台を使用していたのですが、最近新・本番作業環境を導入したのでその背景とつまづきポイント等についてご紹介します。 これまでのマッハバイトにおける本番作業 これからのマッハバイトにおける本番作業 TerraformでのECS Execの設定方法 ECSタスクロールにアタッチするポリシードキュメント ECS Execを実行するのに必要なIAMにアタッチするポリシードキュメント ECSクラスタでexecute-commandの監査ログをCloudWatchに流し、ログをKMSキー
スマートキャンプ、エンジニアの入山です。 前回のブログにも書きましたが、弊社では昨年末から既存のEC2からECS/Fargateへのインフラ移行作業を実施しています。 EC2からECSへ移行する上では、特に運用面が大きく変わります。利便性やメンバーへの教育コストを考慮すると、今までEC2でやっていた運用をECSでどう上手く代替するかが力の入れ所だと思います。 一ヶ月前に弊社インターンの関口が書いた以下の記事も、既存運用の置き換えやデバッグ時の利便性向上を目的とした手段の１つで、この記事を執筆した時点ではECS/Fargate上のコンテナに対するAWS公式のログイン手段はありませんでした。 tech.smartcamp.co.jp 弊社のECS移行も稼働直前の佳境を迎えている最中ですが、この度Amazon ECS Execがリリースされ、待ち望んでいたECS/Fargate上のコンテナに対す
もう、コンテナ調査のためにEC2に乗り込む必要は無い！ もう、Fargateだからコンテナの状況が見れないと悩むこともない！ ECS開発者待望の機能がリリースされました！ みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 Amazon Elastic Container Service (ECS) において、実行中のコンテナに乗り込んでコマンドを実行できる機能「ECS Exec」が公開されました。 Amazon ECS now allows you to execute commands in a container running on Amazon EC2 or AWS Fargate どんなものなのか、早速使ってみたいと思います。 これまでの方法 デバッグやトラブルシューティングを行うために、実行中のコンテナに乗り込んでコマンドを実行したいという時があると思います。
はじめに PoCの初期段階などで、いくつかのシステムを組み合わせて動作させるような場面では、 リポジトリが分散し、開発者ごとに違う言語で小規模なシステムを構築していることがあります。 そんな中で、動作確認をしたり、不具合を再現させたりする際、以下のような手作業が発生していました。 システムAを実行してCSVを吐く CSVをシステムB直下にコピーする システムBを実行して結果を得る プログラマーの三大美徳の怠惰担当の私は、手動で何かをすることが嫌いなので、自動化するツールを作成していきます。 シェルスクリプトで書いても良いのですが、実行するデータパターンが複雑だったり、分岐したりすると面倒なので、私はgolangで作成することが多いです。 この記事では、そんな中でハマった出来事と、回避方法をご紹介します。 根本解決していないものが多いので要注意&コメントお待ちしています。 先にまとめ 変なと
はじめに 2021年3月、実行中のコンテナに入ることができる「ECS Exec」がリリースされました。 これがリリースされるまで、ECSでコンテナに入る方法としては、 ECS on EC2 EC2にsshした後にdocker execする ECS on Fargate そもそもできない（Session Managerを使った非公式な方法は除く） といった状況だったため、このリリースでECS（特にFargate）でのデバッグやトラブルシューティングが一気に楽になりました。 ただ、人間欲深い生き物でして、実際にaws ecs execute-commandを使い始めると、今度は、 タスクIDをマネコン等で調べるのが手間なので対話形式で選択したい ECSとローカル間でファイルをコピーしたい（scpしたい） などの欲が新たに発生してしまいます。 「探せばそういうことができるツールがあるんじゃないの
ここ１ヶ月半くらい、ちょっとした独自システムを創っていたのですが、そこで編み出したテクニックを紹介してみます。 要はECS Execを使い込んだよってだけなんですが、こういうオモチャを使ったオモチャを作らせたら一級品の自負、ある。 ECS Exec の概要 基本的なところは他に任せたいのでリンクだけ貼っておきます。 New – Amazon ECS Exec による AWS Fargate, Amazon EC2 上のコンテナへのアクセス | Amazon Web Services ブログ [アップデート] 実行中のコンテナに乗り込んでコマンドを実行できる「ECS Exec」が公開されました | DevelopersIO デバッグに Amazon ECS Exec を使用する – Amazon ECS 外からコマンドを実行できる旨味 ECSっていっても自分の中では Fargate の話にな
社会人生活の半分をフリーランス、半分をIIJで過ごすエンジニア。元々はアプリケーション屋だったはずが、クラウドと出会ったばかりに半身をインフラ屋に売り渡す羽目に。現在はコンテナ技術に傾倒中だが語りだすと長いので割愛。タグをつけるならコンテナ、クラウド、ロードバイク、うどん。 Kubernetes 1.23から標準で利用できるようになったエフェメラルコンテナ（Ephemeral Container）をご存じですか？ セキュアにKubernetesを運用していくには必須の機能になることは間違いなく、IKE（IIJ Kubernetes Engine）では早速活用が始まっています。実利用に耐える環境が整うにはまだ少し時間がかかるかもしれませんが、今のうちから使いこなせるように紹介します。 エフェメラルコンテナ 一般的には聞きなれないかもしれませんが、IaaSを使っていればエフェメラル（Ephem
何か下準備をしたり環境変数などに変更を加えてから指定したコマンドを起動するプログラムはたくさんある。bundle exec や npx, uv run や、拙作でも envchain などがそのようなプログラムの例だと思う。このようなプログラムは世間では executor と呼ばれているような気がするので、ここでもそう呼ぶことにする。 executor を最近あたらしく書いていて、ただそこでは指定されたコマンドを起動するだけではなく、そのコマンドのためのサーバーを裏で実行し続ける必要があり、ちょっとした工夫が必要だったのでメモ。 (なお、executor に指定されたコマンド = ユーザーや executor の親プロセスが最終的に起動を期待しているプログラムについては以後 command と表記) tl;dr executor が command の子プロセスになるようにする。execu
Amazon ECS のデプロイツール、ecspresso の v1.5.0 をリリースしたのでお知らせです。 github.com 今回は Amazon ECS Exec という新機能対応が目玉です。ほかにもお送りいただいたPRを取りこんだ各種修正が入ったリリースになります。どうぞご利用ください。 PRをお送りいただいた皆様、ありがとうございました！ 新機能 ECS Exec への対応を追加しました ホストから docker exec するように、Fargate に対しても起動しているコンテナに入ってコマンドを実行できる ECS Exec 機能がリリースされています。 aws.amazon.com ecspresso v1.5 では exec コマンドを追加して、AWS CLI なしで exec できるようにしました。session-manager-plugin は必要です。 exec
rain deploy時のパラメータ指定。VPC ID、サブネットIDはご自身の環境に合わせ変更してください。 rain deploy ./fargateWithFirelens.yml fargateWithFirelens-stack --params \ AppName=webapp,\ ClusterName=cluster,\ DesiredCount=1,\ Environment=test,\ ImageNameFirelens=public.ecr.aws/aws-observability/aws-for-fluent-bit:latest,\ ImageNameWebApp=public.ecr.aws/nginx/nginx:latest,\ ProjectName=minimum,\ PublicSubnet1=subnet-043566448c316b46a,\
Go 1.19 のリリースノートを眺めてみると Command and LookPath no longer allow results from a PATH search to be found relative to the current directory. This removes a common source of security problems but may also break existing programs that depend on using, say, exec.Command("prog") to run a binary named prog (or, on Windows, prog.exe) in the current directory. See the os/exec package documentation for informat
背景 Goでは外部コマンドの実行時に os/exec パッケージの Command や CommandContext を利用します。特に CommandContext を利用することで、 Goのcontextの流儀に従ってコマンドのタイムアウトや中断が可能であり大変便利です。 一方で、LinuxやmacOSなどにおいてContextによるタイムアウト・中断時には外部コマンドに即座に SIGKILL が送られてキルされてしまうため、一部のケースでは孫プロセスが孤児プロセスとして残ってしまったり、後始末を正しく出来ないままコマンドが終了してしまうという問題が知られていました。 より安全にコマンドを終了させる方法として、まずは SIGINT や SIGTERM を送り、一定時間内に終了しなければ SIGKILL で終了させるなどの方法が知られています。しかし、 CommandContext を使
Containers NEW – Using Amazon ECS Exec to access your containers on AWS Fargate and Amazon EC2 Today, we are announcing the ability for all Amazon ECS users including developers and operators to “exec” into a container running inside a task deployed on either Amazon EC2 or AWS Fargate. This new functionality, dubbed ECS Exec, allows users to either run an interactive shell or a single command agai
Amazon Web Services ブログ New – Amazon ECS Exec による AWS Fargate, Amazon EC2 上のコンテナへのアクセス この記事は、 NEW – Using Amazon ECS Exec to access your containers on AWS Fargate and Amazon EC2 を翻訳したものです。 本日、開発者、運用者を含むすべての Amazon ECS ユーザに向けて、 Amazon EC2 もしくは AWS Fargate にデプロイされたタスク内のコンテナに “Exec” する機能を発表しました。この新しい機能は、 ECS Exec と名付けられ、コンテナに対して対話型のシェル、あるいは一つのコマンドを実行できるようになります。これは AWS コンテナロードマップ上で最も要望の多かった機能の一つであり、一般
特定のDockerイメージをAmazon ECSやApp Runnerで実行すべく、デプロイを試みたところ、以下のようなエラーが発生しました。 exec format error 真面目にハマったので、何が起こったのかを整理しておきます。 前提としてのMulti-platform builds 何が起こったのか AWSサービスにおけるCPUアーキテクチャサポート Multi-platform buildsされたイメージに対するdocker pullの挙動 起こったこと 解決策 前提としてのMulti-platform builds まず前提として、DockerにはMulti-platform buildsという機能があります。これは、複数のアーキテクチャ向けのイメージを1つのDockerfileでビルドできる機能で、linux/amd64やlinux/arm64などの異なるアーキテクチャ向
CX事業本部@大阪の岩田です。 先日ある環境でECSのタスクがPROVISIONING状態のまま固まって(PENDINGではないのがポイントです！)起動できなくなるという問題が発生しました。※正確にいうとPROVISIONING状態で30分程度固まる→STOPPEDに遷移→新しいタスクがPROVISIONINGされ再度30分程度固まり...という状況です。 最初はNATゲートウェイ周りの設定漏れやECRのVPCエンドポイント設定漏れに起因したよくある問題かと思っていたのですが、色々調査しても一向に原因が分かりませんでした。最終的にECS Execの有効化が原因だったことが分かったので、同じ事象でハマる人が出ないように改めてブログにまとめてみました。 結論 先に結論ですがECS Execを有効化したECSサービスでAuto Scaling グループキャパシティープロバイダーを利用するとタスク
Update: Rust is now here in the Windows 11 kernel. At the recently held BlueHat IL 2023 conference, David Weston, Vice President, Enterprise and OS Security at Microsoft, took to the stage to discuss the evolution of Windows security, provide insight into the latest advances and the road ahead. During the presentation, Weston discussed the progress Microsoft has been making with Rust as part of th
As stated in the official ECS Exec documentation, ECS Exec today doesn’t support read-only containers. The SSM agent requires that the container file system is able to be written to in order to create the required directories and files. Therefore, making the root file system read-only using the readonlyRootFilesystem task definition parameter, or any other method, isn’t supported. This limitation
#ecs_execでの発表資料です。 作ったCLIツールはこちらです↓ https://github.com/yukiarrr/ecsk aws ecs execute-command --task ${value} 2021/4/23
出来らぁっ！！！（出来ません） こんにちは。tonamel チーム所属の瀬戸です。 最近 メルブラ新作 が出てめちゃくちゃテンション上がってしまって近頃は毎週末友人の都合が付いたときは５、６時間対戦してボコボコにされる生活を過ごしてます。もうすこし強くなりたい。 弊社、格ゲーおじさんがたくさんいるので中にはメルブラおじさんもいるような気配を感じているのですが、自分みたいな舞い上がり方してるおじさんはいないみたいでちょっと寂しいです。 またキーボードでメルブラやりたいな〜って思います。(steam版はキーボードに対応してるのですが、メニューと対戦のボタンで重複設定が出来ないみたいで良い感じに設定できず。残念) あと UNI もメルブラが落ち着いたら更新来ると嬉しいな〜 期待してます 鴨音さん ！ ということで（？）この記事は Tech KAYAC Advent Calendar 2021 1
Google exec suggests Instagram and TikTok are eating into Google’s core products, Search and Maps The TikTok threat to Google’s business isn’t just limited to YouTube, as it turns out. Core Google services, including Search and Maps, are also being impacted by a growing preference for social media and videos as the first stop on younger users’ path to discovery, a Google exec acknowledged today, s
Amazon ECS Exec を使用すれば、最初にホストコンテナのオペレーティングシステムとやり取りしたり、インバウンドポートを開いたり、SSH キーを管理したりすることなく、コンテナと直接やり取りできます。ECS Exec を使用して、Amazon EC2 インスタンスまたは AWS Fargate で実行されているコンテナでコマンドを実行したり、シェルを取得したりできます。これにより、診断情報を収集し、エラーを迅速にトラブルシューティングすることが容易になります。例えば、開発コンテキストでは、ECS を使用して、コンテナ内のさまざまなプロセスと簡単にやり取りし、アプリケーションのトラブルシューティングを行うことができます。また本番稼働シナリオでは、これを使用することで、コンテナへのブレークグラスアクセスを行って問題をデバッグできます。 Amazon ECS API、AWS Comma
Node.js の Child Process 研究 : fork・exec・execFile・spawn の違いをサンプルコードとともに検証 Node.js の組み込みモジュール、child_process。基本的には、実行中の node プロセスとは別のプロセスを生成する関数が揃っているモジュールだが、今回はこのモジュールの中の似たような関数を比較し、理解を深めていこうと思う。 目次 child_process.exec() child_process.execSync() child_process.execFile() child_process.execFileSync() child_process.spawn() child_process.spawnSync() child_process.fork() 特徴比較表 ついでにコードリーディングしてみる どの関数を使うべきか、
https://connpass.com/event/209276/
はじめに 本記事では、ECS Exec の機能を使って、稼働中の Fargate のコンテナにアクセスする時の簡易な手順について、記載しています。 アクセスする Fargate のコンテナ周りの環境は、下図になります。 ECS Execは、SSM エージェントのバイナリを、下図のようにコンテナにバインドマウントして、Systems Manager (SSM) の Session Manager 経由で、アクセスできるようにしているようです。 引用：Github での Proposal 前提条件 Fargate のコンテナサイド ECS サービスを実行するプラットフォームのバージョンが1.4.0 以降であること。 Fargate のコンテナが Systems Manager (SSM) のエンドポイントに接続できること。 アクセスするクライアントサイド ECS Exec コマンドを実行するた
Linuxにログインしたことを通知する機能を CentOS7 と pam_exec.so で実装する方法を説明します。 ログインを管理者や本人に通知することで、内部監査やセキュリティ対策に役立てることができます。 【pam_exec.so を利用する理由】 他のサイトを参照にすると、下記を利用することで実装できることがわかります。 /etc/ssh/sshrc ~/.ssh/rc など ただし、SSHログインのみが対象でコンソールログインなどでは通知されません。 コンソールログインでもメールで通知したいため pam_exec.so を利用することにしました。 参考サイト:http://blog.stalkr.net/2010/11/login-notifications-pamexec-scripting.html 1. メール送信スクリプトの作成( /usr/local/bin/not
Dockerを使って開発していると、docker execすることが結構あると思いますが、地味に面倒なのでpecoを使って簡単に出来るようにしてみました。 pecoを使う前はこんな感じでdocker exec していると思います。 pecoを使うとこんな感じになります。 1文字打つだけでコンテナに入れます、早くて楽で良いですよね。 それでは設定していきたいと思います。 まずpecoをインストールします。 ※今回はbrewを前提にしてますので、brewが使えない場合は別途brewをインストールしてください。（windowsの人はbrewないので手順変わります、ごめんなさい） brew install pecoこれだけでpecoが使えるようになります。pecoは別のコマンドの結果を受け取って選択できるようにしてくれる、そして選択した結果だけを返してくれるコマンドになります。 pecoが使えるよ
GitHubでよくjemallocatorを使っているときにdisable_initial_exec_tls featureを有効にしているのをみかける。 これはなにかという話をする前に、TLSモデルについて知っておく必要がある。 TLSにはアクセスモデルというものがあり、モジュールの種類(実行バイナリであるとかdlopenでロードされるものであるとか)や 別のモジュールからアクセスされうるものかといった条件によって種類がある。 ELFなどで一般に用いられているものとして local-exec initial-exec local-dynamic global-dynamic の4種類がある。 ざっくり、 local-exec: 実行バイナリの中でのみ参照されるTLS変数 initial-exec: 実行バイナリ or 最初にロードが走る共有ライブラリ内の静的TLSブロック内に存在するTL
こんにちはコカコーラ大好き、カジです。 ECS Execするときに、Cluster名や、コンテナ名、タスクIDを確認してaws ecs execute-commandコマンド実行をしてましたが、Cluster数、タスク数が多いと非常に面倒ですよね。 そんなあなたに、楽にしてくれるツールがありました。 ssshとは ECS Execを実行したいECS Clusterやタスクを対話式で選択して、実行できるツールとなります。 今回はVersion 2を試しました。 作者は、弊社事例に掲載されている株式会社集英社 プラットフォーム室 安達様で、コンテナ移行時に作成され、ツールをご紹介頂き、私が試したところ非常に良いツールだったのでご紹介となります。（安達様にご承諾頂き、ブログでのご紹介となりました） 前提条件 Mac OS Xでの利用法を記載します。他のOSでもAWS CLI、jq、Bashなどが
（2021-04-19追記）下記内容を追記しました。 ログの出力方法 注意点 人生初の某春のパン祭りに参加中のWebエンジニアの本間です。早くゴールしてご飯に戻りたい...。 さて、弊社のRailsアプリケーションの多くは、Amazon ECS + AWS Fargateの組み合わせで稼働しています。 過去はEC2上で動かしていたのですが、ECS + Fargateに移行したことで様々なメリットがありました。 しかし、ECS + Fargateに移行したことでデメリットもあります。 EC2でRailsを動かしていた時代では、作業用のEC2にsshで接続し、そこでrails consoleを動かして作業、ということが簡単にできていました。 ECS + Fargateに移行してからはこの方法が使えなくなってしまったため、データ修復やジョブリトライの作業を行うのが難しくなりました。 DBに直接接
Firefox usage is down 85% despite Mozilla's top exec pay going up 400% September 2020 Mozilla is in an absolute state: high overheads, falling usage of Firefox, questionable sources of revenue and now making big cuts to engineering as their income falls. Mozilla's top exec pay has gone up hugely even as usage has crashed. Mozilla recently announced that they would be dismissing 250 people. That's
exec /usr/local/bin/docker-entrypoint.sh: exec format errorにハマる AWS ECRへプッシュ後、AWR ECSから起動しようとするとどうしてもコケる。 原因 イメージ作成時に稼働プラットフォームを指定すべきであった。
ECS ExecのenableExecuteCommandを有効にする場合は、SSMセッションマネージャのIAMポリシーをタスクロールにアタッチする必要があります！タスク実行ロールにアタッチしないよう気をつけましょう！！ こんにちは！コンサル部のinomaso(@inomasosan)です。 弊社の以下ブログを参考にECS Execの設定をしていたところ、ECSサービスのenableExecuteCommand有効にする設定でエラーとなりハマってしまいました。 今回はエラー原因と解決方法をまとめていきます。 まずは結論 ECSタスクロールのSSMセッションマネージャー関連の権限不足が原因でした。 環境 今回実行した環境は以下の通りです。 macOS Big Sur 11.6 AWS CLI 2.2.35 Fargateプラットフォーム 1.4.0 エラー事象 ECSサービスのenableE
[UPDATED 2023年01月26日] 要望によりpecoに対応したsssh version 2を作りました。 pecoに依存していないsssh version 1も引き続き使えます。 [UPDATED 2021年11月10日] leewcさんの修正により、オプションが使えるようになりました。 --region us-west-2 によるリージョン指定や --profile default によるプロファイル指定や --command /bin/bash によるコマンド指定ができるようになりました。 Special thanks, leewc !! ソース sssh (Bash script) #!/bin/bash ############################################################################ # Copyri
こんにちは。島村です。 今更ではありますが、Amazon ECS Execを使う機会があったので 使用するまでの流れや概要など備忘録として記載したいと思います。 ECS Execの概要 ざっくりいうと、ECS Execはコンテナにログインできる機能です。 ECS Exec以前は、Fargateの起動タイプを選択している場合、コンテナにログインすることができませんでした。 ECS Execが登場したことで、ログインできるようになりました。 コンテナへログインできることで、トラブルシューティングに必要な情報がより得られることができます。 ECS Execの仕組み ECS ExecはSystems Manager Session Managerの機能を利用して実現しています。 そのため、IAMによるコンテナへのログインアクセスを制御することも可能です。 なお、タスクにアタッチしているセキュリティ
現象 M1 MacでAWS LambdaへDockerイメージをcdk deployしたところ、デプロイはうまくいきますが、Lambdaを動かすとexec format error になります。 IMAGE Launch error: fork/exec /lambda-entrypoint.sh: exec format error Entrypoint: [/lambda-entrypoint.sh] Cmd: [app.handler] WorkingDir: [/var/task] 対策 いろいろ調べるとM1 Mac上ではDockerイメージのビルドのデフォルトがArm64になっている（当たり前だが）ためでした。対処法として環境変数を設定してDockerのビルドのデフォルトを変更することもできるらしいですが、それだとコードを他の人に渡したときに同様のエラーを発生させることになるので
Last Friday, one of my colleagues approached me and asked a question about how to exec a command in a pod with client-go. I didn’t know the answer and I noticed that I had never thought about the mechanism in “kubectl exec”. I had some ideas about how it should be, but I wasn’t 100% sure. I noted the topic to check again and I have learnt a lot after reading some blogs, docs and source codes. In t
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く