This is a follow-up post on my previous post "Four Linux server moniting tools" which ended up on the frontpage of Hacker News for a pretty long time, and got a lot of great activity from a lot of people in the Hacker News community, and even people who has been developing on the mentioned tools. There was so many great suggestions, so i have decided to make a list of a few of the most mentioned u
こんにちは。斎藤です。 ITインフラの障害は、多くの場合「予期せぬ」タイミングで発生します。特に、CPUリソースを多量に消費したり、Disk I/Oが輻輳している場合、その切り分けは困難な状況に陥りやすいものです。 そこで、本日はITインフラ、特にOS・ミドルウェアを支えるにあたって、問題解決を助けてくれるであろう12個のコマンドを取り上げてみます。「必ず押さえておきたい」5つのものと「更に覚えると便利なコマンド」7つの2節に分けてお話しします。 ※CentOS 6.4 (64bit)を前提に取り上げます 必ず押さえておきたいコマンド もしITインフラ管理者になりたてな方はぜひ サーバサイドのプログラマをやっていたのだけれど、ある日突然「君、サーバ管理担当ね！」と、バトンを渡される方っていらっしゃると思います。私も以前はそのクチでした...。そうなってしまったとき、まずは覚えておきたい5つ
いつまで経っても終わらないから帰れない… 途中で終了してしまうと困るので、ログアウトしても終了しないように。 作業の流れ Ctrl+Zでコマンドの中断 bgでバックグラウンドに回す jobsでジョブの確認 disownでログアウトしても実行されるようにする 実際のコマンドだと
シェルスクリプトから"foreman start"したときにCtrl-Cで終了できないという現象に遭遇しました。なぜこのようなことが起こったのかについて調べてみたので解説します。一見不可解におもえるプロセスの振舞いをUNIXプロセスの仕組みをひもとき説明してみたというおもむきの記事です。 概要 foremanはシェルスクリプトから、"foreman start"のように起動したときにCtrl-C終了できません。シェルスクリプトでなくてもssh経由で ssh -t host foreman start のようにした場合でも同様の問題が発生します。これは、foremanがsetpgrpシステムコールを呼び出してプロセスグループのリーダになるという動作をしていたのが原因でした。 現象 以下のように "foreman start"をシェルスクリプトから実行すると、Ctrl-Cによりforemanを
CLI is a good way to communicate with computers, and good communication needs some idioms, like natural languages. Here are idioms I usually use. I will describe them or add others later. Why don’t you share your idioms? :) Others Re: UNIX Command Idioms - (ひ)メモ Re: Re: UNIX Command Idioms - studio3104::Blog ps auxf ls -ltrh netstat -taopn tar xvf | cut | sort | uniq -c | sort -n rsync -avzn file
Re: [twitter:@riywo]'s UNIX Command Idioms ps auxwwwwwww number of "w" depends on my mood in that day :D ps auxwwwwwwwww -L netstat -tna / -una / -tnl / -tnap tar xvf tar zxvf / jxvf / Jxvf are boring trailing slash in rsync rsync -av file [file] HOST:dir/ rsync -av dir/ HOST:dir/ tcpdump -i any -nlx strace -s 100 -fFTttt diff -u /path/to/file <(ssh host cat /path/to/file) see also: http://d.haten
で。 Linux (Unix) には、コマンドラインで色々できるものが揃っているので、これ使えるか使えないかで、大きな差がでてしまうな、と最近つくづく思う。いわゆる、GNU Coreutilsというやつだ。*1 実は知らなくても生きていけるし、Ruby や Python 書けば適当に（それも短時間で）実現できてしまうが、知っておけばさらに簡単に実現できてしまうということは往々にしてあり、そういうわけで、最近は、データ解析とか、集計とかに役立つ Linux コマンドを再度確認するといいのではないか、と思っている。 以上前置き。 サンプルデータ サンプルデータは、前回 つかった、Tiarra の Twitter ログをタブ区切りにして出力した一部を使うことにする。 2009-06-15 00:36:00 mickey24 - こちらも．Rのanimationパッケージでクラスカル法のシミュレー
知っている人には当たり前。でも新人さんには覚えておいて欲しい。 コンパイルエラーがあっても止まらずにコンパイルできるところまでコンパイルする $ make -k 普通にオプション無しでmakeコマンドをたたくとビルドが無事終了するか、エラーが発生したところで止まります。ひとつひとつエラーを取り除いていってもいいのですが、いったいどのくらいのエラーがあるのかを見極めるために、 -k オプションをつけてビルドを実行します。そうするとコンパイルエラーがあっても止まらずにコンパイルできるところまでコンパイルしてくれます。数個のエラーなのか、何百のエラーなのかで次の作業をどうするかを作戦を立てていきます。たくさんエラーがあっても同じ原因であることもあるし。（例えば何かヘッダファイルが見つからないなど。） あまりにたくさんのエラーがあるなら、もっと違ったアプローチをすることも考えらます。 とりあえずビ
シェルからでも重い処理というのはちょこちょこあって、例えば超デカいログファイルを移動して圧縮したりというお仕事は世界中のあらゆる場所で毎日行われていたりする。コマンドラインからでも大量の圧縮済みログファイルをいっぺんに展開したい、とか。 あるディレクトリ以下に存在するたくさんのファイルを(圧縮済みのものを除いて)全部 bzip2 圧縮したい！と思ったら、とりあえずさくっと次のようにコマンドラインで叩けばいい。 $ find . -not -name '*.bz2' | xargs bzip2 これで、まあそんなに問題なく効率的にbzip2圧縮ができる。だがしかし。 最近は複数コアのCPUが普通に転がってるし、あまつさえHyperThreadingが有効になってたりしてOSから見える論理CPU数がハンパない。普通に8とかある。その一方で複数コアを使用してくれるコマンドというのはあんまりなくて
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
bashの「Process Substitution」という機能で、コマンドの実行結果を名前つきパイプから読めます。(thx かつみくん) $ cat -n <(date; echo foo) 1 Wed Jan 18 21:38:30 JST 2006 2 fooこれを使って、リモートホストのファイルとdiffを取るシェル関数を作ってみました。 こんな感じで使えます。 $ rdiff -u ~/s.txt REMOTE_HOST:~/d.txtまた-Rオプションで、rsyncの-R, --relativeオプションの様にローカルホストのパスをリモートホストの相対パスとして指定できます。たとえば、ローカルホストの/very/very/long/path/t.txtとリモートホストの同じパスのファイルをdiffるときには次のようにしてリモートホスト側のパス指定を略記することができます。 $
strace システムコールをトレース。カーネルと何を話しているか。 strace -p PID でプロセスにアタッチ。実行中のプロセスをトレース。 straceを使ったデバッグ - SourceForge.JP Magazine : オープンソースの話題満載 Linuxカーネルの作り出す世界 − ＠IT自分戦略研究所 - ふつうのLinuxプログラミング 青木峰郎 システムコールとライブラリ関数 − ＠IT自分戦略研究所 システムコール・ライブラリルーチン - UNIX の部屋 ltrace 共有ライブラリの呼び出しをトレース。*.soと何を話しているか。 ltrace -p PID でプロセスにアタッチ。実行中のプロセスをトレース。 ltrace で共有ライブラリの関数呼び出しをトレースする - bkブログ 404 - エラー: 404 - Linux JF ƒ‰ƒCƒuƒ‰ƒŠ‚ÌŠ
便利なものを見つけた。ファイルの中身を見ようとして less を使ったけど中身が 1 行しかなくて残念なことになったとか、 git log したけどコミットが 1 つしかないのにページャが起動してうざいとかは良くあることだと思う。 そこで -F(--quit-if-one-screen) オプション。名前を見ればわかると思うけど、入力テキストが画面内に収まる量だったら自動で終了して cat 相当の動作になる。実にスマート。 環境変数 LESS に追記しておけばいい。ちなみに私は後から見てわかりやすいように設定ファイルに書くときはロングネームを使うようにしている。 export LESS='--quit-if-one-screen' ところが、私の環境だと git log のようなエスケープシーケンスを含む入力がそのまま表示されるようになってしまった。-R(--RAW-CONTROL-CHA
以前の記事「$HOME/.ssh/configを活用していますか？」では、設定ファイルを少し頑張って書けば普段のSSHライフが随分変わりますよ、と紹介しました。今日はその続編です。前回よりマニアックな設定を紹介します。 2段以上先のサーバにログインする Dynamic Forward機能を使う 共通設定をまとめて書く 2段以上先のサーバにログインする 目的のサーバにログインするために、踏み台的なサーバを経由しないと入れない環境があります。例えば、dmz経由でないとDBサーバにログインできない環境、というのは良くある構成でしょう。 このような場合に、ProxyCommandパラメータが利用できます。 上の設定で「ssh db1」とすると、sshでdmzに接続し、dmzから192.168.0.201へログインします。これを利用するには踏み台サーバにncコマンドが必要ですが、大抵の環境にインスト
ディレクトリ操作 lsの使うオプション ...-l,-a,-F,-i # ディレクトリをすべて消す場合(先頭の\は後述) \rm -rf ディレクトリ名 # 全部コピー cp -ar srcdir destdir ...-aはGNU lsのオプション # cp -aがどこまで信用できるか不明、あるいはGNU lsがない時に、使うテクニック tar cf - srcdir | (cd /destdir; tar xf -) ファイル操作(リンク) ハードリンク vs. シンボリックリンク ln #ハードリンク ...異なるファイル名で同一のi-nodeを共有(ls -iで確認可能) ln -s #シンボリックリンク ...ポインタ 注意点 ハードリンクは対称(ln a bでもファイルaとbに主従関係はない) i-nodeはデバイス(dfで見えるディスクデバイス)で一意なので、デバイスを越えて
Enter Patch ID (109234). Enter Patch ID with rev specified (109234-05) if you want to find a specific revision. Please note: Although OBSOLETED patches are available on SunSolve, Sun recommends using the most recent patches and the most recent revision of those patches. OBSOLETED patches do not include the latest bug fixes and/or product enhancements, and may require the installation of additiona
社内の新人向けに、これまで書いたブログの記事を纏めてみる。 linuxやvimなどのrailsとは違うけど覚えておいたら便利な項目 うちの社内では主にLinuxサーバを使うので bashとvimの基本的な使い方を説明した。 - zenpouの日記 vim チートシートが便利だよ。 ctrl+w の後に S を押下でウィンドウが分割出来る。 ctrl+w ctrl+wと、2回押す事で分割したウィンドウを移動できる。 yyでコピー（vimではヤンクと言うけど)、pで貼り付け。 vでビジュアルモードになり、hjklで移動して範囲を選択して、yでコピーしたり、dで削除したり可能。 数字＋コマンドでコマンドを複数回実行できる。 例えば 10yyと入力すると10行コピーする。 挿入時のモード(a,i,o)、コマンドのモード(:コロン)、ビジュアルモード(v)等に切り替わるそれぞれの方法 ~/.vimr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く