9年ほど前にこういうエントリを書いたのですが、まだそれなりに見られているようなので、最近はどうなのかなーと、再検証・再計測してみたエントリーです。 ↑の過去エントリにも記載しているのですが、SSH/SCP では暗号化方式（強度）によってファイル転送のスループットが変わります。 もちろん、オープンなネットワークでやるにはセキュリティがー、とか、インターナルでやるなら、そもそも netcat (nc) でいいやんー、とか、そもそも大量にファイル数あるなら、事前に固めてしまえー、とか色々あると思うのですが、本エントリではあくまで暗号化方式 の違いでスループットがどう変化するのか、それはどのくらいスループットが出るのか、を確認したログとなります。 ベンチマークで利用した環境 Google Compute Engine (GCE) の インスタンス (n1-highcpu-4) を2台準備しました
タイトル通りですが、同様の方がいらっしゃるかもしれないので、何かの参考になればと、ログを残しておこうと思います。 先日のエントリにも書いたのですが、いつも通り Amazon で買い物をしたのですが、昨日妻から連絡があって「Amazonから荷物が届いてたけど、玄関に置かれていたよ」と。 お？いったい何が？と思って、メールを確認してみると確かに「配達完了」の通知が来ていて、"配送状況を確認" のページを確認して見ると以下のような感じでした。 お、おう。確かに玄関前にダンボールの荷物がちょこんと置かれている状態だ。 そして、ご丁寧に、"配送状況を確認" のページに証跡となる写真をアップしてくれていて、配達完了していますからね、と。 配達業者は、例のデリバリープロバイダ的なところ。 ・・・で、本件で何か迷惑を被ったわけではないのですが、さすがに安くはない買い物( 中身は Echo Plus + E
最近の重要な関心ごとなので、このセッションだけのために、2日目は夕方からデブサミに参加しました。 せっかくなので、書いたメモを公開しておきます。（解釈がおかしかったらごめんなさい） 個人的には、何かの気付きをたくさん得たというよりは、こういう感じで進めようかなと思っていたことがスジが良さそうということがわかり、後押ししてもらった感じがして、色々とありがたい会でした。 登壇者 市古 明典 氏 【モデレーター】 翔泳社 IT人材ラボ ラボ長 松尾 奈美 氏 リクルートテクノロジーズ 経営企画部 広報コミュニケーショングループ グループマネジャー 社員数は、2012年 :150名 => 2019年: 900名 エンジニア採用マネージャーを経て、インナーコミュニケーション活性および社外PR 小野 和俊 氏 セゾン情報システムズ 常務取締役CTO 社員は800名、エンジニアは約500名 アプレッソ
CAを離れて1年半。最近はどんな感じか知りたかったので聞いてきました。面白かったです。 グランブルーファンタジーを支えるインフラの技術 (株)Cygames 佐藤太志 氏 グランブルーファンタジーについて 特徴 スマホのRPG ブラウザゲーム 協力プレイ、マルチプレイ システム規模 登録ユーザ数1400万人 月間300億PV 100万query/sec 8万req/sec トラフィック12Gbps (CDN除く) システム構成 LBはBIG-IP CDNはAkamai HTTP/WebSocketがフロントインターフェース Web: Apache + mod_php + mysqli Node: Node.js + twemproxy DB: MySQL + MHA オンプレミス、仮想化環境は使っていない ネットワーク通信量が非常に多い 低レイテンシを求められている ハイパフォーマンスを実
楽しみにしていたセッションの1つ。メモメモ。 「プロダクト開発におけるプロダクトマネージャーの役割とは」 丹野 瑞紀 氏 (株)ビズリーチ サービス企画部 本部長 講演のコンセプト 「コンセプト」は、ターゲットと提供価値がセットになっているもの ターゲット ITエンジニアとして次のキャリアを模索 提供価値 PMの役割と求められるスキルの理解 プロダクトマネジメントとは あるプロダクトを市場に出荷していくお仕事 プロダクトに求められる要件 ユーザ課題が解決できる 技術的に実現可能 ビジネスとして継続可能 PMはそれぞれを理解してプロダクトを作っていく プロダクト開発のプロセス 市場調査 市場機会の発見 事業計画 製品コンセプト立案 製品開発 マーケティング戦略実案 市場の投入 PR・プロモーション 結果の評価 よくある例としては、 上の3つは、 経営企画室の仕事 次の2つは、テクニカルPM
(株)サイバーエージェントの退職報告後、多くの方にお声がけいただき本当にありがとうございました。 さて、私事にはなりますが、9/28付でアスタミューゼ(株)に入社しました。 当面は、Webエンジニアリングの現場で、インフラが中心にはなりますが、何でも屋的な感じで仕事をするつもりです。 何をやってる会社？って思う方が多いとは思いますが、事業内容については、コーポレートサイトやプラットフォームサービスとなる"astamuse"を是非ご覧いただければと思います。簡単に言うと無形資産・知財を扱っているわけですが、私も一技術者として、テクノロジーがもっとイノベーションに結びつきやすくなるような世の中を創れたらと思うし、少しでもその役に立てれば良いなと考えています。 少し話は変わりますが、入社直前の日に義母が58歳という若さで病に倒れ他界しました。細かい話は書きませんが、本当に人生いつ何が起こるかわか
メモった。間違い等あるかもしれませんが、その場合はごめんなさい。 Gunosy 2011.09リリース 現在900万DL突破 エンジニアは現在26名 2014.11は16名、2013.11は7名、2012.11は4名 クライアント+QAは5名、Web+APIまわりは5名、インフラは1名とかとか Gunosyの開発 API: Golang パートナー・広告主への管理画面: Rails バッチ・内部向け: Django or Python バージョン管理: GitHub 構成管理・デプロイ: Chef (+OpsWorks) 開発の特徴 小さい単位で作ってすぐ捨てる マイクロサービス的な 機能が増えすぎたら分割 メンテするよりリプレース サーバにログインされて困る事 信頼できないビルド・デプロイ 開発者の手元でビルドすると、どの断面なのかわからずトラッキングできない プロダクションに上がってい
歴史のあるクラウドサービスは、どこもそうなってしまう傾向があるとは思いますが、ホストサーバでの実CPUのアーキテクチャ・世代の違いで、サーバインスタンスのCPUパフォーマンスに微妙な差がついてしまいます。 2006年よりサービス提供しているAmazon EC2でもその傾向があることは割と知られていて、同じ性能だと思って並べて使っていたサーバインスタンスが、同じ処理量にもかかわらず使っているCPUリソースに差がついている、なんてことが起こります。 con_mameさんも、以下のエントリで書かれていますね。 EC2で同じECUだけどCPUは違う - まめ畑 昔は、us-eastでm1.smallのインスタンスをよく使ったもので、その頃はいつもAMDのOpteronプロセッサでしたが、最近では、ほとんどIntel Xeonですし。 ということで、現時点(2013/10)で、EC2インスタンスで使
とりとめもなく書いてみる。主にルーキー向けです。 サーバの運用とかやっていると、不定期ではあるが、たまにタイトルのようなディスク容量が逼迫する話題に直面します。 まぁ、それが起こるのは一旦良いとして、みんなこういう時、どうやって調べているのだろう？ とりあえず、僕がどうやってるか書いてみます。 何はともあれ現状確認 みんな大好き"df"コマンドです。細かい説明は省きますが、各パーティション・ファイルシステムごとにディスクの使用状況を確認。 # df -h Filesystem サイズ 使用 残り 使用% マウント位置 /dev/sda3 130G 88G 36G 72% / /dev/sda1 494M 23M 447M 5% /boot tmpfs 12G 0 12G 0% /dev/shm正確とは言いませんが、だいたいどのパーティションにどのくらい容量が空いているかが確認できます。 ど
運用設計・ルール的な是非は一旦おいておいて、複数のChef Serverでvalidation.pem(chef-validatorの鍵)を共通化させたいときに、どうやったかというメモ。ちなみに、バージョン10系での話です。 イメージは、既に1台のChef-serverを運用していて、もう1台新しいChef-serverを足したいんだけど、nodeとなるサーバの運用フローを変えたくないので(面倒くさいので)、validation.pemは共通で使いたいなー、というケース。(これはユースケースによってメリット・デメリットがあります) 僕が探した感じ、APIではその口が用意されていなかった(というか、あるように見えてeditしてみたけど反映されなかった)ので、結論からいうとバックエンドのCouchDBにアクセスして書き換えた感じです。 説明はここまででいいような気もしますが、一応自分のために手
いつも思いだすのに時間がかかるというか、ググるのでメモ。 例えば、ベンチマークとかをとっていて、残ったキャッシュを奇麗さっぱりに消したい時とかに使う。 Linuxのメモリで保持しているキャッシュをクリアするには、以下を実行する。 # sync # echo 3 > /proc/sys/vm/drop_caches 値の意味としては、、、 1： ページキャッシュを解放 2： dentry、inode を解放 3： ページキャッシュ、dentry、inode を解放 以下を参考に。 /proc/sys/vm/drop_caches (Linux 2.6.16 以降) このファイルに書き込みを行うことで、クリーンなキャッシュ、dentry、 inode をメモリ上から外し、そのメモリを解放する。 ページキャッシュを解放するには、 echo 1 > /proc/sys/vm/drop_caches
5/25に開催されたCA＆CookPadさんの合同勉強会でLTをしてきたので、その資料を公開します。 サイバーエージェント×クックパッド合同勉強会 : ATND ※ いや、大人気ですぐに席が埋まってしまって、LTでもしないと参加すらできなくて・・・ｗ 中国のクラウドサービスについて (サイバーエージェント×クックパッド合同勉強会LT資料) from Yuuki Namikawa 話すネタについては相当迷いましたが、個人的にちょうど新鮮なネタだった、中国発のクラウドサービス「CloudEx」についての紹介にしました。 このサービスの詳しい内容については、近々別のエントリで紹介しようと思いますが、中国向けのWebサービスという位置づけで考えた場合には、選択肢として面白い存在だと思います。AWSより若干安い感もあるので。(ただしクオリティについては、まだまだ？？？ですが。) 当日の動画 Ustの
先日、諸々の都合で遠隔にあるテスト環境のサーバ(Linux)のカーネルパラメータを弄っていたのですが、ちょっと設定(メモリまわり)がイキすぎてしまいｗ、コマンド実行というかforkできなくなってしまった(Cannot allocate memory...)。 んで、shutdownコマンドも実行できなくなったので、直そうと思ったのですが、色々弄った＆時間がなかったこともあり、一旦OSを再起動しちゃいたいな、と(汗 が、遠隔にあるサーバなので、物理的な電源スイッチON/OFFができない(厳密には出来る環境ではあったのですが、このサーバはそこに入ってなかったｗ)。ので、SysRqキーを送ることにした。 やり方 少し無理矢理感はありますが、 # echo b > /proc/sysrq-triggerを実行すると、強制的にリブートがかかります。 ただし、ファイルシステムのsyncとかumount
先日、SLAが発表され、正式版(Production)となった"Amazon EC2"ですが、それと同時にベータ扱いではありますが、"Windows Server"へ対応したとのことなので、試してみることにしました。 これまでAmazon EC2上で稼動できるOSは、Linuxがメインで、中にはベンダーが保守もしてくれるRedHat Enterprise LinuxやOracleが稼動するAMI(Amazon EC2の仮想OSイメージ)もあったのですが、Windowsが正式に動くこととなり、利用シーンの幅がより大きく広がったのではないでしょうか。 # あ、Linuxだけではなくて、OpenSolarisもありましたね。 というわけで題して、何もないところから5分でWindows Serverを動かすところまで、やってみます。このエントリでは、その方法をチュートリアル形式で紹介します。 前提
今更感があるかもしれませんが紹介。 stressコマンドを使うと、CPUやメモリ、ディスクに対して意図的に負荷を与えることができます。 どこで使うかというと、、、高負荷時のシステムの挙動を見たい場合、AutoScaling等の負荷状況に応じて自動でスケールアップ/アウトさせるための仕組みのテストをしたい場合、部屋が寒いときにPCに発熱させたい場合ｗｗｗなどで使えるのかな、と。 Stressをインストール CentOSやRedHatの場合は、DAG(rpmforge)のリポジトリがあるので、ここのパッケージからインストールしましょう。 DAGをyumのリポジトリに追加する場合は、以下リンクから(CentOS5[x86_64]系の2010/05/14時点の最新版は)"rpmforge-release-0.3.6-1.el5.rf.x86_64.rpm"をダウンロードして、rpmインストールしま
「シェルスクリプトの実行過程でエラーが発生した場合に処理を止めたい」・・・それをすごくシンプル(簡単)に実現したい場合に使えます。 例えば、以下のようなシェルスクリプトを書いた場合、、、 #!/bin/sh mkdir /tmp/hoge/fuga touch /tmp/hoge/fuga/test.txt 実行結果は以下のようになります。 $ ./test.sh mkdir: ディレクトリ `/tmp/hoge/fuga' を作成できません: そのようなファイルやディレクトリはありません touch: `/tmp/hoge/fuga/test.txt'にtouchできませんでした: そのようなファイルやディレクトリはありません/tmp/hogeディレクトリが存在しないので、/tmp/hoge/fugaのmkdirでこけます。まぁ普通ですよね。。。 が、何も考えずに書くと、↑のように、その
今更なネタかもしれませんが、psコマンドでは通常プロセス単位での表示となりますが、"man ps"を読んでみたところ、"-L"等のオプションをつけることで、スレッドを表示することもできるようです。 スレッド表示 H スレッドをプロセスのように表示する。 -L 可能ならば LWP と NLWP カラムをつけてスレッドを表示する。 -T 可能ならば SPID カラムをつけてスレッドを表示する。 m プロセスの後にスレッドを表示する。 -m プロセスの後にスレッドを表示する。 Man page of PS では、早速試してみましょうか。 普通に"ps -ef"を実行 $ ps -ef | grep -e mysqld -e PID | grep -v grep UID PID PPID C STIME TTY TIME CMD root 4570 1 0 Dec09 ? 00
あまりカジュアルではなかったｗという説もありますが、結構面白かったです。 1人の発表が10分と、LT(Lightning Talks)風な感じだったこともあり、聴くのに必死だったのですが、少々メモを取ったので貼り付けておきます。(取れたところは少ない...) # 間違っている部分もあるかもしれませんが、そこはご了承を。 # きっと近いうちに皆さんの発表資料が出揃うだろうとは思いますが。出揃ったらリンク付けようｗ ちなみに、余談ですが懇親会も、かなり盛り上がって楽しかったですね！ 個人的には、前から色々お世話になっていた、"刺身☆ブーメラン"の金子さん(id:a666666 / @kyanny)と色々お話できたのは良かったです。 show innodb status (@myfinder) show innodb status from Tatsuro Hisamori 呼び方: いのでーび
記念すべき第1回となる「Webサーバ勉強会」に行ってきました。 ゆくゆくはApacheのソースコードリーディングや他のWebサーバなど色々やりたいですが、まずはちゃんとApacheを理解しようという事で第1回は「Apache：httpd.conf デフォルト設定わかるかな？」というテーマでやろうと思います。まず僕は全部の意味分かっていませんので、気軽にお互いが補完し合う形で出来れば良いなと思っています。 Webサーバ勉強会はじめてみます。 - oranie's blog 形式としては、参加者間でApacheのconfigの各オプションについて分担を決めて、それぞれの担当箇所を調べてきて発表するというもの。 こういった20人の参加者のほとんどが発表するといった形式の勉強会は初めてだったので新鮮で面白かったです。私自身もかなり勉強になりました。mod_spelingとか初めて知った。(一人目か
大手クラウドサービスであるAmazon EC2では、9種類ものインスタンスタイプ(サーバの種類)から、利用したいスペックのサーバを選択できます。また、EC2のサーバは、4ヶ所ものリージョン(アメリカ東海岸、同西海岸、ヨーロッパ西部、シンガポール)から稼動させる場所を選択することができます。 ここで、気になるのが、Amazon Web Servicesの説明ページで、各インスタンスタイプの公表スペック差異として、EC2独自のCPU単位である"ECU"の数値や、IO性能のModerate(中)やHigh(高)で、どのくらいパフォーマンスが違うのかが見え辛いといった点。 また、一部の場所ではパフォーマンスが出ていない等の話が以前に出ていましたが、4ヶ所のロケーション(Region)によって、各場所でのインスタンス性能が全く同じなのか等も気になるところ。 ここを解明すべく、各種ベンチマークを実行し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く