いきさつ ついに『斉藤さん』が北米・UKなどで公開されたらしいです。 海外ではウケるのかどうか未知数ではありますが、さらにアクセス数が増えると思うとｇｋｂｒな日々です。 今のところWebサーバーのプロセスが比較的スムーズに処理されているようなので問題ないのですが、「ある程度時間のかかる処理で、その処理の結果を返す必要がないもの*1」の割合が多くなってきた場合、処理の待ち時間が長くなってしまい、Webサーバーでのプロセスが溜まってしまう、というようなことが起きてしまう懸念点があります。 そういう処理ってWebサーバー側ではやることやったらレスポンスを返して、時間のかかる処理自体はバックエンドでやりたいですよね？ まあ、いま流行りの「非同期処理」というやつですね。 非同期処理をする場合はいわゆる「この処理をこういう条件でやってね！」→「はーい！わかりましたー！」というメッセージングのやり取りが
こんにちは、久保田です。 ウェブサービスでは、ユーザのアクションに従ってバッチ処理を行わなければならないケースがままあります。この記事では、バッチ処理の手法の一つであるタスクキューイングをPHPとKestrelとSupervisorを利用して行うやり方の導入を紹介します。 なぜなにタスクキューイング ウェブサービスでは、ユーザのアクションに従って非同期にバッチ処理を行うようなケースがよくあります。 例えばflickrのような写真を共有するウェブサービスで言えば、ユーザが写真をアップロードしたあとに非同期でその画像の複数のサムネイル生成や加工をしなければならないケースがあります。 よく見られるのは、DBにバッチ処理のためのタスクデータを入れておいて、後でcronで定期的に起動するワーカープロセスからバッチ処理を行う方法です。このやり方には、ワーカーを複数プロセスで扱いづらい、処理がリアルタイ
メッセージキューイングシステムが必要でActiveMQとか調べてたけど、やっぱなんかめんどくさそうだし、必要以上にエンタープライズ臭がするのでkestrelを試してみました。 twitter/kestrel · GitHub kestrelはTwitterのバッググラウンドで使われている（らしい）、メッセージキューイングシステムです。 特徴は、ゆろよろさんのブログにも和訳（githubにおいてあるREADMEの和訳）がありますが、以下の通りです。 速くて、 小さくて、 障害に強くて、 信頼できる。 今のコード量はコメント入れて2000行ほどで、たしかに小さいです。 あと、大きな特徴として、memcacheプロトコルでキューへのput/getを行います。 また、ActiveMQと比べたらライトウェイトで速そうな雰囲気です。 必要なもの JDK6 Scala2.7.7 final sbt gi
Kestrel ignores memcache flags チケットとしても起票されてたみたいだけど、その後特に対応することもなく閉じられたみたい。 Twitter内部ではflagを使ってないんでしょうね。。 Scalaを学習して改修するか、バイト配列のまんまでやり取りするしかないんか。。 んー、バイト配列のまんまは危険なのでやなんだけど、例えばMemcachedClientの方に少し手を入れて、StringとString以外のオブジェクトをサポート出来れば、プリミティブ型は全部諦めればいいかなー。。。 こんな感じ？ ↓ http://github.com/ikeike443/Memcached-Java-Client/commit/60c88eaa4880bc9275027bd1fbac9b493208de08#commitcomment-116465 で、こんなふうに使う？ impo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く