2018-07-15 13:20:58,410 - INFO - icrawler.crawler - start crawling... 2018-07-15 13:20:58,411 - INFO - icrawler.crawler - starting 1 feeder threads... 2018-07-15 13:20:58,412 - INFO - feeder - thread feeder-001 exit 2018-07-15 13:20:58,412 - INFO - icrawler.crawler - starting 1 parser threads... 2018-07-15 13:20:58,413 - INFO - icrawler.crawler - starting 1 downloader threads... 2018-07-15 13:20:5
PHPで最近注目のHTTPクライアントライブラリにGuzzleがあります。日本での知名度はまだまだという印象ですが、かなり高機能かつ真面目にメンテナンスされている印象で、今後のデファクトスタンダードになりうるライブラリと言えるでしょう。 本稿ではこのGuzzleを使ってWebサーバから並行にダウンロードする方法を紹介します。Webブラウザのように同時に複数コネクションを管理しながらKeep-Aliveでコネクションを使い回しますので、下手なコードで実現するより接続先Webサーバにも優しいはずです。 Guzzleの特徴 まずは、Guzzleについて僕が特徴的だと思う点を紹介します。 パッと見でわかりやすいインターフェース cURLは必須ではないがデフォルトでcURLを使う cURLの無い環境がありうるので、cURL無しでも動くのは嬉しい cURLのわかりにくいインターフェースを隠してくれるの
あ、どうも僕です。 今日はPHPでWebサイトをクローリングしてjQueryチックにDOMを操作して、データを取得したり、画像などをダウンロードする方法について書こうと思うよ！ これができると何がうれしいかって、いつも手動で巡回しているサイトなんかにアップされてる画像データを自動でダウンロードできるようになるんだよね。 人がやっていた作業をコマンド一発で自動化できるから、捗ること間違いなしだよ！ あれ、この人、この前node.js使って同じことやってなかったっけか？ node.jsを使ってjQueryチックにWebサイトをクローリングする方法 なんで同じことをPHPでやってんだ？とか思っていやしないだろうか。ああそうさ！ついこの前、node.jsで全く同じことをやって記事を書いたさ！なぜかって！？それは、node.jsの非同期地獄にやられたからさ！ やつめ、データのダウンロードからデータベ
前回のエントリの最後にgcmがセントラルリポジトリにないから個別にDLしてローカルリポジトリに突っ込んだ件がありましたが、gcmやmapsなどセントラルリポジトリにないライブラリをローカルリポジトリに突っ込んでくれるツールがあった。。。ほんとなんでもあるよね。。 https://github.com/mosabua/maven-android-sdk-deployer 使い方は、上記サイトのHow to Useに書いてあるとおりで、zipダウンロードするなり、cloneするなりしてゲットしたディレクトリ直下で mvn installすると、全バージョンのSDKとアドオンがインストールされる。 個別にインストールするには、 mvn install -P 2.3.3などと、必要なバージョンを指定してコマンドを打っていくだけ。上述の例はAndroid2.3.3(GB)。これでローカルリポジトリに
ACTIONSCRIPT 3.0 SOURCES複数の非同期処理の完了を通知するQueueクラス Download: http://as3s.org/uploads/queue/queue.zip 複数のファイルを読み込む場合など、複数の非同期処理の進行状況とすべてが完了したタイミングをイベントとして受け取ることができるQueueクラスを公開しました。 なるべく標準的なイベントモデルには変更を加えずに、複数イベントの完了を通知することができます。 仕組みはいたって単純で、各イベントを受け取るリスナーを Queue(待ち行列)に追加し、イベントが呼ばれたらQueueから削除しているだけです。 Queueが削除されたタイミングとQueueがなくなったタイミングでイベントが発生し、 queue.length / queue.totalで進行状況を知ることができます。 また、エラー発生時にも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く