以下のプログラム（参考：作って学ぶ、今どきのWebサービス: 第2回 RSSフィードの料理はLWPとXML::RSSにおまかせ）を実行したら、「Wide character in print at」というメッセージが print を実行する度に出力されてしまった。 #!/usr/local/bin/perl # http://www.ibm.com/developerworks/jp/webservices/library/itm-ws2-rss/ use strict; use Encode; use LWP::Simple; use XML::RSS; my $url = shift; my $document = LWP::Simple::get($url) or die "cannot get content from $url"; my $rss = XML::RSS->new;
サンケイスポーツの公式サイト、サンスポ・コム（SANSPO.COM）野球ページです。球団別ニュース、プロ野球速報などを掲載しています。
XPathを知りたくてというか実践したくて使ってみた。 返り値となるオブジェクトがいろいろとでてきてわからないが、 そんなときは refとか isaで型をチェックして、ドキュメントを見て ということを繰り返せばなんとかなる。 以下毎度お馴染みのサンプルです。ファイル取得の部分も入れてみた。 #!/usr/bin/perl use strict; use warnings; use HTML::TreeBuilder::XPath; use LWP::Simple; use LWP::UserAgent; use File::Basename; use Time::HiRes; my $url = shift @ARGV or die "usage builder_xpath.pl url\n"; my $tree = HTML::TreeBuilder::XPath->new(); $tr
robots.txt checker This tool validates /robots.txt files according to the robots exclusion de-facto standard. Checks are done considering the original 1994 document A Standard for Robot Exclusion, the 1997 Internet Draft specification A Method for Web Robots Control and nonstandard extensions that have emerged over the years. The robots.txt validator checks the syntax and structure of the document
最近、LWPやWWW::Mechanizeを2007年頃のバージョンから最新のバージョンにしたら、文字コードで色々ハマったのでメモっておきます。 結論から言えば、最新のLWPやWWW::MechanizeはUnicode文字列を適切に扱えますので、以下を心得て使うとハマりどころが少ないかなと思います。 LWP-5.837 $ua->decoded_contentはUnicode文字列*1 Content-Typeでの指定やMETAタグの指定から推測してくれる $ua->content はバイト列 ただし、$ua->contentはContent-Encoding(俗にいうgzip圧縮)の展開をしないので、decoded_contentが無難 WWW-Mechanize-1.66 $mech->content は $ua->decoded_content つまり、Unicode文字列 $me
以前、ハマっていたWWW::Mechanizeの文字化け 半月以上の月日を経て、やっと解決しました。 （とりあえず簡単な方で） このURLが同じ問題かと思われます。 と、 親切なk-z-hさんから、的確なアドヴァイスをいただいていたんですが、 当時の私は、オブジェクトの「お」の字も知らず、ソースコードを眺めて萎えてしまっていました。 しかーし！ 「このままでは終わらせじ！板垣死すとも自由は死せず！（意味不明）」 という思いで 「すぐわかる オブジェクト指向 Perl」や「続・初めてのPerl 改訂版」を読み漁り、久しぶりに試してみたのですよ。 したら、できたのです。 こっちのやり方ですが↓ WWW::MechanizeでShift-JISとかのフォームを送信する方法 HTML::Formモジュールの $form->accept_charset( $new_accept ) This met
SEの進地です。 スクレイピング（Scraping）とはWebページを取得し、タグを解析し、必要な情報を抽出して利用すること、およびその技術です。こうしたスクレイピングを支援するツールはRSSやWebサービスAPIを提供していないサイトの情報も組み合わせてマッシュアップするWeb 2.0ライクなサービスの構築にも利用できますが、自動化テスト用のツールとしても非常に優秀です。 今回は強力なスクレイピングツールの一つであるWWW::Mechanize（mechと呼称されることもあり）を使ったWebシステムの自動化テスト技法について書いていきます。 WWW::Mechanizeの利用環境 WWW::Mechanizeは元々はPerlのモジュールとしてCPAN（http://www.cpan.org/）で配布されていましたが、現在ではRuby、Pythonにもモジュールが提供され、利用できるように
名前¶ WWW::Mechanize - Perlオブジェクト中のハンディWebブラウザ VERSION¶ Version 1.02 $Header$ 概要¶ WWW::Mechanize、あるいは縮めてMechはWebサイトとのやりとりの自動化を 助けます。これはリンク先やフォームデータの送信を含む、複数のページの取得を サポートします。取得したページはそれぞれ解析され、そのリンクやフォームが 抽出されます。リンクやフォームを選択し、フォームを埋め、次のページを取得 することが可能です。Mechは訪れたURLの履歴を保持しますので、これを問い あわせたり再訪することも可能です。 use WWW::Mechanize; my $mech = WWW::Mechanize->new(); $mech->get( $url ); $mech->follow_link( n => 3 ); $m
これははまりました・・ CPANのWWW::Mechanize 1.34で click() は <input type="submit" name="name1" value="value1"> の分の name1=value1 も送信しますが、submit() ではこれを送信しません。 たとえば下のようなフォームの場合。 <form method="get" action="do.php" name="loginform"> <input type="hidden" name="login" value="123"> <input type="hidden" name="login" value="abc"> <input type="submit" name="login" value="xyz"> </form> Firefox 2.0等のブラウザでsubmitボタンをクリックすると
以下は、他サイトに掲載されている有用なWWW::Mechanize使用例です。 私自身、「Amazon アフィリエイトレポート」を見て、本当にこのWWW::Mechanizeを使おう、と思いました。 Amazon アフィリエイトレポート(blog.bulknews.net)。 WWW::Mechanize を使って bk1 の注文履歴を取得するスクリプト(www.asmate.net)。 mixiの足あとを取得するスクリプト(digit.que.ne.jp)。日記を投稿するスクリプトのアレンジです。 指定したカテゴリの、今日の一覧を取得。 「次のページ」も追いかけて処理します。 use strict; use WWW::Mechanize; my $url = 'http://headlines.yahoo.co.jp/hl'; my $cate_label = 'コンピュータ一覧'; m
BMVC 2010 Papersの論文PDFをダウンロードするスクリプトを書きました。実行すると、論文毎のページにアクセスして、論文名.pdfの形式で保存します。全部ダウンロードするのに大体１０分くらいかかります。 #! /usr/bin/perl use warnings; use strict; use URI; use Web::Scraper; use LWP::UserAgent; ## 全論文のPDFページのURLを取得 my $papers = scraper { process "ol", "sessions[]" => scraper { process "li", "papers[]" => scraper { process "a", title => 'TEXT'; process "a", link => '@href'; process "a", id => '
前は、ワードファイルで同様のことをする方法 http://d.hatena.ne.jp/tizz/20090311/1236831938 を書いたが今回はそのpdf版。 普通なら、CAM::PDF::PageTextモジュールを使えばいいのだが、うちではこれが動かなかったので（自分でコンパイルして入れた人もいるようだけど）、xdoc2txt+perlで。これは、perlって言うよりはwindows tipsかな。 手順 まずxdoc2txtをダウンロード（これはPDFに限らずテキストをいろいろなプログラムから切り出してくるコマンドラインで動くスタンドアロン・プログラム）。 http://www31.ocn.ne.jp/~h_ishida/xdoc2txt.html ダウンロードしたものを解凍したフォルダに次のスクリプトを放り込む。 #! usr/bin/perl my $infolder
Perl で さくっと PDF ファイルを分割、テキスト抽出する方法が無いかなあ？というざっくり調査の結果を紹介します。 CPAN モジュールを探したのだが、結論から言うとどれも一長一短でした。 PDF::Extract http://search.cpan.org/~nsharrock/PDF-Extract-3.03/ その名の通り、指定ページをPDFから抽出するだけのシンプルモジュール。 PDF::Extract でページ分割 use PDF::Extract; my $pdf = new PDF::Extract( PDFDoc=>’mypdf.pdf’ ); my $pageno=5; #$pageno=$pdf->getVars(“PDFPageCount”); #これで取れるはず？だがうまくいかない my $i=1; #2ページずつPDFファイル分割 while($i <=$
2001/6/21：山宮隆さんからの指摘を受けて、余分な「；」を削除しました。 目次 名前 概要 説明 HTTP式通信 Requestオブジェクト Responseオブジェクト ユーザ・エージェント プログラム例 ネットワーク・サポート HTTPリクエスト HTTPSリクエスト FTPリクエスト Newsリクエスト Gopherリクエスト Fileリクエスト Mailtoリクエスト クラスとパッケージの概要 さらなるドキュメント バグ 謝辞 著作権 利用できる場所 名前 LWP - PerlでのWWWアクセスのためのライブラリ 概要 use LWP; print "This is libwww-perl-$LWP::VERSION\n"; 説明 Libwww-perl はWorld-Wide Webへの簡単で一貫性のあるプログラミング･インターフェース(API)を提供するPerlモジュール
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く