This is my error: (mysite)zjm1126@zjm1126-G41MT-S2:~/zjm_test/mysite$ pip install lxml Downloading/unpacking lxml Running setup.py egg_info for package lxml Building lxml version 2.3. Building without Cython. ERROR: /bin/sh: xslt-config: not found ** make sure the development packages of libxml2 and libxslt are installed ** Using build configuration of libxslt Installing collected packages: lxml R
ExtractContent は、HTMLから本文を抽出するRubyモジュールです。 RubyForge: ExtractContent: Project Info Webページの本文抽出 (nakatani @ cybozu labs) Perl用の同名モジュールもありますが、今回はRubyモジュールを基にしてPythonへ移植してみました。 # -*- coding:utf-8 -*- import re import unicodedata class ExtractContent(object): # convert character to entity references CHARREF = { "nbsp" :" ", "lt" :"<", "gt" :">", "amp" :"&", "laquo":u"\xc2\xab", "raquo":u"\xc2\xbb", }
matplotlibは素晴らしく使い勝手がいいのだが，日本語を表示しようとした途端にハマってしまった．まだちゃんと調べきれてないんだが，どういうわけかうまく行ったり行かなかったりで，とりあえず自宅環境でちゃんと動いたのでメモ．手元の環境は python 2.6 + matplotlib 0.99.1． 最終的な結論としては，フォントを適切に設定すればOK．フォントファイルの指定はFontPropertiesを使う必要があるようだ．ここで埋め込むフォントで挙動が変わるらしいことが，経験的にわかった．動作を確認したのは最新のIPAフォント（現時点でver 003.01）．このフォントは，埋込PDFを作ることをライセンス上許可しているため，フォント埋込みを要求される論文投稿など（加えて，国際学会に日本語の処理の文脈で投稿する必要がある時）使うと良いだろう．こういう基盤の仕事をオープンソースという
pythonのグラフ描画ライブラリであるmatplotlibで日付ごとにプロットするサンプル。 from pylab import * from matplotlib.dates import MONDAY, WeekdayLocator import datetime start_date = datetime.date(2007, 5, 1) end_date = datetime.date.today() delta = datetime.timedelta(days=1) mondays = WeekdayLocator(MONDAY) dates = drange(start_date,end_date,delta) s = rand(len(dates)) + 85 t = rand(len(dates)) + 80 fig = figure() ax = fig.add_su
17.6.1. はじめに¶ multiprocessing はPythonの標準ライブラリのパッケージで threading とよく似た API を使ってプロセスを生成することができます。 multiprocessing パッケージを使用すると、 ローカルとリモート両方の並列制御を行うことができます。 また、このパッケージはスレッドの代わりにサブプロセスを使用することにより、 グローバルインタプリタロック ( Global Interpreter Lock ) の問題を避ける工夫が行われています。 このような特徴があるため multiprocessing モジュールを使うことで、 マルチプロセッサマシンの性能を最大限に活用することができるでしょう。 なお、このモジュールは Unix と Windows で動作します。 警告 このパッケージに含まれる機能には、ホストとなるオペレーティングシス
2010年01月09日 09:26 カテゴリPython Pythonの辞書(dict型)をvalue値でソート Posted by yawamen No Comments No Trackbacks Tweet そもそも辞書(dict型)には順序はないのですが･･･ key値やvalue値でソートして出力したい時があります． key値の時は簡単 d = {'A':500, 'B':200, 'C':300, 'D':100, 'E':400} for k, v in sorted(d.items()): print k, v 実行結果 A 500 B 200 C 300 D 100 E 400 value値の時も案外簡単 for k, v in sorted(d.items(), key=lambda x:x[1]): print k, v 実行結果 D 100 B 200 C 300
しばらくベンチマークコードを書いてなくてすっかり忘れていたので、メモ書きです。今回は例題として、yahooのこのページをBeautifulSoupとlxmlでのスクレイピング比較をしてみる事にしました。比較対象の関数は以下の通りです。どちらのコードも入力・出力ともに同じなので、どちらが実行時間やメモリ使用量が少ないのかを知りたくなりますね。 # BeautifulSoup def scrape_with_bs(html): from BeautifulSoup import BeautifulSoup soup = BeautifulSoup(html) rows = soup.find('table', attrs={'class':'channel9'}).findAll('tr') channels = rows[0].findAll('td', attrs={'class':'st
Perlではハッシュから存在しないキーで値を取り出そうとするとundefが返ってくる。それを評価してプログラムを書いても動く。 $ perl -w %hash = (foo => 'hoge', bar => 'fuga'); print $hash{baz} ? "あるよ！\n" : "ないよ！\n" ^D ないよ！ Pythonの場合、存在しないキーで値を取り出そうとした瞬間にエラーが発生してしまう。 >>> hash = {'spam': 'hoge', 'ham': 'fuga'} >>> print 'あるよ！' if hash['eggs'] else 'ないよ！' Traceback (most recent call last): File "<stdin>", line 1, in <module> KeyError: 'eggs' ので、"has_key()"関数で辞書
日本語サイトでは、具体的な性能は測定していませんが、 以下のようなサイトで正しく動くことがわかっています: アサヒ・コム Nikkei NET Mainichi INTERACTIVE Yomiuri On-line IT media 東京新聞 日刊スポーツ 信濃毎日新聞 livedoor ニュース 使いかた Webstemmer をつかったテキスト抽出は以下のようなステップになります: まず、特定のニュースサイトから種となる HTML ページを多数取得する。 取得したページのレイアウトを学習する。 別の日に、同一のニュースサイトから新しい HTML ページを取得する。 2. で学習した結果をつかって、新しい HTML ページから本文を抽出する。 1. および 2. のステップが必要なのは最初の 1回だけです。 ひとたびサイトのレイアウトを学習してしまえば、 あとはレイアウトが大きく変更さ
文字列を結合するには + よりもjoin( )を使った方が速いというので調べてみました。 from timeit import Timer setup = 's = "xxxxxxxxxx"' add_stmt = "s + s + s + s + s" join_stmt = '"".join((s, s, s, s, s))' print Timer(add_stmt, setup).repeat(3, 100000) print Timer(join_stmt, setup).repeat(3, 100000) [0.54150170133592579, 0.56340116327796308, 0.53983221307765805] [0.75089341088519768, 0.75319901439849835, 0.76125898858512553]join( )の方が遅
printステートメントのデフォルトの出力先はsys.stdoutである。sys.stdoutは標準出力を表す。 改行を入れたくない場合はステートメントの最後にカンマを入れる。 で、やってみっぺ。 >>> print "a","b", a b >>> print "a","b" a b トップレベルからでは改行されているのかされていないのかわからない・・・。 文字列フォーマットとprintステートメントのあわせ技 >>> print "Hello, %s" % "abc" Hello, abc >>> ふーん。 同じことをsys.stdoutを使ってやってみる。 同じことをするにはsysモジュールをimportする。 >>> import sys >>> sys.stdout.write('Hello, abc\n') Hello, abc うむ。できた。 出力先を変更する例 printス
日本語の文章を単語に分割するには形態素解析を使います。日本語の形態素解析には、ChaSen、MeCab、Yahoo!形態素解析などがあります。ナイーブベイズを用いたブログ記事の自動分類（2010/7/3）でMeCabをPythonから使う方法を簡単にまとめましたが、MeCabはよく使うので再度まとめ直して独立したエントリにしました。Yahoo!形態素解析の使い方は、Yahoo!形態素解析API（2009/4/15）で書きました。 Windowsへの導入方法 MeCabは高性能な形態素解析モジュールでPython、 Ruby、Perl、Javaなどさまざまな言語から使えます。Mac OS XとLinuxでは簡単にコンパイルしてインストールができるのですが、WindowsではMinGWやVisual Studioのインストール、コードの修正が必要でかなり面倒くさい。そこで、Pythonモジュー
2010/11/05 pylabでMemoryErrorが消えなかった原因がようやくわかった！ なんか、Python 2.6でMatplotlibのサンプルを動かそうとしたら、変なエラーが出て困った。結果からいうと、 C:\Python26\Lib\site-packages\matplotlib にあるfont_manager.pyに local = None という1行を加えるだけで解決するんですが、これがなかなかGoogle検索で出なくって、フォントが壊れてるだかなんだか、いろいろやる羽目になりました。 for fontdir in MSFontDirectories: try: local = _winreg.OpenKey(_winreg.HKEY_LOCAL_MACHINE, fontdir) except OSErro
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く