数日前、著名なライターで開発者でもあるZed Shawが “The Case Against Python 3”（Python3を使うべきでない場合） というブログ記事を書きました。私はZedの功績にとても敬意を払っているし、彼の（ Learn Python the Hard Way ）という本の手法は、 私の本 に非常に似ているので、私はいつも、 私の講座 を受講しようとしている人には予習するときに彼の本を読むように伝え、講座を修了した後に練習を積みたい人には復習するときに読むように伝えています。 ですから、今回のPython 3に関するZedの記事が私には賛同できないものだったことは、とても残念でした。 説明しましょう。私の仕事の90％は、さまざまな大企業でのPython講師としての仕事です。幅広い背景に対応して、クラスは「プログラム未経験者のためのPython」や「Python入門」
pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, built on top of the Python programming language. Install pandas now!
James Aylett: Running statsd on Heroku Published atThursday 18th April, 2013 Accessibility Advent: normal accessibility advice still applies Fun with Django storage backends statsd is a “simple daemon for easy stats aggregation”: you send it stats whenever you can (such as when rendering a web page), and it aggregates them internally and passes them upstream to something that can store them and ma
Python でウェブページから必要なデータだけ取得する方法をご紹介します。 この ”ウェブサイトから必要なデータだけ取得する” ことを「スクレイピング」と呼びます。 「スクレイピング」 = ウェブサイトのデータを必要な部分だけ抽出して利用すること を頭に入れておけば、あとは「Python スクレイピング」で検索すればたくさん参考になる記事が出てきます。 早速、下記のサイトを参考にしてやってみました。 Google app engineでBeautifulsoupを使う - Web就活日記 BeautifulSoup という Python のライブラリを使えば簡単にできるみたいですね。すごい。 #!/usr/bin/env python # -*- coding: utf-8 -*- import urllib2 from BeautifulSoup import BeautifulSou
以前、BeautifulSoupでのスクレイピングのまとめを書きましたが、ベンチマークを取ってみるとlxmlの方が圧倒的に速いので、lxmlが使えるならlxmlを使った方が良いです。それで久々にlxmlを使おうとしたら、例によって全く覚えていなくて悲しいのでメモ書きです。 基本的にはXPathを使いまくるだけです。BeautifulSoupとかに比べると、正規表現の指定方法が複雑ですね。ハマりポイントは以前も少し書きましたが、positionを指定する際に、//(descendant-or-self)とdescendantは違うという事です。直感的ではないのですぐ忘れてしまいます。注意しましょう。 #!/usr/bin/env python # -*- coding: utf-8 -*- import lxml.html html = ''' <html> <body> <div id="
Amazonで欲しい物がありました。 その商品は値段の乱高下激しく、ある時は6,000円台、またある時は4,000円台の事もある商品でした。 そこで僕は底値を探るべく、値段が下がった事を知らせてくれるシステムを作ろうと考えました。 という事で今回作ったシステムの概要を説明します。 ■ システム概要 1. 欲しい商品のhtmlを取得。 2. 価格の部分を抜き出す。 3. 過去と現在の価格を比較して処理 という仕様を組みました。 ■ 1.欲しい商品のhtmlを取得 まずは欲しい商品のhtmlを取得する際に使ったプログラムを示します。 プログラミングに使う言語はPythonを使いましたよ。 ちなみに欲しかった商品はコレ import urllib2 f = urllib2.urlopen('http://www.amazon.co.jp/%E3%82%A2%E3%83%87%E3%82%A3%E
これまで，Pythonによる初めてのコーディングと，RDB（リレーショナル・データベース）をオブジェクトとして扱うデータベース・プログラミングについて簡単に紹介しました。今回は，Pythonを使ってWebの情報を自動取得するスクレイピング・プログラム（WebサイトのHTMLを抽出・解析して情報を取得）の作成にチャレンジしてみましょう。 ところで前回までは，WindowsからLinux（Ubuntu）にリモートログインして開発をおこなっていました。今回からは一歩踏み込んで，クライアントにMacを採用して本格的な開発の環境を用意してみることにします。 Macを利用する意義 開発環境をMacにするメリットは以下の通りです。 Mac OS XはUNIXであり，UNIX/Linux環境はスクリプト言語の開発に適している 最新のPythonがはじめからインストールされている EmacsやVimなど強力
1. Beautiful Soup でデータを取得 気象庁の過去のデータから、特定の値を抽出したい。 Python で簡単なテキスト処理 (2) - データの抽出 においては、ブラウザ上でコピーした文字列 (データ) を、Python のソースコードに貼り付け、必要なデータを抽出した。 今回は、Python で Web にアクセスし、必要なデータを抽出してみる。 Python では、urllib2 を利用すると、 HTTP の POST メソッドを送信することができる。 cf. Python で POST - 掲示板の迷惑投稿を一括削除 ただし、urllib2 を使うのは面倒。代わりに、 Beautiful Soup を利用する。 cf. Panopticon :: Python :: BeautifulSoupを触ってみる 2. スクレイピングとは スクレイピングという言葉は、Ruby
RubyでWebスクレイピングするためのサンプルを読んで。標準ライブラリを使って正規表現で無理矢理に。でも大抵これで不便しないから不思議。 import re, urllib2 model_number = 'L32-V09' res = urllib2.urlopen("http://kakaku.com/search_results/%s"%model_number) html = re.sub(r"\r{0,1}\n{0,1}","",res.read()) min_price = re.findall(r"item clearfix.*?price clearfix.*?yen.*?><a.*?>.*?;(.*?) .*?<",html)[0] print min_price
はじめに あけましておめでとうございます。今年もPython界の江古田ちゃんとして頑張っていく所存です。さて id:nishiohirokazu が5分でPythonは便利だと思える記事を元旦から書いていました。 「ほえー、さすが西尾さんや」って思ってたら、西尾さんが「おい山口、5分でPython便利だなーって思える記事書けや」っていう無言の圧力をかけてきたので*1 *2なんとなく書きました。 「5分で」っていうのが読者が読む時間なのか、筆者が書く時間なのかがわからなかったので前者ということにしました。5分で記事とコード両方書くとか無理や。 こんなことないですか 「Webでスクレイピングしたいよー、てへへ。だけど文字コードとかがページごとにバラバラでマジしんどいっす。しかもタグ抜き出すのとかめちゃめんどいっす><」ってことはあったりしませんか？ リンクのタイトルとかも綺麗に抜き出したいなー
Welcome to the Python Packaging User Guide, a collection of tutorials and references to help you distribute and install Python packages with modern tools. This guide is maintained on GitHub by the Python Packaging Authority. We happily accept contributions and feedback. 😊 Overview and Flow# Note Building your understanding of Python packaging is a journey. Patience and continuous improvement are
About web.py web.py is a web framework for Python that is as simple as it is powerful. web.py is in the public domain, you can use it for whatever purpose with absolutely no restrictions. Install web.py To install the latest web.py for Python 3, please run: The latest 0.62 release supports Python >= 3.5. Version 0.51 is the last release with Python 2.7 support. A minimal web.py application Save co
¶ Tornado is a Python web framework and asynchronous networking library, originally developed at FriendFeed. By using non-blocking network I/O, Tornado can scale to tens of thousands of open connections, making it ideal for long polling, WebSockets, and other applications that require a long-lived connection to each user. Quick links¶ Current version: 6.4.1 (download from PyPI, release notes) Sour
Welcome to Pecan, a lean Python web framework inspired by CherryPy, TurboGears, and Pylons. Pecan was originally created by the developers of ShootQ while working at Pictage. Pecan was created to fill a void in the Python web-framework world – a very lightweight framework that provides object-dispatch style routing. Pecan does not aim to be a "full stack" framework, and therefore includes no out o
Welcome to Flask¶ Welcome to Flask’s documentation. Get started with Installation and then get an overview with the Quickstart. There is also a more detailed Tutorial that shows how to create a small but complete application with Flask. Common patterns are described in the Patterns for Flask section. The rest of the docs describe each component of Flask in detail, with a full reference in the API
Bottle: Python Web Framework¶ Bottle is a fast, simple and lightweight WSGI micro web-framework for Python. It is distributed as a single file module and has no dependencies other than the Python Standard Library. Routing: Requests to function-call mapping with support for clean and dynamic URLs. Templates: Fast and pythonic built-in template engine and support for mako, jinja2 and cheetah templat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く