Google Appengine 1.4.3 水曜日に Google Appengine 1.4.3 がリリースされました！ 1.4.1 と 1.4.2 はブログ記事を書くほど 大きくはなかったのですか、 1.4.3 はまたいろいろ入っているので、ご紹介します。 Prospective Search API 以前、 Matcher API のブログ記事 を書きましたが、 Trusted Tester リリースで出ていた Matcher API は 「Prospective Search API」という名前で開発者全員にリリースされています。 まだ、Labs機能で、正式リリースではない様ですけど、 モジュール名が変わっています。 from google.appengine.api import prospective_search def add_tweet_alert(user, twee
Google App Engineで大量データを処理する場合、特別な配慮が必要になります。処理時間の制限など、独特の制約に引っ掛かる恐れがあるからです。 大量データを扱うケースとして、テーブルのスキーマ変更、検索結果のダウンロードなど、データの一括処理という三つについて、それぞれの設計ノウハウを解説します。 スキーマのバージョンをフィールドに持つ 一つ目の設計ノウハウは、テーブルのスキーマを変更する際に効果があるものです。 稼働中のシステムにおいて、機能を追加・変更する際、テーブルのスキーマ変更が必要になる場合があります。スキーマの変更に備えて、Google App Engineでは、RDBベースの場合とは違った設計が必要になります。「スキーマのバージョンをフィールドに持つ」というものです。 Datastoreはそもそも、同じテーブル内で、異なるスキーマのレコードが混在していてもかまわない
XMPPってなんだ？ よくわかっていないのだが，インスタントメッセージを標準化しようというプロトコルらしい．こちらに非常によくまとまっているのだが，プロトコルとしてはメイルにかなり近いようだ．アドレスもメイルと同じ表現で，XXX@domain.nameと書く．サーバをDNSで引いてそこに送りつける，という部分も同じ． これをGAEで使うとなにができるようになるか，というと，Google Talkなどから情報を入れたり，Google Talkにノーティフィケーションを出したりすることができる．たとえば，予定管理アプリなら，時間になったらIMが飛んでくる，みたいなことができる．私のように常にGmailを開いているものには便利だろう． 以下はApp Engineのページを参考にまとめてみる． アドレス GAEアプリには アプリID@appspot.com というアドレスが自動的に与えられる．また
XMPPはインスタントメッセージのプロトコルで、Google Talkが使っています。 今後はGoogle Waveの基盤としてますます重要性が増す要注目のテクノロジです。 そして！ついに！Google App EngineがXMPPをサポートしました！ Google App Engine Blog: App Engine SDK 1.2.5 released for Python and Java, now with XMPP support そこかしこでGAEのXMPPサポートに賞賛の声が。 「Google App Engine SDK 1.2.5」リリース メッセージングのオープン標準「XMPP」をサポート：CodeZine App Engineと使うXMPPサーバーを探す - スティルハウスの書庫 XMPP on Google App Engine - hidemonの日記 civ
あまりテストをしてないけど、少なくとも100倍くらい速いし、まず時間かけ過ぎで落とされない。これはとても大きい。 以下、コード def uniqueInverseIndex(feed_id, text): try: ngram = NgramTokenizer(feed_id, text) ngram.setNgramArr(2) except: response.out.write('NgramTokenizer make instance is faild') try: for i in ngram.getNgramArr(): InvIndex = InverseIndex.get_or_insert( "_" +i['word_text'], word_text=i['word_text']) InvIndex.feed_id.append(db.Text('%s:%s'%(i['
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
7月9日、オラクル青山センターにて、「第2回 クラウド勉強会」が開催されました。筆者は進行を担当させていただきました。本稿では、本勉強会のレポートをお届けします。 「クラウド勉強会」の概要 クラウド勉強会は、様々なクラウドサービスについて総合的に学べる勉強会として3月24日に、はじめて開催されました。第1回の勉強会では「クラウドっておいしいの？」という発表から始まり、Amazon EC2、Google App Engineを使ったWebアプリケーションの構築事例などが発表されました。 その後、地方にも派生し、北陸で「クラウド勉強会 in 北陸 第一回」が開催され、大阪、名古屋でも開催が見込まれてると伺っています。 今回の第2回クラウド勉強会は、クラウドサービスの紹介の他に、クラウドを支える技術にもフォーカスしました。なお、今回の会場は、日本オラクル株式会社様に提供していただきました。 「
こんにちは、某Perl界隈のIRCチャンネルでPythonがマイブーム的なKY誤爆をしてしまったtmaesakaです。 先日、以前から興味のあったGoogle App EngineとMemcache APIについて少し調べ、こちらに英文で報告したのですが、今日は日本語で要約したまとめを紹介します。 まず軽く前置きですがGoogle App Engine (GAE)とは、Googleが提供しているウェブアプリケーションをGoogleのインフラ上でスケーリングや冗長化など、ある程度のノウハウや資金を要求される面倒な事を気にせずに運営できるプラットフォームです。つまり、典型的なPaaSの例であり、サービスの運営コストをelastic（伸縮）にします。昨今バズワード化しつつあるクラウドコンピューティングの一種でもあります。 GAEのインフラはGoogleより提供されているAPIセットを用いて利用し
Java Cloud Meeting Tokyo 2010に行ってきた。いろいろ聞いてきたけど、id:higayasuo さんのセッション「Google App Engineの本質とSlim3による進化したサクサク開発」だけ軽く書き取ってきた。 今日は予定を変更して、AppEngineの本質の話を全体的にやります。 AppEngineで誤解されがちなところ py/javaどっちがいいの？とか みんな結構気になっていて、pyマンセーみたいにチラホラ出ている 本当のところもあれば誤解されているのもある。 今日はAppEngineはこういうもんだと全部理解して帰ってほしい 1.クラウドの本質 皆さんも考えてみてください。１分くらいあげますんで。 世の中の記事とか本とか、buzword的に取り上げられているけど 自分にとってのクラウドの本質って 一般的にはスケールアウトと言われているのが多いと思い
前回のGoogle App Engine for Javaを使って無料でサイトを立ち上げる方法のつづきです。 今回は、GAE/Jで利用できるslim3を使ってプロジェクトを作成し、実際にデプロイするところまで紹介します。 1. プロジェクトを作成 1.1. slim3のダウンロード Downloadsにアクセスします。 slim3の最新アーカイブを選択します。2010年2月9日時点では、「2010/02/02版」が最新ですので、[slim3-blank-EA1-SNAPSHOT-02022010.zip]リンクをクリックします。 1.2. slim3のインポート ダウンロードしたファイル「slim3-blank-EA1-SNAPSHOT-02022010.zip」をEclipseのワークスペースにインポートします。Eclipseのメニュー[File]-[Import]を選択します。 Imp
こっちは本物のMapReduceだ！ グーグルがAppEngine-MapReduceをオープンソースで開発中 グーグルはGoogle App Engine上でMapReduce処理を実現するオープンソースを開発中だと、先日行われたイベントGoogle I/Oで明らかにしています。プロジェクトのホームページもGoogle Code上に「appengine-mapreduce - Project Hosting on Google Code」として公開されています。 Reduce処理やJava版はこれから 1つ前の記事「グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作」では、グーグルがSQLライクな命令を用いて大規模データ処理のサービスを提供することをお伝えしました。 記事でも書いたとおり、これは内部でMapReduceを使っているかど
App EngineをjQueryでAjax化しBigtableをCRUD操作：Google App Engineで手軽に試すJavaクラウド（3）（1/4 ページ） BigtableはCRUD処理ができるんです！ 連載第1回の「EclipseでJava版App Engineを始めるための基礎知識」では環境設定が中心でしたが、連載第3回となる今回は、「Google App Engine for Java（以下、GAEj）」上で動作するJSPのユーザーインターフェイス（以下、UI）をAjax/JavaScriptでリッチにし、「Bigtable」でCRUD（登録・参照・更新・削除）処理を行ってみます。 今回の解説では、Ajax/JavaScriptライブラリのjQueryのバージョン1.3.2を使用したCRUD処理画面の操作内容と、そのJavaScriptでのプログラム処理を最初に見ていき、
俺「新しいアプリだよ。さぁ、デプロイするからAppSlotを解放するんだ…!」 appengineたん「で、でぷろい…ですか…?こんなおっきなあぷり…は、入るかな…?」 俺「今日はScalaを使ったアプリケーションなんだよ」 appengineたん「Scalaなんて…そんな変態的なこと…で、できません ///」 俺「もう遅いよ。どうだ? どんどんアプリがアップロードされていくぞ!」 appengineたん「は、入りました…。こんなおっきなアプリケーション…あついです…」 俺「よしテストだ。どんどんリクエストをおくってやるからな」 appengineたん「そ、そんなにリクエストされたら…らめぇっ!!SpinUpしちゃうぅっ!!」 俺「まだまだいくぞ。おらっ!データストアにputしてやるっ!」 appengineたん「らめぇぇ!あっ、あふれちゃうっ!!データが…quotaからあふれちゃうよぉぉ
2010年02月24日22:34 カテゴリGoogle App Engineサイト構築 GAE/Jで運用中に発生する例外（と一部対処法） App Engineでのアプリケーション実行中に私が遭遇した不測の例外やエラーについて、原因と（一部のみですが）対策を書いてみます。 あくまでも個人的な経験に基づくもので、多分に推測を含みますが、多少ともお役に立てば幸いです。例外の種類は随時追加したいと思います。コードの誤りや、よりよい対策などがあれば、お知らせ頂ければ幸いです。 今回記述した例外、エラーの種類 DatastoreTimeoutException ApiProxy$UnknownException ApiProxy$CapabilityDisabledException GCacheException DeadlineExceededException ConcurrentModific
GAEのJDOのモデルは、ざっくりいうと4種類の状態があります(本当はもっといっぱいあるけど、4つをおさえておけば普通はOK)。 transient persistent detached hollow モデルをnewして、PersistenceManager#makePersistent()を呼ぶまでは、transientです。 PersistenceManager#makePersistent()がよばれるとpersistentな状態です。persistentなモデルの状態は、PersistenceManagerをcloseするかTransactionをcommitしたときに、データストアに反映されます。 PersistenceManagerをcloseしたときからが、運命の分かれ目。何の設定もしないとhollowになり、lazy loadingされているオブジェクトに触ろうとするとエ
昨日一昨日、Google App Engine (GAE)に関する日本最大の勉強会（だと思う）appengine ja night #7 (ajn7)が行われました。 その中で『ランキング問題』が話題に上がりました。『ランキング問題』とは、何十万件もの点数のデータがあるときに、App Engine上で、「◯点は何位です」と高速に求めることは難しい、という問題です。（◯ページ目を表示、というページングもこれと同じ種類の問題になります。） ajn7では「上位でない限り正確な順位は必要ないのではないか」という話になりましたが、Skiplistを用いた検索アルゴリズムを使えば正確かつ高速に順位を求めることができるのではないかと思い、実装＆検証してみました。 ランキング（順位取得）のデモ 下記ページで順位取得のデモを動かしています。スコア（点数）を入力すると順位と取得にかかった時間が表示されます（時
Tagtterをリリースして、初期は「CPU Quota」連発してしまい見苦しい状態でした。ごめんなさい。 さて、一時はどうなるかと思いましたが現在は「CPU Quota」も表示される事無く動いています。 今日はこの状況を乗り切る際に行った「Google App Engine」のパフォーマンスチューニングtipsを3つほどご紹介。 webapp.WSGIApplicationのdebugフラグはFalseにすべし いきなり当たり前で申し訳ないですが、実はこのフラグがTrueかFalseかというだけで「CPU Quota」が出る頻度が極度に異なります。 実際に同じ症状の方もいらっしゃる様なので、おそらく間違いありません。 また公開する様なシステムでは、パスワード等も管理される事になるかと思いますが、debug=Trueだとスタックトレースに変数の値が表示されてしまい無茶苦茶危険です。気を付け
本サーバのログを見ていたらCPU警告だらけになっていたので、チューニングして効果のあったものを記録していく。 参考にしたページGoogle App Engineを高速化する3つのtipshttp://mattn.kaoriya.net/software/lang/python/20080526182049.htm ディスク＜帯域＜CPUの順に制限がキツくなるGoogle App EngineのQuota構成から見るコストパフォーマンスの高いシステム構成http://coreblog.org/ats/now-we-are-free-from-qota-hell Google App Engineのmemcacheを試してみたhttp://taichino.com/programming/487 Google App Engineのmemcache APIがやばすぎるhttp://mattn.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く