Puppeteer は、ウェブページでの人間の操作をシミュレーションできる強力なツールであり、ウェブページのスクリーンショット、PDF生成、自動テスト、稼働監視、ウェブスクレイピング、コンテンツ追跡など、さまざまなユースケースに対応しています。 Puppeteer をクラウドで運用することが適しているシナリオは数多くあります。例えば： CI/CD パイプラインで API を使用して自動テストをトリガーする。 定期的にウェブサイトの可用性を確認するために cron ジョブを使用する。 大規模で分散型のウェブスクレイパーを実行する。 従量課金制でスケーラブルなサーバーレスコンピューティングは、ブラウザの自動化タスクに非常に適しています。しかし、DigitalOcean のようなほとんどのプラットフォームは仮想マシンしか提供しておらず、アイドル時間に料金を支払う必要があり（多額の費用が無駄になり
作ったものフロント側は全く作ってないんですが、私が住んでいるバンクーバーのFront End Developerの平均給与をいくつかのサイトからスクレイピングしてFirebaseのデータベースへ格納するといったとてもシンプルなものを作りました。日本ではどれぐらいあるのかわからないんですが、こっちだとポジションの平均給与がユーザーからの自己申請で出てます。調べてて思ったんですが、サイトによってすごくばらつきがありました。 後々フロント側を作って公開しようと思います🚀 Firebase FunctionsFirebase Functionsっていつも個人的には読んでるんですが、正式にはCloud Functions for Firebaseです。Google Cloud Platformのサービスの一つCloud FunctionsをFirebaseと連携させる感じですね。基本的にはFire
WSL2@2.0.9.0 Ubuntu@22.04 概ねクラスメソッドさんの記事で見つけた内容で、僕の環境でインストールが必要だったものです。他の環境の場合他にインストールが必要になる可能性もあるので、その場合は先の記事を参照してインストールしてください。 sudo apt install -y libnss3 libatk1.0-0 libatk-bridge2.0-0 libcups2 \ libxkbcommon0 libxcomposite1 libxdamage1 libxfixes3 libxrandr2 \ libgbm1 libpango-1.0.so.0 libpango-1.0-0 libcairo2 \ liboss4-salsa-asound2 libasound2
先日、GAEとCloud Functionsでpuppeteerを動かすコードを紹介しているエントリが公開されました。 cloud.google.com puppeteer、というかChromeを動かすためには実は様々な依存ライブラリをインストールする必要があるのですが、Cloud Functionでは環境そのもののカスタマイズはできなかったので今まではpuppeteerを動かすことはできませんでした。 GAEとCloud Functionでnodejs 8が使えるようになったのと同時に、実行環境のベースのイメージが新しくなった（Ubuntu 18.04とのこと）のでpuppeteerが使えるようになったようです。 ちょっと試してみる分には、先程の記事のソースコードがgithubにアップされているので自分のGCPのプロジェクトにデプロイすることで動くことが確認できると思います。 ただFir
Node.js v18、Puppeteer v22とCloud Functons for Firebase Gen2 環境でスクレイピングする最小構成を作ってみます。 GitHub にプロジェクト全体のコードが置いてあります。 インストール Firebase プロジェクトの作成と firebase init までの作業は省略します。 スクレイピングするための puppeteer とローカルに Chromium をダウンロードしてインストール先のパスを動的に取得できるようになる puppeteer-chromium-resolver をインストールします。 Puppeteer は v19 から node_modules 内に Chromium をダウンロードしないように破壊的変更されたため、Cloud Functons for Firebase 上で実行時に Chromium が見つからない
この記事を書いた人 石田正泰 中学生の時に趣味でZ80マシン語やFortran等を始めてから、現在まで数多くのプログラミング言語を経験。ShopifyによるECサイト構築では主にカスタマイズを担当。 はじめに Google Cloudのサービスの一つであるGoogle Cloud Platform(GCP)のCloud Functions、特にFirebaseのCloud FunctionsはFirebase CLIで簡単にエミュレートしたりデプロイしたりが出来るので、API等をサクッと作る上でとても便利です。 最近、APIの無いサイトから定期的にダウンロードした最新データを利用する必要ができ、そのスクレイピングにPuppeteer(パペティア)を使用しました。Cloud FunctionsやAWS Lambda等FaaSでのPuppeteerの使用方法については他サイトに詳しく載っている
The Workers Browser Rendering API allows developers to programmatically control and interact with a headless browser instance and create automation flows for their applications and products. Once you configure the service, Workers Browser Rendering gives you access to a WebSocket endpoint that speaks the DevTools Protocol ↗. DevTools is what allows Cloudflare to instrument a Chromium instance runn
npx wrangler kv:namespace create BROWSER_KV_DEMO npx wrangler kv:namespace create BROWSER_KV_DEMO --preview #:schema node_modules/wrangler/config-schema.json name = "jmobile-puppeteer" main = "src/index.ts" compatibility_date = "2024-04-23" compatibility_flags = ["nodejs_compat"] browser = { binding = "MY_BROWSER" } kv_namespaces = [ { binding = "BROWSER_KV_DEMO", id = "",preview_id = "" } ] impor
Last year, we announced the Browser Rendering API – letting users running Puppeteer, a browser automation library, directly in Workers. Puppeteer is one of the most popular libraries used to interact with a headless browser instance to accomplish tasks like taking screenshots, generating PDFs, crawling web pages, and testing web applications. We’ve heard from developers that configuring and mainta
Node.jsにはPuppeteerという画面を表示せずにChromeを扱えるライブラリがあります。それを利用し、URLをパラメータとして与えるだけでスクリーンショットを画像としてブラウザで表示させることができるサーバーアプリケーションを作成しました。 実際にこのような画像が作成できます。例として下記はボード内投稿にコードを入れた場合に表示される画像です。 下記は記事の画像です。 HTML, CSSから生成しているためドロップシャドウとかもこんな感じで簡単に効かせる事ができています。 GitHubで公開していますので、とりあえず使って見たいという方は記事を読み飛ばして最後の方にあるリンクをご利用ください(こらえきれぬ涙で頬を濡らしながら) 何が便利なのか WebサービスのURLをTwitter等でシェアするだけで、URLだけでなくツイートに画像も表示されるのをよく見ると思います。 これは画
こんにちは、薦田です（@toshiya_komoda）。 今回はChromeブラウザのブラウザテスト自動化ツールであるPuppeteerに関するTipsを紹介します。 Puppeteerによるフルページスクリーンショット Puppeteerは、Chrome DevTools ProtocolのNode.jsクライアントであり、Chrome DevToolsチームがメンテナンスしています。 その主な用途の1つにブラウザ自動テストが挙げられます。 PuppeteerはChromeの操作に特化しており、操作対象がChromeに限定されるもののSeleniumにはない便利なAPIを利用できます。 Puppeteerで利用できる便利なAPIの1つに、フルページスクリーンショットがあります。 フルページスクリーンショットとは、ウェブページの上端から下端までを1つなぎの画像としてスクリーンショットを撮っ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く