こんにちは、みかみです。 やりたいこと Google Apps Script（ GAS ） から BigQuery を操作するにはどうすればいいのか知りたい GAS で BigQuery のテーブル定義書をスプレッドシートに出力したい GAS をスケジュール実行して、定期的にテーブル定義書を更新したい Step1：BigQuery テーブルデータをスプレッドシートに出力 とりあえず、Google Apps Script を動かして、BigQuery のテーブルデータをスプレッドシートに出力してみたいと思います。 新しいスプレッドシートを開いたら、「ツール」タブから「スクリプトエディタ」をクリックします。 Apps Script 画面が開くので、「サービス」から「BigQuery API」を追加します。 エディタに以下のスクリプトを入力しました。 function runQuery() {
こんにちは、みかみです。 テーブルやインデックスチューニング不要で大量データでも十分な処理速度が確保できるという便利な BigQuery ですが、知らないうちにすごいお金かかったりしていないか、やはりいまだにちょっと心配。。 やりたいこと BigQuery では、ストレージ使用量と SQL クエリの処理データ量に対して課金が発生します。 BigQuery の料金 ｜ BigQuery ドキュメント 保存が必要なデータの精査や処理内容の検討、SQL クエリのチューニングなどでもコストの最適化が見込めますが、その他、BigQuery の利用料金を気を付けるには、どんな方法があるのか確認したい。 クエリ実行前に --dry_run で処理データ量を確認 --dry_run オプションで、実際にクエリを実行すると処理データ量はどのくらいになるのかを事前に確認することができます。 ストレージとクエリ
はじめに みなさんGoogleのBigQuery使ってますか？とても便利なのでこちらの記事でも紹介させて頂いたように弊社でもほぼ全てのデータをBigQueryに入れて分析しています。 RubyからBigQueryを扱うGemは以前からいくつか存在しているのですが、現状の最新(2017年1月時点)ではどう扱うのが一番良いのかをまとめておきます。 BigQueryを扱えるGem達 abronte/BigQuery Googleで検索すると一番上に出てくるのでこのGemを利用している人も多いと思います。 しかし、2016年になってからあまりメンテされている様子はありませんので、利用は控えたほうが良いでしょう。 google/google-api-client-ruby こちらのGoogleが提供しているgoogle-api-client-rubyを最新版にしてBigQueryのインターフェースを
This document discusses various tools used for data pipelines including Digdag for workflow automation, BigQuery for data storage and analysis, and Tableau, Python, and R for visualization and reporting. It provides examples of using these tools together including loading data from MySQL to BigQuery, partitioning BigQuery tables, and altering tables. It also briefly mentions other related tools li
BigQueryにデータをインポートする際はBigQuery Streamingを利用するfluentd-plugin-bigqueryがとてもとても便利ですが、BigQuery Streamingは来年から有料になります。 ストレージの課金が容量(GB)単位なのに対してBigQuery StreamingはInsertされた行数(0.01＄/10万行)単位で課金されるようになるのでデータの流量が多いサービスを運営している場合はその費用が気になるところです。 なのでfluentd-plugin-bigqueryと比べると自動化するのが少々面倒ですが、BigQueryにデータをバッチでインポートする方法を考えてみます。 BigQueryにデータをインポートする 例えばFluentdで集約したアクセスログを1時間毎に区切ってgzip圧縮して保存したファイルをBigQueryにインポートするとし
あけましておめでとうございます。データサイエンティストの金田です。現在 iQON では、データ分析の基盤として BigQuery を利用しており、データ分析や計算負荷の高いバッチ処理等に活用しています。しかしながら、通常のデータベースとは若干異なる点があり、効率的な運用ができるまでに様々な試行錯誤がありました。今回はそれらの試行錯誤によって得られた知見をベストプラクティスとして紹介したいと思います。 ログデータのテーブル名に日付を入れる BigQuery でログを保存する場合は、テーブル名の最後に yyyymmdd 形式で日付を入れることをお勧めします。理由は二つあり、１つ目はスキャン対象となるデータ量を抑えられるため、２つ目が Web UI でのテーブル管理が容易になるためです。 処理データ量の抑制 まず、スキャンするデータ量を抑えられるという点ですが、BigQuery ではクエリを発行
Google BigQueryは超高速でクエリを実行できて便利であるが、結局のところExcelデータでください、みたいなことを言われたりして面倒なことがある。こういったとき、Google BigQuery Connector for Excelを使用すれば、Microsoft Excelから直接Google BigQueryにクエリを発行し結果を取得することが出来る。 BigQuery Connector for Excel - Google BigQuery - Google Developers BigQuery Connector for Excelを準備する BigQuery Connector for Excelを使用するには、ページにアクセスし専用の認証キーを発行する必要がある。 Google BigQuery Connector for Excel BigQuery Conn
BigQueryを運用していると、どのユーザがどれだけコストを使用しているのか知りたいことがある。 そこで、その方法について以下のページに記載されているので実際に試してみる。 https://cloud.google.com/bigquery/audit-logs Cloud Audit Loggingを有効にする Cloud Audit LoggingはGCPによって提供される使用率のログを収集する。BigQueryのAuditログは"Administrative Activity"と”Data Access”のログから構成されている。 GCPコンソールでLogsViewerからExportを選択し、出力先のBigQuery Datasetを指定する。これにより、AuditLogがBigQueryに出力されるようになる。 AuditLogに対してクエリを実行し、ユーザ毎の使用コストを算出
こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは様々なログデータの分析にBigQueryを使用しています。 インデックスについて何も考えなくても良いのが特に便利です。 さて、そんなBigQueryですが、数か月前にStandard SQLという新しい仕様のSQLがサポートされました。 BigQuery 1.11, now with Standard SQL, IAM, and partitioned tables! VASILYでも徐々にStandard SQLに移行をしているので、使い勝手や従来のSQLからの移行方法についてまとめておきます。 Standard SQLとは SQL:2011に準拠しつつ、配列や構造体等の構造化データを扱えるように拡張されたSQLです。 Standard SQLの登場によって、以前からあったSQLはLegacy SQLと呼ばれるよ
13. 課金の対象 ストレージ - $0.020 per GB / month クエリ - $5 per TB processed (scanned) ストリーミングインサート - $0.01 per 100,000 rows until July 20, 2015. After July 20, 2015, $0.01 per 200 MB, with individual rows calculated using a 1 KB minimum size. 注目すべきはストレージ 14. 簡単な例 1TBのテーブルを毎日ロード、それぞれを一ヶ月間保持 日々のデータを毎日5回スキャンして集計 ストレージ : 1TB * 30 (tables) = $0.020 * 1000 * 30 = $600 クエリ: 1TB * 5 (Queries) * 30 (days) = $750
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2015/02/15 書き直しました！サーセン！ 安すぎて今までその考えはなかったわwww さて、BigQueryの課金について。 今まで1テーブルあたりのデータ量も数十GBレベル、レコード数も億に届くかどうかぐらいのデータなんでクソクエリ回したところで1回1円未満とかそんなだったので、あんまり気にしなかった。（まぁ、使い始めた頃は5倍ぐらいの値段だったので気にするレベルだったのですが） あと、GoogleAnalyticsPremiumも入っているし、毎月$500が免除されるためもっと気にしてなかった。w でも、普通に契約するとお金が
Exporting Data From Bigquery の機能を使って BigQuery のテーブルを GCS (Google Cloud Storage) に JSON Export する時の挙動をまとめておく。 書いてある仕様 ref. https://cloud.google.com/bigquery/exporting-data-from-bigquery BigQuery でエクスポートできるデータはファイルごとに最大 1 GB だが、gs://my-bucket/file-name-*.json のようなワイルドカード指定すると、複数のファイルに分けてエクスポートできる。 (GCS に書き込むので当然) Developer Console で BigQuery API に加えて GCS API を有効にしてもらう必要あり (GCS に書き込むので当然) GCS への writ
仕事で BigQuery のクエリの結果を共有用のフォルダに Google Sheets 形式で保存して、Slack で URL を共有する、ということを頻繁にやっているのですが、 WebUI だと、クエリ結果を Google Sheets 形式で保存できるけど、ファイル名とフォルダが指定できないので、いちいち名前を変えて、フォルダを移動しないといけない。Slack 通知はできない。 Google Apps Scirpt (GAS) だと、全部実現できるけど、コードの管理を GitHub でやるのが面倒 と定形処理なのに、イマイチ効率の良い方法がなかったのを、tumugi で Ruby スクリプト化しました。 tumugi について詳細に知りたい方は、Ruby と tumugi によるデータパイプライン構築 をご覧ください。 タスクを分割して、定義する 「BigQuery のクエリ結果を
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最初は安く収まっていた BigQuery の費用もだんだん膨らんできた ので、自分（社内）用にまとめたものです 広告事業（アドネットワーク）のログを BigQuery に入れているので、それなりにデータ量も増えてきて、こういうことも考えていかないといけなくなってきました どの操作にお金がかかるのか データを保存しておく データを Streaming Insert（≒ 追加）する データを走査して取得する クエリを発行する データの保存 $0.020 per GB, per month 1 TB を 1 ヶ月保持すると、$20 かかる デ
こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。 この記事に書かれる事 データ分析基盤としてBigQueryを使用した話と データ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。 データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳 マネーフォワードの家計簿は350万人以上のお客様に利用いただき、 アクセスログは日々2.500万件程度増えております。 サービス開始から
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く