TiDB is an open-source distributed SQL database that supports Hybrid Transactional and Analytical Processing (HTAP) workloads. Find the guide, samples, and references you need to use TiDB.
ZOZO Advent Calendar 2022 カレンダー Vol.3 の 9 日目の記事です。 久しぶりのブログ更新になります。前回からだいぶ時間が空いてしまったので定期的に書けるようにしていかないとと反省しています。。 NewDBと呼ばれる新しいデータベースが登場し利用事例が増えてきました。その中でもMySQL互換のTiDBについて耳にする機会が増えたので、MySQLとの機能比較を行ってみました。DB選定や移行検討の際にお役に立てれば幸いです。 TiDBとは TiDBはPingCAP社が開発した分散型データベースで、RDBMSとNoSQLの機能を組み合わせたデータベースです。 MySQL互換のSQL解析機能を持っているためアプリケーションからはMySQLと同様のアクセスが可能であり、水平方向のスケーラビリティ・協力な一貫性・高可用性を兼ね備えています。 pingcap.co.jp
JPYC株式会社でエンジニアとして働いています、@hayato_omrです。 会社の業務でも使うことになったGoogle Cloud Runを少し触ってみたのでざっと内容を書いていこうと思います。 初心者エンジニアなのでミスってたりここ違うぞって部分があれば教えていただけると幸いです👀 Google Cloud Runとは Cloud Run は、サーバーレスのコンテナ化されたマイクロサービスをデプロイしてスケールするためのフルマネージド コンピューティング環境です。 Cloud Run は、マシンのプロビジョニング、クラスタの構成、自動スケーリングについて心配することなく、サーバーレス HTTP コンテナをデプロイしてスケールするためのフルマネージド コンピューティング環境です。 ref : https://cloud.google.com/blog/ja/topics/develop
フィードバックを送信 カスタム ドメインのマッピング コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 デプロイされたサービスに Cloud Run が提供するデフォルトのアドレスではなく、カスタム ドメインを設定できます。 Cloud Run サービスのカスタム ドメインを設定するには、いくつかの方法があります。 グローバル外部アプリケーション ロードバランサを使用する（推奨） Firebase Hosting の Cloud Run インテグレーション機能を使用する（Firebase Hosting を使用する最も簡単な方法） 手動構成の Firebase Hosting を使用する（インテグレーション機能を使用しない場合） Cloud Run のドメイン マッピング（プレビュー版で、利用制限あり）を使用する 複数のカスタム ドメインを同じ Cloud
はじめに 初めましてnomotoです。 今回は業務の中でCloud Runにデプロイする機会があったので備忘録がわりにまとめました。 上手くいかなかった点も合わせて紹介しておりますので参考にしてみてください。 環境 go1.17 Cloud SDKがインストールされている。 Cloud SDK インストール方法 方法 1.コンテナ化 →Container Registry→Cloud Run（全てコマンドで実行） 2.コンテナ化 →Container Registry→Cloud Run（Cloud Runにデプロイをコンソールから行う） 3.ソースコード →Cloud Run（コマンド1つでデプロイ） 1.アプリの準備 まず初めにサンプルアプリケーションを準備します。 コードは公式ドキュメントのものを使います。 mkdir helloworld cd helloworld go mod
Cloud Runとは【GCPのサーバーレスなコンテナ実行環境】 Cloud Runとは、サーバーレス（サーバーの管理が不要）なコンテナ実行環境を提供するGCPのサービスです。 Cloud Runを利用することで、アプリのDockerイメージを指定するだけで簡単にアプリをデプロイすることができます。 また、GKEと違い、クラスタやKubernetesの設定はGCP側が自動で行ってくれます。 そのため、簡易版のGKEというイメージでもいいのではないかと思います。 以下のビデオはCloud Runの概要が簡潔にまとめられているので、参考にしてみて下さい。 Cloud Runにアプリをデプロイする方法を分かりやすく解説 Cloud Runにアプリをデプロイする方法を分かりやすく解説します。 今回は、Cloud RunにLaravelアプリをデプロイしてデフォルト画面を表示させるのを目標とします。
今回は、キャンペーンURLビルダーで生成したURLからパラメータの値を取得するSQLクエリを紹介する。 SQLクエリ概要 各種マーケティングキャンペーンの効果測定をおこなうために、Googleが提供しているキャンペーンURLビルダー（Campaign URL Builder)を利用して、URLに計測パラメータを仕込むケースがよく見られる。 そこで、上記のパラメータ付きURLから REGEXP_EXTRACT 関数を利用して utm_source , utm_medium , utm_campaign 部分を抽出することで、流入ソース別、媒体別、キャンペーン別のセッション数やユーザー数、コンバージョン数などを計測することが可能となる。 REGEXP_EXTRACT関数 正規表現 regexp と一致する value 内の部分文字列を返します。一致がない場合、NULL を返します。 (出典)
collect?v=1というお馴染みの文字列を含むあのビーコンURL、ペイロードとか呼んだりもしますけどアレが[protoPayload.resource]カラムに記録されてます。 ペイロード以外にも: protoPayload.ip (IPアドレス) protoPayload.userAgent (ユーザーエージェント) timestamp (タイムスタンプ) などがログに残ってます。 2.ビーコンログを分解 ビーコンのペイロードそのままだと全く何も分からないので、SQLで分解して別テーブルを作ります。 分解用SQLが長ったらしいけどキニシナイ！ CREATE TEMP FUNCTION decode(s string) returns string language js as """ var ret = ''; try { ret = decodeURIComponent(s); }
背景 BigQueryでURLを分解したい！そんな時、ありますよね。 仕事で使う都合上色々と調べていたのですが、自分が欲しい粒度でまとまっているものがなかったので自分で書いてみました。その結果を共有します！ まず、前提としてBigQueryにはURLを分解する関数が存在しないため、正規表現を用いて行う必要があります。 今回はBigQuery上でURLの下記部分の抽出方法を書いていきたいと思います。 FQDN(ホスト名+ドメイン名) path utmパラメータ各種 パラメータ部分全て 使用する関数 今回使用する関数は『 REGEXP_EXTRACT 』。 正規表現部分(regexp)と一致するvalue内の最初の文字列を返して、一致部分がないときはNULLを返す関数です。position部分に正の整数を入れると、最初の文字列以外を指定することもできます。 正規表現内にキャプチャグループ()が
こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。 今回は、BigQueryのテーブルに格納されているURL文字列をキー・バリュー形式のSTRUCT型にして抽出する方法について紹介します。 Web解析を行っていると、生のURLがデータウェアハウスに記録される事もあります。 URLそのままだと見づらい＆扱いづらいので、これをキーと値に分けてみましょう。 REGEXP_EXTRACT_ALL関数と、STRUCT型を使います。 実際にクエリを試す クエリはこうなります。 CREATE TEMPORARY FUNCTION decode(s string) RETURNS string LANGUAGE js AS """ var ret = ''; try { ret = decodeURIComponent(s); }catch(e){} return ret; """; SEL
早速後編です。実は筆者もBigQueryをガチで使うのは初めてです。使ってみてわかったのは、結構普通のSQL(私の普通はOracle基準、つまりMySQLから見たらコテコテの機能モリモリのSQL)が通るということです。UDFもPreview？で通るらしいですが、今回はUDFまでは行きませんでした。 BQ予備知識 BQの予備知識としては - SQLで問い合わせる - Updateが出来ない - Deleteが出来ない まずは、これだけ知ってれば十分だと思います。BQの紹介で gcpja-night でも言われてたことですが。 SQLがエンジニアだけのものだと言うのは間違いで、非エンジニアでもSQLぐらい叩けるひとはザラに居るので、1から10までエンジニアが面倒見なくていい。 とのことです。エンジニアのくせにSQLが出来ないという人は、、、反省して勉強して下さい。 それてしまいましたが、SQL
基本的な流れ 前回の「MySQLにTPC-H」とほぼ一緒です。 淡々と進めていきましょう。 対象DBMSとベンチマークの選択 hammerdb>dbset db pg Database set to PostgreSQL hammerdb>dbset bm TPC-H Benchmark set to TPC-H for PostgreSQL 詳細パラメータの表示と設定 hammerdb>print dict Dictionary Settings for PostgreSQL connection { pg_host = localhost pg_port = 5432 } tpch { pg_scale_fact = 1 pg_tpch_superuser = postgres pg_tpch_superuserpass = postgres pg_tpch_defaultdbase
G-gen の佐々木です。当記事では Google Cloud (旧称 GCP) のサーバーレスなコンテナサービスである Cloud Run を解説します。 Cloud Run とは Cloud Run の基本 2 つの利用方法 Cloud Run サービス (services) Cloud Run ジョブ (jobs) 動的スケーリング サービスの冗長性 デプロイ デプロイ元のコンテナイメージ コンテナの要件 トラフィック移行とロールバック 構成 エンドポイント コンテナインスタンスの最大・最小数 Startup CPU boost CPU・メモリ リクエストのタイムアウト コンテナインスタンスあたりの同時リクエスト最大数 CPU を常に割り当てる Cloud Run サービス コンテナ実行環境 (世代) サービス連携 (トリガー) ネットワークアクセスの制限 Cloud Run サービ
1. Copyright©2016 NTT corp. All Rights Reserved. PostgreSQLによるデータ分析 ことはじめ 2016/12/03 PGConf.asia 2016 チュートリアル NTT OSSセンタ DBMS担当 ⼤⼭ 真実 2. 2Copyright©2016 NTT corp. All Rights Reserved. ⾃⼰紹介 ⼤⼭ 真実 おおやま まさのり 2012-2015 NTTデータ OSSプロフェッショナルサービス Hadoopの検証・サポート 2015-現在 NTT OSSセンタ DBMS担当 PostgreSQLの検証・サポート 注）データ分析の専⾨家ではありません！ @ooyamams1987 3. 3Copyright©2016 NTT corp. All Rights Reserved. • PostgreSQLに関して、
こんにちは。 使うSQLが200行を超えるのが当たり前になってきたデータチームの後藤です。 本記事では、VASILYデータチームで利用しているBigQueryによるデータの前処理のTipsを紹介します。 VASILYではサービスのマスタデータやログデータをGoogle BigQueryに集約して分析に活用しています。機械学習やデータ分析のための前処理を行う際、軽量なデータであれば抽出結果をPythonに渡して処理させることもできます。しかし、分析環境のメモリに載り切らないほど大きなデータを扱う場合、BigQuery内で前処理を済ませてしまうと時間と計算資源の節約になることが多いです。 今回はBigQueryからアクセスできるパブリックデータの1つ、hacker newsのデータを集計しながらTipsを紹介したいと思います。 欠落した日付を埋める 通常のGROUP BY句の場合 SQL Re
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く