GCPとはGood Clinical Practiceの略で、日本語では「医薬品の臨床試験の実施の基準」と訳される。
新薬開発段階の治験を実施する際に遵守すべき規準。
厚生労働省令である。
こんにちは、データ基盤担当の @mapler です。今回は DataStream を活用して、Cloud SQL から BigQuery へのデータ同期についてお話しします。 Datastream の設定は基本的に Google Cloud のドキュメント従って行えますので、この記事では、実際の設定時に直面した課題や対策を中心に説明します。 背景： データを BigQuery に同期することで得られるメリット JX通信社の「FASTALERT」は、日本国内外の緊急情報をリアルタイムで配信するサービスです。災害情報や事故、事件、気象警報など、幅広い分野の緊急情報を網羅しており、長年にわたって膨大…
(2024/12/10 13:35) Elastic Stack (Elasticsearch) Advent Calendar 2024のリンクを追加 初めまして。ECシステムエンジニアリング部門 EC商品基盤グループ サーチチーム 松浦です。 今回は、全文検索エンジンElasticsearch のバージョンアップの具体的な取り組みについて取り上げます。 このブログ記事の内容はElasticsearch株式会社が主催するElasticsearch Community in Osaka - connpassで発表した内容を元に作成しました。 また、Elastic Stack (Elastics…
本記事は Akatsuki Games Advent Calendar の2日目の記事です。 Elixir の Google Cloud サービスアカウント認証 アカツキゲームスの一部のゲームタイトルでは Elixir をサーバー開発言語として利用しています。BigQuery 等のサービスを利用する際、Google Cloud のユーザー認証が必要になりますが、GitHub Actions などの CI からサービスにアクセスするような場合、Workload Identity を利用してサービスアカウントの認証が行えるように構成するのがベストプラクティスとされています。これは、秘密鍵の管理が不…
本記事では、Google Cloud Platform（GCP）を利用して、資料を格納し、それを検索するアプリケーションを構築する手順をご紹介します。 Cloud StorageにCSVファイルをアップロードし、Agent Builderを使用して検索機能を実装します。具体的には、タイタニック号の生存者データを例に、データの準備から検索アプリの構築、及びPythonによる検索方法までを説明します。 手順 前準備: APIを有効化する 資料を格納するストレージを準備する Cloud Storageに資料を配置する 手動でファイルをアップロードする プログラムからファイルをアップロードする 検索ア…
本記事では、Google CloudのGemini APIを使用して、Pythonを通じて生成AIを活用する方法について説明します。 具体的には、APIキーの取得方法や必要なパッケージのインストール、基本的なリクエストの構造、システムプロンプトの使用、会話履歴の保持方法、さらには画像を伴うリクエストの実行方法に至るまで、詳細にガイドします。 前準備 APIキーの取得 パッケージのインストール パッケージのインポート Gemini APIの使用 リクエストの基本形 システムプロンプトを使用する 会話履歴を保持する 画像付きでリクエストする おわりに 前準備 APIキーの取得 Google Clo…
院内・寒水川 フロントエンドをsvelte、デプロイをCloud Runにしたい 小・中規模開発に向いてるというsvelteを、Cloud Runでデプロイしようとしたら四苦八苦したのでメモ 困ったこと だいたいこのあたり npm run devが実行できない 環境変数が読み込まれない cloud run deployでデプロイできない ベストプラクティスはこれ（？） 1. svletekitでプロジェクトを作成する プロジェクトのルートフォルダで下記を実行する。svelteをそのまま（chatgptとかで）野良実装するとnpm run dev・gcloud run deployが通らなかった…
SENSYプロダクトチーム藤沼です。 はじめに SENSY CLOUDの一部でもある「GCSでオブジェクトの更新というイベントをトリガーにファイル処理を行う」ために必要なGCPサービスと実装についてふれます SENSY CLOUDでは SENSY CLOUDのアーキテクチャについては以前の記事で触れていますが、 今回の内容はその中でも下図の赤枠部分、「クライアントがGCSに格納したファイルに対して即時に処理を行う」部分にフォーカスします。 SENSY CLOUDアーキテクチャ 当該機能を実現するためにSENSY CLOUDでは下記GCPサービスを組み合わせて実装しています。 Cloud Sto…
LinuCエヴァンジェリスト・Open Source Summit Japanボランティアリーダーの鯨井貴博@opensourcetechです。 はじめに 今回は、これまで気にはなってたけど操作してなかったGKEを使ってみます♪ 新規利用の場合、$300(90日間 )のクレジットが付与さえるの、何気にありがたいですよね！ https://cloud.google.com/ ログイン 特に難しいことはなく、GoogleアカウントでログインすればOKです。 GKEの有効化 メニュー(三)よりKubernetes Engine > Overviewと進みます。 "ENABLE"をクリックします。 そ…
はじめに 突然ですが、サーバーレスでWEBサービスの開発をしてみたいと思い立ち、まずはどんなサービスを使えばよいか調べてみました。いわゆるアーキテクチャを考える段階ですね。クラウドサービスはGCP（Google Cloud Platform）を使用しますが、GCPには似たようなサービスがたくさんあり、それぞれの違いや特徴を把握するのはなかなか大変です。 今回は、どんなアーキテクチャで開発していくのか、GCPで使用する予定のサービスについてご紹介します。また、開発を進めていく過程を備忘録として残していく予定なので、定期的に公開できるように頑張ります。 1. 使用するサービス紹介 1.1 Appl…
こんにちは、k-kzkです。私はInsight Edgeに参画して早2年が経ちました。 今回の記事では、私が初めて取り組んだETL開発プロジェクトと、そこで選択したツールであるDataformについてお話しします。 目次 1. はじめに 1.1 ETL 開発とは 1.2 Dataform の選定理由 2. Dataform を利用した ETL 開発のライフサイクル 2.1 リポジトリ作成 2.2 ワークスペースの使い方について 2.3 ディレクトリについて 2.4 テーブル構成 2.5 Dataform のテストについて 2.6 リリース方法について 3. その他開発における Tips 3.2…
最近GCPのPMLE試験に無事合格した。その試験勉強の際に問題として触れることが多かったKubeflowにすこぶる興味が湧いたので自宅PCに環境構築を行ってみた。この記事は環境構築手順についてメモ的に残すためのもの。構築手順については先人のブログと公式のgithubを参考にしながら進めた。 venoda.hatenablog.com github.com 注意点 事前セットアップ 環境 WSL --versionの結果 そのほかのバージョン Kubectl v1.31.0のインストール Kustomize v5.4.2のインストール kubeflow v1.9.1のインストール ダッシュボード…
こんにちは!SmartHRでプロダクト横断基盤開発チームにて開発をしている rock_san です。 2024/12/20に開催された第9回SmartHR LT大会の様子を、スキル管理・学習管理の開発をしているtnagatomiさんと共にお伝えしたいと思います！ 今回は忘年会も兼ねており、昨年12/15に第1回が開催されてから記念すべき1周年の回でもありました。 ちなみに過去のLT大会についてはLTカテゴリーからたどれるので、よかったらご覧になってください。 SmartHR LT大会について SmartHR LT大会は有志のプロダクトエンジニアがDevRelとともに企画・運営している社内イベン…
こんにちは。 newmoでは、Datadogを利用してGoogle Cloudをはじめとした各種サービスの監視を行っています。今回はDatadogのGoogle Cloud Integration設定の改善をしたことで、コストを削減できた話を共有します。（たぶん）2024年最後の記事ということで、年末の設定見直しの参考にしていただけたら幸いです。 DatadogでのGoogle Cloud Integration DatadogでGoogle Cloud Integrationを設定してメトリクスを収集することは昔からできました。以前はGoogle Cloud側でService Account…
G-gen の堂原です。当記事では、Google スプレッドシート（Google Sheets）の機能であるコネクテッドシートで、データの抽出機能を使う際、行数制限が10万行までしか選べない場合の対処法を紹介します。 コネクテッドシートとは 概要 データの抽出 事象 解決方法 コネクテッドシートとは 概要 コネクテッドシート（Connected Sheets）は、Google スプレッドシートの機能です。コネクテッドシートを用いると、Google Cloud（旧称 GCP）のデータ分析サービスである BigQuery のテーブルやビューを Google スプレッドシート上で可視化、分析できます…
エンジニアの育成、時間がかかりますよね。つよつよになるには・・・みたいな話は、エンジニアクラスタのSNSで定期的に話題に上がるような気がします。 エンジニアの育成について考えたので、とりあえずアウトプットします。 エンジニア、覚えることが大杉 プログラミングは、基礎文法を覚えるだけなら1ヶ月で一通り学習できますが、仕事にする場合は基礎文法だけでは「全く」足りない。 HTTPなどの通信規約・TCP/IPの仕組み Webサーバ構築などのインフラ・GCP/AWSなどのクラウドサービスへの理解 GitHub Actionsに代表されるCI/CD 認証認可の仕組み(鍵認証/JWT/OAuthなど) We…
Kaggle - Qiita Advent Calendar 2024 - Qiita 25日目の記事です。 はじめに: Kaggleにおける計算リソースの重要性 Kaggleでは、データサイエンスのコンペティションが開催されており、その多くはGPUを使った計算が必要だ。 例えば、画像認識のコンペティションでは、画像データを学習するために、大量の画像データをGPUで学習する必要がある。 これらの計算は、ローカルのPCでは難しいため、クラウド上の計算リソースを利用することが一般的だ。 そして、Kaggleのコンペティションにおいては、計算リソースの性能が勝敗を分けることが多い。 ぶっちゃけ私のよ…
LinuCエヴァンジェリスト・Open Source Summit Japanボランティアリーダーの鯨井貴博@opensourcetechです。 1.Kubernetes(k8s)とは Kubernetes(k8s)とは、公式ドキュメントの言葉をかりれば、 「デプロイやスケーリングを自動化したり、コンテナ化されたアプリケーションを管理したりするための、オープンソースのシステム」です。 https://kubernetes.io/ja/ ざっくりいうと、コンテナアプリケーションを動かす土台です。 実は、身近なところでもKubernetesで運用されているシステムがたくさんあります。 なぜABEM…
この記事について 六間坂上 Advent Calendar 2024 に参加させていただきました。2(4)日目です。めっちゃおくれてすみません。。。。 はじめに 以前Cloud Run サービスでLaravelのバッチを動かしたのですが、なかなか思った通りの挙動にならず苦労したため、詰まりポイントを書きます。 本記事では以下バージョンの言語・ライブラリを利用しています。 PHP 8.2.4（php:8.2.4-fpmコンテナを使用） Laravel 10.x また、2024年11月末時点での情報を元に記載していますので、今後状況が変わる可能性があることにご留意ください。 早速状況が変わった .…
IPv6とプライベートアドレスに関する考察 Steamゲームにおけるウイルス誤検知と対策 ソフトウェアエンジニアリング技術書レビュー OpenAI o3の能力とAGIの可能性に関する議論 Google Apps Script（GAS）高速化テクニック mixi2のリリースと初期ユーザー数 40代エンジニアのスキルアップとライフスタイル COBOLシステムとレガシーシステムのリスク 低レイヤー開発のための学習コンテンツ集 フリーソフトウェア「Cassava Editor」開発者のインタビュー 安全なモバイルバッテリー「SSPB」の製品紹介 State of JavaScript 2024の調査結…
この記事を読んで使ってみたいなぁと思い、はや数ヶ月 ちょっと試してみようと、いろいろ調べてみたときの備忘録(*´ω｀*) Nuxt Auth Utils でサーバーサイドの認証を（OAuth・マジックリンク・ワンタイムパスワード） Nuxt Auth Utilsとは https://github.com/atinux/nuxt-auth-utils 認証周りのライブラリ クライアントサイド、サーバサイドを含めSSRに対応 20以上OAuthプロバイダーに対応 ※nuxt buildのみ、nuxt generateは非対応 Nuxt Auth Utilsが提供しているもの ユーザセッション周りの…
弊社iOSチームにおける、Xcodeのビルド速度改善の取り組みの一端について紹介したいとおもいます。 おいしい健康のiOSアプリでは、機能開発を重ねていく過程で、コードベース量に比例してビルド時間が長くなり、数行の変更で1分近くビルド時間を要するなど、開発効率に難がある状態が続いていました。 ビルド時間は、ビルドキャッシュがほぼない状態でのクリーンビルドか、一定のビルドキャッシュの効いたインクリメンタルビルドかによって大きく異なります。 日々の開発への影響度が大きいのはインクリメンタルビルドであるため、これを計測・可視化し、開発生産性の観点で問題の大きさを定量的に把握したいと考え、チーム内のビ…
こんにちは。RecruiterのH.Onoです。 モビルスは2016年に自社SaaSプロダクト「MOBI AGENT」の提供を開始させ、今では7つのプロダクトを提供するまでに成長しました。 「これからのモビルスが目指すこと」を実現するために、プロダクトの屋台骨となるインフラ全体の環境も再構築予定。 今回はインフラSectionMgrのC.Junに協力してもらい、インフラが現在抱えている課題や目指す組織の形をまとめました！ ＼こんな方におススメ／ ・SaaSサービスの刷新に興味がある方 ・インフラ環境の標準化に関心のある方 ・新しいチャレンジをしたいSREエンジニアの方 ・当社のインフラエンジニ…
cloud.google.com Identity and Access Management(IAM) [CHANGED] Principal access boundary policies are generally available. IAM には Principal access boundary policies (PAB policies, プリンシパルアクセス境界ポリシー)という機能がある。これはIAMポリシーが提供する3種類のポリシーの1つで、許可ポリシー、拒否ポリシーと並んでPABポリシーが提供されている。 PAB policyは外部リソース(境界)に対する操作の拒否を定…
今週は tech 系の記事というよりは幅広く。 16歳未満「SNS禁止」を決めたオーストラリア 唐突にも思える決断の背景とは：小寺信良のIT大作戦（1/3 ページ） - ITmedia NEWS 立法事実がそれなりに積み上がっているというのはわかるけど、かなり激しい規制でもあるな こういう流れも踏まえて、日本における関連分野の法律も見直していかないといけないんじゃないかなあ 新たなる陰謀論『税調インナー』と『宮沢洋一ラスボス説』がガセネタすぎて｜山本一郎（やまもといちろう） 確かに私の周囲にも宮沢洋一個人を叩く内容のプロパガンダが流れているのは観測している。あの人がやってんのは誰がやっても恨み…
この記事は、Oracle Cloud Infrastructure Advent Calendar 2024 の22日目の記事として書いています。2024年12月時点の情報となります。公開内容を中心に記載していますが、リリース前の製品内容も含むため予告なく変更となる場合があります。記載の内容は個人の見解であり、所属する組織の公式見解ではありません。 はじめに Oracleが提供する分散クラウド 専用クラウドの選択(Dedicated RegionとAlloy) DR25の特徴を最小3ラック～にちなんで３つ Alloy/Dedicated Regionの事例 よくお問い合わせをいただくご質問 さ…