Introduction of Mercari BI team and Case Studies of Analytics for Service in US
Introduction of Mercari BI team and Case Studies of Analytics for Service in US
はじめに この記事では、gRPCのgもRPCも何もわからないという方でもgRPCを理解できようにと思い書きました。できる限り丁寧な解説を目指したいと思うので、ここら辺がわかりにくかったなどがあればぜひコメントで教えてください！ 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 gRPCの概要 gRPCはオープンソースのRPCフレームワーク(後述）です。Googleによって開発され、2015年にオープンソースとして公開されました。gRPCは一般的にマイクロサービス間での通信や、モバイルアプリとバックエンドサーバー間の通信で用いられます。 マイクロサービスとは、機能ごとにサービスとして独立させることを指します。マイクロサービス
pdfmeとは Website: https://pdfme.com/ TypeScriptで書かれたオープンソースの無料の帳票エンジン。 テンプレートを使って宣言的にPDFを作成でき、サーバー、ブラウザどちらでも動作する。 2022年2月にbeta版としてリリースしてから現在 Version3で GitHubではStartが1500、npmではバラツキはあるが週間1万件くらいのダウンロードがある。 自分が把握しているだけで、世界中で採用事例があり、電子カルテ作成、工場の手順書作成、ECのカスタムパッケージ制作ソフトなど、すでにいろんなサービスに組み込まれている。 この記事ではどのようなモチベーションでpdfmeを開発しているのかということを説明したいと思います。 なんで帳票エンジンを新規開発するのか PDFファイルを作成・編集するという観点ではpdfkitという素晴らしいライブラリが20
はじめに Reactの人気はどんどん加速しています。これからフレームワークを学ぶならReactを選ぶのは賢い選択でしょう こんにちは、Watanabe Jin(@Sicut_study)です。 今回はReactをこれから学んでいこうと思っている方に向けて、初心者チュートリアルを作成しました。 このチュートリアルではReactを書く上で欠かせないことを紹介しています。 実際にアプリを作りながらReactの機能について学ぶことによってより深く理解することが可能です。 このチュートリアルを最後までやったら、次に自分で習ったことを活かして簡単なTODOアプリなどを作れば基本がしっかり身につくようになっています。 またこのチュートリアルではJavaScriptではなくTypeScriptを採用しています。 モダンな会社ではTypeScriptが採用されることが多いはずだなので、少しでも慣れていただけ
1. はじめに こんにちは、クラウドエース データML ディビジョンの木村です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページのように記事として公開しています。 今回紹介するリリースは、Pub/Sub の BigQuery サブスクリプションにおける BigQuery の変更データキャプチャ(CDC) についてです。 BigQuery の CDC では、ストリーミングされた変更を処理し、既存のデータに適用することで BigQuery テーブ
2021年時点でも、そこそこ参照されているため、BigQuery Advent Calendar 2021 25日目の記事としてアップデートします。 BigQuery リソースのアクセス権設定は難しいですが、データ資産の保護と活用のバランスを自由に設計できます。組織に合わせたアクセス権をうまく設定 & 設計して、データ資産を活かしていきたいですね。 本稿では、アクセス権の設定方法と、叩き台になりそうな具体的な設計例について述べます。 アクセス権の設定方法 BigQuery リソースのアクセス権設定にあたり、覚えておく軸は 3 つです。 具体的な人間やアカウントを示すプリンシパル、権限範囲の対象（プロジェクトやデータセット）を示す対象レイヤ、具体的な一つ一つの権限、これらをおさえておけば、BigQuery の権限設定は安心です。 プリンシパルは Google アカウントを筆頭に 7 種類 以
About ようこそプロジェクトに貢献するにはGeneral コード補完コメントからコードを生成コードからコメントの自動生成GitHub CopilotとのクイックQ&A正規表現プログラミング言語間の翻訳タイプヒンティング構造化データからのオブジェクト生成コードからドキュメントへClient Side Tips Copilot スニペットハンドリングGitHub Copilot ショートカット定義に移動便利なファイルのピン留めDesign Patterns AI が理解可能な命名規則一貫性のあるコーディングスタイルハイレベルアーキテクチャを先に小さなコードチャンクで作業するコンテキストレス・アーキテクチャ微細な OSS 依存関係の排除Collaboration AIフレンドリーなドキュメンテーションプロンプトとコード生成プロセスのコーチングTesting ユニットテストの作成テストコード生
はじめに dbtを用いたデータ基盤運用がお盛んになったなと個人的に感じます。 よく記事で見かけるのが、DWH製品としてSnowFlake, そしてデータ変換にdbt Cloudでしょうか。 そして DWH製品としてSnowFlake, そしてデータ変換にdbt core を ECS Fargateに乗せてサーバレスにやる方法も最近記事で見ました。 あとは dbt core を AirFlow(Cloud ComposerやMWAA含む)で実行する方法もしばしばみかけます。 しかしどれも自分には、あまりFitしませんでした。なぜならば求めている要件としては以下だからです BigQueryの案件が多いのでBigQueryにクエリ投げれればOK 1日1回のバッチ回せれば良い スケジュール設定できればOK dbtドキュメントもみたい 無課金or微課金(ストレージ料やクエリスキャン料除く)ですませた
はじめに こちらは バイセルテクノロジーズ Advent Calendar 2023 の5日目の記事です。 前日の記事は野口さんの「手軽にElasticsearchとRDBの型不整合を防ごう！ ~ dynamic templateを使った実装例 ~」でした。 こんにちは、開発２部の馬場です。 アプリケーションの開発や運用において、例えばSQLを流してのデータ修正など何かしらスポットで単発処理を行いたいことがあると思います。 今回私たちは、新規開発中のプロダクトへのデータ連携処理を実行していく必要がありました。 そこで、データ連携をはじめ任意の処理を自由なタイミングで実行できる基盤を用意することにしました。 この記事ではGoogle Cloudの「Cloud Runジョブのオーバーライド機能」を活用し、単発処理群を快適に管理する方法についてご紹介します。 目次 はじめに 目次 背景 技術選定
Businessプライムメンバーは、購入を簡素化し、発注を合理化し、コストを削減するためのツールと機能により多くアクセスできます。 Businessプライムの詳細はこちら
HOME ニュース プレスリリースの記事一覧 2023年度版「データサイエンティスト スキルチェックリストver.5」および「データサイエンス領域タスクリスト ver.4」を発表 2023年度版「データサイエンティスト スキルチェックリストver.5」および「データサイエンス領域タスクリスト ver.4」を発表 このたび、データサイエンティスト協会 スキル定義委員会（委員長：安宅 和人、副委員長：佐伯 諭）は、10月20日（金）に開催した「データサイエンティスト協会10thシンポジウム」内において発表した、データサイエンティストに必要とされるスキルをまとめた「データサイエンティスト スキルチェックリスト」の第５版を公開いたしました。 本内容は、2021年に第４版として公開したデータサイエンティストの「ミッション、スキルセット、定義、スキルレベル」および「スキルチェックリスト」を、現在のビジ
はじめに こんにちは、ML・データ部推薦基盤ブロックの栁澤（@i_125）です。私はZOZOのデータ基盤におけるデータガバナンス強化を実現するために、Analytics Engineerとして複数の部門を跨ぐプロジェクトチームに参加しています。本記事ではZOZOにおけるデータガバナンス上の課題と、その課題の解決策の1つとしてdbtを導入した話をご紹介します。 目次 はじめに 目次 背景 課題 データマートの乱立 集計定義のばらつき 依存関係の洗い出しが困難 データモデリングツールの比較検討 データ変換に関する要件 データモデリングツールの選定 レイヤリングによる責務の分離 実装方針 今後の展望 dbtモデルを開発する上で工夫したこと 環境の分離 背景 工夫したこと ダミーデータセットの生成 背景 工夫したこと SQLFluffを使ったフォーマット統一 依存モデルを含むテスト dbt Doc
こんにちは、データエンジニアの多田です。 私は現在、データ利活用基盤「Knile（発音は “ナイル"）」の開発をしています。 今回は、私が Knile チームでスクラムマスターからプロダクトマネージャーへと役割が推移していく中で取り組んできた、チーム開発の課題とその対策について紹介いたします。 Knile とは Knile とは、以前 CET と呼ばれていたチームが開発するデータ利活用基盤です。 Knile のビジョンや設計思想については、最近行われた社外への登壇資料があるので、ご覧ください。 第14回MLOps勉強会 CloudNative Days Tokyo 2021 時間軸で取り組むチーム運営 この記事では以下の 4 つのサイクルに分けて取り組みを紹介します。 長期計画 半期 四半期 スプリント(2 週間) チーム運営のサイクル これは実際に業務の中で考える思考の順番でもあります。
はじめにこんにちは。SHIFT DAAE（ダーエ）開発グループ所属のNogamiです。 皆さんは、負荷テストを行う際に、普段どんなツールを使われていますか？ 今回は、システム開発に欠かせない「負荷テスト」に使用する、6つの負荷テストツール（サービス）について解説させていただきます！ 6つの負荷テストツール（サービス）1.「JMeter」「JMeter」は負荷テストツールを検討する際に、必ずといっていいほど名前が挙がるオープンソースのテストツールです。 ローカル環境にインストールすることができ、テストシナリオの作成やテスト実行を行うことができます。 引用：Apache JMeter テストシナリオは、コーディング不要で、GUI上で作成することができます。 「JMeter」は20年以上に渡り利用されているツールであり、数多くのプラグインや関連サービスが存在します。 多数のプラグインで機能を拡張
In the Introduction To Database Indexing Article, We discussed database indexes, Their type, representations, and use cases. In this article, we will experiment to check which performs better as a clustered index. UUID version 4 vs UUID version 7 or 6. Then we will discuss why that happened. What is UUID version 4?UUID, an acronym for Universally Unique Identifier, is a 128-bit identifier represen
本記事の目的 プログラミングを学習しはじめたら、誰しも一度は「株の自動売買で食っていきたい！」のようなことを考えるのではないでしょうか。そのための第一歩として、企業の財務情報を収集するのはとても大切ですよね（あなたがファンダメンタルズ分析を信じるならば、ですが...）。そこで本記事では、Python を使って、企業の財務情報を取得する 方法についてお伝えしたいと思います。 また、本記事で実装したソースコードについては GitHub にまとめましたので必要に応じてご利用ください。当記事のコードは全て Google Colaboratory で実装しており、2023年4月12日現在正常に動作することを確認しております。 財務情報の取得方法 良いニュースと悪いニュース さて、早速財務情報の取得方法について伝授していきますが、ここで良いニュースと悪いニュースがあります。何やら不穏ですね。 まずは良
多数の企業・団体に対して営業活動をしている企業であれば、どこでも抱えている問題として、顧客企業/取引先企業の「名寄せ」をどのように行うか、ということがあります。たとえば「ABC(株)」と「ABC株式会社」は同じ会社として扱わなければならないですし、全角大文字で「ＡＢＣ（株）」と表記される場合もあります。場合によっては「エー・ビー・シー株式会社」も同じ会社名として扱わなければなりません。CRMを利用していても、この名寄せをうまくやってくれる仕組みが組み込まれていない場合が意外と多いのです。 そんな、どこの企業でも必要な変換ロジックなのですが、ネット上を探してみると、このロジックを実用的なレベルできちんと解説している情報があまりないことに気づきました。そこで、この記事では、この古くからあるニーズを、古くからあり誰でも持っているExcelマクロを使って解決する方法を紹介します。 名寄せの概要 企
1. はじめに ソフトウェア開発のチームに、新しいメンバーが入ってくることはよくあります。 以前に新卒社員がチーム入ってきた場合の育成方法を紹介しました(こちら)。 今回は、新卒社員ではなく、他の会社から中途入社か同じ会社の部署異動で来る新メンバーの話です。 (エンジニアが数百人などで規模が大きい会社の場合、部署が違うと仕事のやり方が全く変わる場合があるので、今回は中途入社と他の部署からの異動を同じように「新メンバー」として扱います) 会社や部署が変わると仕事のやり方が大きく変わるため、仕事のやり方に戸惑うことが多いと思います。 本稿では、そのような「新メンバー」を活躍しづらくしてしまうアンチパターンとその対策を紹介します。 2. 中途入社や部署異動で来た新メンバーが適応することの困難さを理解する 中途入社や部署異動で来た新メンバーが組織に適応することは、新卒社員のそれとは別の難しさがあり
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く