執筆者：しんゆう X（旧Twitter）：https://twitter.com/data_analyst_ ブログ：データ分析とインテリジェンス https://note.com/shinu/ お問い合わせメールフォーム https://bit.ly/37orRqa
本稿は「本当は書籍『評価指標入門』に書きたかったんだけど諸般の理由により書ききれなかった内容をgihyo.jpを借りて成仏させていく企画」の第一段「カリブレーション（Calibration、確率較正）」です。特に「機械学習のカリブレーションとビジネスの関係性を検討」してみたいというモチベーションで執筆します。 日本語では“確率較正”とも呼ばれるこの計算ですが、個人的にはカリブレーションという方が好きなので、ここではカリブレーションと統一して書きます。 早速ですが、まずカリブレーションとは「分類問題において、機械学習モデルの出力（[0, 1]の値）をデータのクラス分布に近づける」ことです。例えば、二値分類問題において、モデルがあるデータ点に対して1を予測する確率が0.8である場合、そのデータ点が実際に1である割合も0.8になるように確率の数値を修正してしまう（これが較正）ということで
以前「Ads carryover & shape effects付きのMedia Mix Modeling」という記事で取り上げたベイジアンMMMのtechnical report (Jin et al., 2017)ですが、当時RStanで実装されていたものが4年の時を経て時代の趨勢に沿う形でPythonベースのOSSとしてリリースされています。 それがLightweight MMM (LMMM)です。ベイジアンモデリング部分はNumPyroによるMCMCサンプラーで実装されており、さらにはモダンなMMMフレームワークにおいて標準的とされる予算配分の最適化ルーチンも実装されています。全体的な使い勝手としては、まだ開発途上の部分もあるので時々痒いところに手が届かない感があるものの、概ねRStanで実装したものと似たような感じに仕上がっているという印象です。 ということで、LMMMがどんな感
（※Stan v2.4.0以降でインストール方法に若干変更があります！詳しくはこの記事の中ほどをご覧ください） さて、年初の抱負でも語ったように今年はStanを頑張って会得していこうと思います。理由は簡単で、ありったけの要素を詰め込んでMCMCサンプラーでガンガン推定していくような階層ベイズモデリングに自分の興味としても惹かれる上に、実務でも必要になりそうな見通し*1だからです。 Stan: Project Home Page 既に以前の記事でも簡単に触れてますが、StanはC++ベースのコンパイラで高速化させたMCMCサンプラーです。文法も簡単でなおかつ高速なので、BUGSでは時間がかかり過ぎて辛かった計算でも比較的サクサク回せます。 このシリーズを通して参考にするのは、@berobero11さんのブログです。 Small Data Scientist Memorandum 本当にもう、
sabrinas.spaceより。 8週間もかからなかったはずのプロジェクト 日本のウェブデザインはどう違うのか? 2013年のRandomwireのブログ投稿で、著者(David)は、日本のデザインの興味深い相違点を強調しました。日本人はミニマリストのライフスタイルで海外に知られていますが、ウェブサイトは奇妙なほどマキシマリストです。ページには様々な明るい色(3色デザイン原則を破っている)、小さな画像、そして多くのテキストが使われています。2022年11月に撮影されたこれらのスクリーンショットで、自分の目で確かめて下さい。 ブログ投稿には、文化的専門家、デザイナー仲間、そして不満を抱く市民によって支持されている、考えられる理由がいくつか挙げられていました。 この理論が今でも正しいのか、また、もっと定量的なアプローチが可能なのか気になったのでやってみました。 私が見つけたもの 各国の最も人
時系列データのモデリングとして、以下のような手法がメジャーかなと思います。 ARIMA Prophet 状態空間モデル RNN LSTM DeepAR 今回は、2021年に発表された比較的新しい手法であるGreykiteのご紹介をしていきます。 注意：本記事は2022年11月時点の情報をもとに記載しております。ライブラリの変更等により本記事の記載内容が古くなる可能性がありますが、ご了承ください。 Greykiteとは? LinkedInが2021年にOSSとして公開した時系列予測モデルです。機械学習分野の国際会議であるKDD2022でも発表されたようです。 KDD2022よりLinkedInによる時系列予測OSS Greykite (https://t.co/wpsCnuak2t) の紹介論文。コアとなるSilverkiteというアルゴリズムの紹介が中心で解釈可能性と速度が売り。Proph
Dashboard Design Patterns This page lists design patterns for dashboard design collected to support the design and creative exploration of dashboard design. We run a dedicated workshop in March 2022 to help you applying and discussing design patterns in your work. The patterns are coming out of our research, described in our publication: Bach, Euan Freeman, Alfie Abdul-Rahman, Cagatay Turkay, Saif
2020.04.09 グロースハック用分析ツールAmplitudeは何がすごいのか？ 電通グロースハックプロジェクト代表・上野雅博とAmplitude米田匡克氏に聞く12の質問 2019年12月、電通デジタルと電通の横断プロジェクト「電通グロースハックプロジェクト」は、Amplitude, Incのグロースハック向けユーザー行動分析ツール「Amplitude（アンプリチュード）」について、<a href=\"https://www.dentsudigital.co.jp/release/2019/1210-000346/index.html\">スタートアップ支援プランの提供を開始</a>しました。</p>\r\n<p>Microsoft、Twitter、Dropbox、PayPal、Under Armourをはじめとした、グローバル企業12,000社以上が利用する分析ツールAmplitu
2020年5月末でP&Gのブランドマネージャーを退職しました。僕はこのNOTEで、P&Gで非言語的に受け継がれているマーケティングの思考法を、分かりやすい教科書のようにまとめようと思います。本気で読めば1時間かからず読めると思います。が、ちゃんと理解すれば知識レベルとしては本何冊分にもなることをお約束します。さらには、そのマーケティング思考の先に、僕がどんなマーケティングの進化を考えていて、そのために次のチャレンジとしてどんなアクションを取ろうと思っているかも最終章にまとめようと思っています。 総合商社から中途採用でP&Gのマーケティング本部に採用され、シンガポールのアジア本社への異動も伴いながら、世界最高峰のブランドマネジメントの"いろは"に触れらたことは、本当に幸運なことです。直近では、ファブリーズのブランドマネージャーとして、ブランドレコードとなる売り上げを達成することが出来たのは、
先端IT人材の中でも急増する需要に追い付かず、慢性的な「売り手市場」となっている「データサイエンティスト」という職種。企業から引く手あまたといわれるデータサイエンティスト職の実態はどうなっているのか？ということで、人材大手パーソルキャリアで現役のデータサイエンティストとして活躍する鹿内学さんに、いろいろと話を聞き、さらに世界最大級のオンライン学習教育プラットフォーム「Udemy(ユーデミー)」で役に立つ講座はどれかというのも教えてもらいました。 世界最大級のオンライン学習プラットフォーム | Udemy 目次 ◆1：「データサイエンティスト」とは？ ◆2：「データサイエンティスト」が引く手あまたなワケ ◆3：データサイエンスが使えないと給料が減る時代が来る！？ ◆4：「データサイエンティスト」になるための学習法とは？ ◆5：プロがおススメするUdemyデータサイエンス講座5選 研究者からビ
この投稿は 「R Advent Calendar 2017 - Qiita」 の 4日目の記事です。 こんにちは、akiyoko です。 「R Advent Calendar 2017」は 3年ぶり 2回目の参加になります。 *1 何をしたのか？ 「あなたの趣味は？」というアンケート結果に対して「因子分析」を実施 することで回答の奥に潜む共通要因を探り、どんな趣味趣向を持った人たちがアンケートに回答してくれていたのか？ を分析してみました。 具体的にはこんなシチュエーションです。 現在、アンケートの回収に Google Forms を使っていて、回答項目の一つに「あなたの趣味は何ですか？」（*2）という項目が含まれています。例えばこんな感じです（実際には他にも項目があります）。 趣味アンケート Ｑ１．あなたの趣味は何ですか？ 当てはまるものを次の中から全てお答えください 【選択肢】特に無い
調査結果をより深く理解するために様々な解析やデータ可視化のための手法・ツールをご用意しています。 専門のリサーチャー・アナリストが調査目的に応じて幅広い手法から最適な手法をご提案、サポートいたします。
Exploratory Desktop provides a Simple and Easy-to-Use UI experience to access various data sources, clean and transform data, visualize and analyze data to gain deeper insights, communicate your discoveries with Notes, and monitor your business metrics with Dashboards. You can quickly extract data from various built-in data sources such as Redshift, BigQuery, PostgreSQL, MySQL, Oracle, SQL Server,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く