前回までは線形回帰の理論とそれを使った分析の実例について紹介しました。 【理論編】 randpy.hatenablog.com 【実践編】 randpy.hatenablog.com randpy.hatenablog.com しかし全てのデータを線形回帰で分析しようとすると、良い結果が得られないことがあります。 そこでよく用いられるのが一般化線形モデル（GLM : generalized linear model）という手法です。 今回は、線形回帰の問題点とそれを回避する一般化線形モデルについて紹介します。 線形回帰だとうまくいかない例例えば、コンビニの1分間あたりの来店数と商品のバリエーション数の相関を分析したいとします。来店数が目的変数で商品バリエーション数が説明変数です。 つまり、置いてある商品の種類が多いコンビニほど、来店数も多いだろうという仮定を置いている、ということになります
変数xが変数yに影響を与えるなど、向きが明確な場合は矢印（有向エッジ）を用います。一方、因果はあるけど、向きが分からない場合は線のみ（無向エッジ）で結合します。 ここでいう変数（青●）をノード、矢印をエッジと呼ぶこともあります。グラフ関連の用語については、以下の記事で紹介しています。 PyTorch GeometricでGraph Neural Network（GNN）入門グラフニューラルネットワーク(GNN：graph neural network)とグラフ畳込みネットワーク(GCN：graph convolutional network)について勉強したので、内容をまとめました。PyTorch Geometricを使ったノード分類のソースコードも公開しています。... 循環グラフとは 下図のように、あるノード（変数zなど）を起点としたとき、巡り巡って変数zに戻ってくるグラフのことを循環
(Background image by Pixabay) 最近また「データ分析をやるならRとPythonのどちらでやるべきか」という話題が出ていたようです。 言語仕様やその他の使い勝手という点では、大体この記事に書いてあることを参考にすれば良いと思います。その上で、人には当然ながら趣味嗜好がありますので、個々人が好みだと思う方を使えば良い話ではあります。 とは言え、僕自身もクソコードの羅列ながらこのブログにR & Pythonのコードを載せているということもあるので、便乗して今回の記事では僕個人の意見と感想も書いてみようと思います。いつもながらど素人の意見（特にPythonは本業ではない）なのと、自分がメインに使っているRでもtidyverseをほとんど使わないなど割とout-of-dateな使い方をしているということもあり、読んでいておかしなところなどあればどしどしご指摘くださると有難
AIは「単なる関数」、数学は「言語の一つ」、「文系出身」でも問題ない――Pythonで高校数学の範囲から学び始めよう：「AI」エンジニアになるための「基礎数学」再入門（1） AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す連載。初回は、「AIエンジニア」になるために数学を学び直す意義や心構え、連載で学ぶ範囲について。 AI人材の不足 2015年にDeep Learningを利用したモデルが、画像認識率において人間を上回る結果を残したことを皮切りに、世の中はAIブームに突入しました。その勢いはすさまじく、業界を問わずビジネス形態が目まぐるしく変化しています。世界中のサービスが即座に利用できてしまう現代では、各業界の各企業にとってのライバルは、もはや同業他社だけではありません。これからの時代は、Googleをはじめとした最先端テック企業をライバルとして
はじめに pandas では 2 次元、表形式のデータ ( DataFrame ) を主な対象としているが、ときには 3 次元以上のデータを扱いたい場合がある。そういった場合 以下のような方法がある。 MultiIndex を使い、2 次元のデータにマッピングする。 3 次元データ構造である Panel、4 次元の Panel4D、もしくは任意の次元のデータ構造 ( PanelND ) をファクトリ関数 で定義して使う。 numpy.ndarray のまま扱う。 自分は MultiIndex を使うことが多いが、データを 2 次元にマップしなければならないため 種類によっては直感的に扱いにくい。Panel や PanelND は DataFrame と比べると開発が活発でなく、特に Panel4D、PanelND は 現時点で Experimental 扱いである。また、今後の扱いをどうす
Python pandasとstatsmodelsを用いた時系列分析についてまとめる。pandasは欠損値の処理や移動平均の算出に、statsmodelsはARIMAなど時系列解析の実施に用いるとよさそう。以下の内容について順次取り上げていきたい。 ●単純移動平均 ●自己相関関数（ACF：Auto Correlation Function） ●偏自己相関関数（PACF：Partial Auto Correlation Function） ●自己回帰過程：AR(p) ●自己回帰移動平均過程：ARMA(p, q) ●自己回帰和分移動平均過程：ARIMA(p, q, d) ●多変量自己回帰過程：VAR(p) ●状態空間モデル ARIMAまでがひとつの系列のみを対象とした分析。VARはARの多変量版で、ある系列を予測するのに他の系列のデータも活用する。状態空間モデルは、観測方程式と状態方程式（真の
サイトの構築。作品の販売。ブログの投稿。この他にもさまざまな機能があります。 ログイン サイトをはじめよう 非公開サイト このサイトは現在プライベート設定になっています。
gumiの粟飯原です。 データマイニングやってます。しかしながら最近はあまりデータをいじる時間がなく社内でプレゼンばかりする日々で、社内でも私がなにやってるのかわからないというもっぱらの評判。そこで今回は一応データ解析もやってはいるんだよということを内外に主張するためにもデータマイニングの話をしようと思います。 アプリの基本的な日々の統計データ取得などは別の方々はやられているので、私からはhadoopを使った大規模解析の話や、そこで得られたデータを分析する環境の話をしたいと思います。コードを併記した具体例などは今回載せられないのですが、今後また紹介していければと思います。 大規模データの解析 日々のログ解析やDB解析はcronによる処理で毎朝レポーティングを行っているのですが、新しい情報を過去のアクセスログからまとめてどかんと取得したいと言う時はHadoopによる大規模解析を実行しています
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く