ガウスカーネルとは ・$K(x,x’)=e^{-a(x-x’)^2}$ という式で定義される二変数関数のことをガウスカーネルと言います。$a$ は正の定数です。関数の入力は $x$ と $x’$ で、出力はスカラーです。このページでは一次元のガウスカーネルについて説明します（$x$ と $x’$ はスカラーとします）。 ・ガウス分布（正規分布）の確率密度関数に似ています。 ・ガウスカーネル $K(x,x’)$ は $x$ と $x’$ の「近さ」を表します。 ・$x=x’$ のとき $K(x,x’)=1$ で、$x\neq x’$ のときは $K(x,x’)<1$ です。 ガウスカーネルの特徴ベクトルとは データ $x$ に対する特徴ベクトルが $\overrightarrow{\phi}(x)$ であるとき、それに対応するカーネル関数は、 $K(x,x’)=\overrightarrow
グラム行列について、線形代数とデータ分析という２つの観点から見ていきます。また、グラム行列の性質についても解説します。 線形代数におけるグラム行列 行列 $A$ に対して、$A^{\top}A$ という行列をグラム行列と言います。 $A$ の各列（縦ベクトル）を $\overrightarrow{a_i}$ とおくと、 $A=(\overrightarrow{a_1},\cdots,\overrightarrow{a_n})$ と表現できますが、このときグラム行列の $ij$ 成分は、$\overrightarrow{a_i}\cdot\overrightarrow{a_j}$ と書けます。 ～補足～ ・$A$ は正方行列でなくても $A^{\top}A$ は正方行列になります。 ・このページでは、$A$ は実行列とします。複素行列を考える場合は、転置 $A^{\top}$ の変わりに随伴
後ほど具体例で見るように、$P$ と $Q$ が似ている分布のとき、交差エントロピーは小さくなります。 交差エントロピーは、機械学習（2値分類、多値分類）における予測の誤差として使われることが多いです。実際、$P$ を「正解の分布」、$Q$ を「予測の分布」とすると、機械学習による予測が正解に似ているほど、$P$ と $Q$ の交差エントロピーが小さくなると考えることができます。 2値変数の交差エントロピー 例えば、$P$ も $Q$ も二値変数（ベルヌーイ分布）の場合 つまり、 $P(x_1)=p$、$P(x_2)=1-p$ $Q(x_1)=q$、$Q(x_2)=1-q$ のとき、 交差エントロピーは、 $-p\log q-(1-p)\log(1-q)$ となります。 いろいろな $p$ と $q$ に対して交差エントロピーを計算してみました：
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く