ラジアル基底関数、RBFカーネル、RBFネットワークを簡単に説明

異なる学習パラダイム

アンドレ-イェー

フォローしている

2020年9月26日•7分読み取り

あなたの仕事は、データを1行で2つのクラスに完全に分離する方法を見つけることです。

一見すると、これは不可能な作業のように見えるかもしれませんが、私たちが一次元に自分自身を制限する場合にのみそうです。

波状関数f(x)を導入し、xの各値を対応する出力にマップしましょう。 便利なことに、これにより、すべての青い点が高くなり、赤い点が適切な場所で低くなります。 次に、クラスを2つの部分にきれいに分割する水平線を描くことができます。

この解は非常に卑劣なようですが、実際には放射状基底関数(RBFs)の助けを借りて一般化することができます。 それらには多くの特殊なユースケースがありますが、RBFは本質的に単純に、点が中心からの距離として定義される関数です。 Rbfを使用する方法は、基本的に標準的な機械学習料金とは異なる学習パラダイムを共有しており、これが非常に強力なものになっています。

例えば、点は平均からの標準偏差の数として表されるので、ベル曲線はRBFの例である。 形式的には、RBFを次のように書くことができる関数として定義することができます:

たとえば、

これは’半径基底関数’の’半径’の側面です。 動径基底関数は原点の周りで対称であると言うことができます。

上記のタスク—魔法のように点を1つの線で分離する—は放射状基底関数カーネルとして知られており、強力なSupport Vector Machine(SVM)アルゴリズムに応用されています。 ‘カーネルトリック’の目的は、単純な線形方法で分離しやすくなるように、元の点をいくつかの新しい次元に投影することです。

三つの点を持つタスクの簡単な例を取る。

各点を中心とした正規分布(または別の任意のRBF関数)を描画しましょう。

次に、1つのクラスのデータ点のすべての動径基底関数を反転できます。

各点xで放射状基底関数のすべての値を追加すると、次のような中間の”グローバル”関数が得られます:

私たちは波状のグローバル関数を達成しました(それをg(x)と呼びましょう)! これは、RBF関数の性質のために、あらゆる種類のデータレイアウトで動作します。

選択したRBF関数—正規分布—は、1つの中心領域では密であり、他のすべての場所ではそれほど密ではありません。 したがって、xの値がその位置の近くにあるときにg(x)の値を決定する際に多くの揺れがあり、距離が増加するにつれてパワーが減少します。 このプロパティは、RBF関数を強力にします。

位置xのすべての元の点を2次元空間の点(x, g(x))にマッピングすると、ノイズが大きすぎない限り、データを常に確実に分離できます。 RBF関数が重複しているため、データの適切な密度に従って常にマッピングされます。

実際には、—加算と乗算—動径基底関数の線形結合を使用して、ほぼすべての関数をうまく近似することができます。

いくつかのRBF関数(色鮮やかな実線)で構成されるデータポイント(紫色)をモデル化するために使用される関数(黒)。 ソース。 画像無料共有

放射状基底ネットワークは、単純な二層ネットワークに”放射状基底ニューロン”を組み込むことによって、このアイデアを心に取ります。

入力ベクトルは、分類または回帰タスク(1つの出力ニューロンのみ)が実行されているn次元入力です。 入力ベクトルのコピーは、次の放射状基底ニューロンのそれぞれに送信されます。

各RBFニューロンは、「中心」ベクトルを格納します。 入力ベクトルが中心ベクトルと比較され、差がRBF関数に接続されます。 たとえば、中央ベクトルと入力ベクトルが同じ場合、差はゼロになります。 X=0での正規分布は1であるため、ニューロンの出力は1になります。

したがって、’central’ベクトルは、ピーク出力を生成する入力であるため、RBF関数の中心にあるベクトルです。

同様に、中心ベクトルと入力ベクトルが異なる場合、ニューロンの出力はゼロに向かって指数関数的に減衰します。 したがって、RBFニューロンは、入力ベクトルと中心ベクトルの間の類似性の非線形尺度と考えることができます。 ニューロンは半径-半径ベースであるため、方向ではなく差ベクトルの大きさが重要です。

最後に、RBFノードからの学習は、出力層への単純な接続によって重み付けされ、合計されます。 出力ノードは、カテゴリに特定の重要性を持つRBFニューロンに大きな重み値を与え、出力が重要でないニューロンにはより小さな重みを与えます。

なぜ放射状基底ネットワークはモデリングに”類似性”アプローチを取るのですか? 20個のRBFノードの中心ベクトルが’+’で表される2次元データセットの例を次に示します。

コメントを残す

メールアドレスが公開されることはありません。