少し間が空いてしまいましたが，今回は実践編。第15回で紹介したパーセプトロンを実装してみましょう。

環境はこれまでと同じくPython/numpy/matplotlibを用います。インストールなどの準備は第6回を参照してください。

パーセプトロンの復習

第15回で紹介したパーセプトロンの学習アルゴリズムをもう一度簡単に振り返っておきましょう。

2次元平面上のデータ点(x_n,y_n)(n=1,…,N)に正解ラベルt_n∈{+1,-1}が与えられているとします。パーセプトロンは，次の予測式の結果がすべて正解になるようにパラメータa, b, cを決めるものでした。

そのようなパラメータは，次の手順で求めることができます。

データの中からランダムに1点(x_n,y_n)を取り出し，f(x,y)に代入すると，現在のパラメータを用いた予測値として＋1または－1が得られます。それが正解t_nと一致する場合は何もせず，一致しなかった場合，次のようにパラメータを更新します。

続いてまた別のデータ点をランダムに取って，この操作を繰り返します。

すべてのデータ点について「予測→外れたら更新」を実行したら，また最初から繰り返します。予測が外れる点が無くなったら学習終了です。

ここまで，2次元空間のデータについて説明してきましたが，一般のD次元空間でも基本は同じです。

D次元空間の点x_nに対して，M次元空間への特徴関数（写像）をφ(x)とすると，予測関数とパラメータの更新式はそれぞれ次のようになります。

これらを使って，上の説明と全く同じようにパラメータを更新します。φ(x,y)=(x,y,1), w=(a,b,c)とおくと，先ほどの2次元の場合に一致します。

パラメータベクトルwの次元は，元の空間の次元Dではなく，特徴空間の次元Mになる点に注意してください。

パーセプトロンの実装

それではパーセプトロンを実装していきますが，まずはどのように実装していくのがよいのかを考えてみます。

一般にプログラムを書くとき，最初に初期化などの準備処理をきちんと記述してから，中核となる部分に取りかかるというのが通常の順番になります。

ところがこういったアルゴリズムのとき，教科書や論文の説明に擬似コードが添えられていれば親切でいいのですが，そうでない場合は中核となる数式が記述されているだけで，準備処理については「読めばわかるよね？」という感じで特に解説されてません。

しかし慣れてないとそのあたりがわかりませんから，説明を読んでも実装できないということが起こります。

そこで今回はまず中核となるところを実装して，それを動かすのに必要な準備処理を後から用意するという順番で実装しましょう。そうすれば，他のアルゴリズムを実装するときにも今回の手順が参考になるかもしれませんからね。

さて，まずは上の更新式を実装します。見ての通りとても簡単な式ですから実装も簡単です。

ここでは簡単のためデータ点が2次元空間上にある場合を実装するのですが，せっかくですから，一般式のほうで実装することにしましょう。

というわけで，まずは特徴関数φを定義します。

import numpy as np

# データ点を特徴ベクトルに変換
def phi(x, y):
  return np.array([x, y, 1])

φの引数のデータ点をベクトルで与える場合は，そのベクトルの末尾に1をつけ加えた新しいベクトルを返すという処理を書くことになりますが，それにはnumpyのconcatenate関数が使えます。今回はこちらの方法は使いませんが，覚えておくと便利でしょう。

# 末尾に定数項にあたる 1 を付け加えるバージョン
# (今回はこちらは使いません)
def phi(x):
  return np.concatenate((x, [1]))

次は予測とパラメータの更新を書きます。数式を素直に実装するとこうなります。

# 予測
predict = np.sign((w * phi(x_n, y_n)).sum())

# 予測が不正解なら，パラメータを更新する
if predict != t_n:
  w += t_n * phi(x_n, y_n)

こうしてみると，x_n, y_n, t_nそしてwが必要ということがわかります。

その中で一番簡単なのはwですから，これをまず指定しましょう。このパーセプトロンのパラメータは0で初期化するのでしたね。

w = np.zeros(3)  # 3次の 0 ベクトル

データは2次元空間ですが，特徴関数φの返り値は3次元ですから，wも3次元であることに注意してください。

次にデータ点(x_n,y_n)や正解t_nですが，これはN個ある中からランダムに取ってくるのでしたね。Nまでの乱数を取ればいいでしょうか。

いえ，その方法では「すべてのデータ点について評価したら，また最初から繰り返す」ことができません。最初にランダムな順番を決めてしまって，後はそれにしたがって一周させるのがいいでしょう。

Pythonで0からN-1までの配列を作るにはrange関数を，それをバラバラに並べ替えるにはrandom.shuffle関数を用います。

import random

w = np.zeros(3)  # 3次の 0 ベクトル

list = range(N)
random.shuffle(list)

for n in list:
  x_n = X[n]
  y_n = Y[n]
  t_n = T[n]
  # 予測
  predict = np.sign((w * phi(x_n, y_n)).sum())

  # 予測が不正解なら，パラメータを更新する
  if predict != t_n:
    w += t_n * phi(x_n, y_n)

さらに「予測が外れる点が無くなったら学習終了」というのも必要です。これは予測を外した回数を数えておけば簡単に実現できます。

while True:
  list = range(N)
  random.shuffle(list)

  misses = 0 # 予測を外した回数
  for n in list:
    x_n, y_n = X[n, :]
    t_n = T[n]

    # 予測
    predict = np.sign((w * phi(x_n, y_n)).sum())

    # 予測が不正解なら，パラメータを更新する
    if predict != t_n:
      w += t_n * phi(x_n, y_n)
      misses += 1

  # 予測が外れる点が無くなったら学習終了(ループを抜ける)
  if misses == 0:
      break