Классификация реализации персептрона

Question

Я написал пример Percentron на Python отсюда.

Вот полный код

import matplotlib.pyplot as plt
import random as rnd
import matplotlib.animation as animation

NUM_POINTS = 5
LEANING_RATE=0.1

fig = plt.figure()  # an empty figure with no axes
ax1 = fig.add_subplot(1,1,1)
plt.xlim(0, 120)
plt.ylim(0, 120)
points = []
weights = [rnd.uniform(-1,1),rnd.uniform(-1,1),rnd.uniform(-1,1)]
circles = []


plt.plot([x for x in range(100)], [x for x in range(100)])

for i in range(NUM_POINTS):
    x = rnd.uniform(1, 100)
    y = rnd.uniform(1, 100)
    circ = plt.Circle((x, y), radius=1, fill=False, color='g')
    ax1.add_patch(circ)
    points.append((x,y,1))
    circles.append(circ)

def activation(val):
    if val >= 0:
        return 1
    else:
        return -1;

def guess(pt):
    vsum = 0
    #x and y and bias weights
    vsum = vsum + pt[0] * weights[0]
    vsum = vsum + pt[1] * weights[1]
    vsum = vsum + pt[2] * weights[2]

    gs = activation(vsum)
    return gs;


def animate(i):
    for i in range(NUM_POINTS):
        pt = points[i]
        if pt[0] > pt[1]:
            target = 1
        else:
            target = -1
        gs = guess(pt)
        error = target - gs
        if target == gs:
            circles[i].set_color('r')
        else:
            circles[i].set_color('b')
        #adjust weights
        weights[0] = weights[0] + (pt[0] * error * LEANING_RATE)
        weights[1] = weights[1] + (pt[1] * error * LEANING_RATE)
        weights[2] = weights[2] + (pt[2] * error * LEANING_RATE)

ani = animation.FuncAnimation(fig, animate, interval=1000)
plt.show()

Я ожидаю, что точки, нанесенные на график, классифицируют себя как красные или синие в зависимости от ожидаемого условия (координата x> координата y), то есть выше или ниже контрольной линии (y=x)

Это не похоже на работу, и все точки становятся красными после некоторых итераций.

Что я тут не так делаю. То же самое работает в примере с YouTube.

Answer 1

Я посмотрел на ваш код и видео и считаю, что при написании вашего кода точки начинаются с зеленого, если их предположение совпадает с их целью, они становятся красными, а если их предположение не совпадает с целью, они синеют. Это повторяется с оставшимся синим цветом, который в итоге становится красным, поскольку их предположение совпадает с целью. (Изменение веса может стать красным или синим, но со временем это будет исправлено.)

Ниже приведена моя переделка вашего кода, которая замедляет процесс путем: добавления большего количества точек; обрабатывает только одну точку на кадр вместо всех:

import random as rnd
import matplotlib.pyplot as plt
import matplotlib.animation as animation

NUM_POINTS = 100
LEARNING_RATE = 0.1

X, Y = 0, 1

fig = plt.figure()  # an empty figure with no axes
ax1 = fig.add_subplot(1, 1, 1)
plt.xlim(0, 120)
plt.ylim(0, 120)

plt.plot([x for x in range(100)], [y for y in range(100)])

weights = [rnd.uniform(-1, 1), rnd.uniform(-1, 1)]
points = []
circles = []

for i in range(NUM_POINTS):
    x = rnd.uniform(1, 100)
    y = rnd.uniform(1, 100)
    points.append((x, y))

    circle = plt.Circle((x, y), radius=1, fill=False, color='g')
    circles.append(circle)
    ax1.add_patch(circle)

def activation(val):
    if val >= 0:
        return 1

    return -1

def guess(point):
    vsum = 0
    # x and y and bias weights
    vsum += point[X] * weights[X]
    vsum += point[Y] * weights[Y]

    return activation(vsum)

def train(point, error):
    # adjust weights
    weights[X] += point[X] * error * LEARNING_RATE
    weights[Y] += point[Y] * error * LEARNING_RATE

point_index = 0

def animate(frame):
    global point_index

    point = points[point_index]

    if point[X] > point[Y]:
        answer = 1  # group A (X > Y)
    else:
        answer = -1  # group B (Y > X)

    guessed = guess(point)

    if answer == guessed:
        circles[point_index].set_color('r')
    else:
        circles[point_index].set_color('b')

        train(point, answer - guessed)

    point_index = (point_index + 1) % NUM_POINTS

ani = animation.FuncAnimation(fig, animate, interval=100)

plt.show()

Я бросил специальное исправление ввода 0,0, так как оно не применимо для этого примера.

Суть в том, что если все работает, все они должны стать красными. Если вы хотите, чтобы цвет отражал классификацию, вы можете изменить это предложение:

    if answer == guessed:
        circles[point_index].set_color('r' if answer == 1 else 'b')
    else:
        circles[point_index].set_color('g')

        train(point, answer - guessed)