Градиентный спуск расходится, слишком высокая скорость обучения

Question

Ниже приведен фрагмент кода, который выполняет GD шаг за шагом, но тэта расходится. Что может быть не так?

X = arange(100)
Y = 50 + 4*X + uniform(-20, 20, X.shape)

theta = array([0,0])
alpha = 0.001
# one step of GD
theta0 = theta[0] - alpha * sum( theta[0]+theta[1]*x-y    for x,y in zip(X,Y))/len(X)
theta1 = theta[1] - alpha * sum((theta[0]+theta[1]*x-y)*x for x,y in zip(X,Y))/len(X)
theta = [theta0, theta1]

Answer 1

Скорость обучения была слишком высокой.

alpha = 0.0001