Как я могу обучить модель с TensorFlow без формулы?

Question

Я учусь TensorFlow.

У меня есть вопрос о коде во введении:

import tensorflow as tf
import numpy as np

# Create 100 phony x, y data points in NumPy, y = x * 0.1 + 0.3
x_data = np.random.rand(100).astype(np.float32)
y_data = x_data * 0.1 + 0.3

# Try to find values for W and b that compute y_data = W * x_data + b
# (We know that W should be 0.1 and b 0.3, but TensorFlow will
# figure that out for us.)
W = tf.Variable(tf.random_uniform([1], -1.0, 1.0))
b = tf.Variable(tf.zeros([1]))
y = W * x_data + b

# Minimize the mean squared errors.
loss = tf.reduce_mean(tf.square(y - y_data))
optimizer = tf.train.GradientDescentOptimizer(0.5)
train = optimizer.minimize(loss)

# Before starting, initialize the variables.  We will 'run' this first.
init = tf.global_variables_initializer()

# Launch the graph.
sess = tf.Session()
sess.run(init)

# Fit the line.
for step in range(201):
    sess.run(train)
    if step % 20 == 0:
        print(step, sess.run(W), sess.run(b))

# Learns best fit is W: [0.1], b: [0.3]

Эта программа учится лучше всего подходят W и б.

Если я не знаю формулу (y = W * x_data + b) как я могу тренировать модель?

Например, это тренировочный набор:

{input = {{1,1}, {1,2}, {2,3}, ... },  target = {2, 3, 5, ...}}

Как обучить функцию (a, b) ~= (a+b)?

Answer 1

В большинстве случаев нам неизвестна точная форма объективной формулы. Таким образом, мы должны спроектировать функцию и попытаться аппроксимировать объективную формулу этой функцией. В нейронной сети формула определяется архитектурой сети (например, Многослойный персептрон или Рекуррентная нейронная сеть) и гиперпараметрами (например, количество скрытых слоев, количество нейронов в скрытых слоях).

Например, в данном конкретном случае можно предположить, что приближенная функция имеет вид (y = Wa+Ub+C - линейный персептрон), и обучить параметры этой функции (W,U,C) для аппроксимации параметров объективная формула (у = а + б) с использованием данных.

Answer 2

Нейронная сеть - это универсальный аппроксиматор функции: то есть для любой функции (линейной, полиномиальной и т. Д.) Нейронная сеть может аппроксимировать ее с учетом достаточного количества узлов в скрытых слоях и функции активации. Нелинейная функция активации (например, sigmoid, tanh, ReLU) будет "изгибать" линейную границу, создаваемую Wx+b, чтобы она была нелинейной.