Ошибка функции оценки TensorFlow XOR NN

Question

Я пытаюсь написать XOR MLP с использованием ванильного тензорного потока и застрял, пытаясь понять, как написать функцию eval.

Я получаю ошибку InvalidArgumentError (see above for traceback): targets[1] is out of range, При комментировании accuracy.eval В строке нет ошибок. Вот мой код:

import numpy as np
import tensorflow as tf

n_inputs = 2
n_hidden = 3
n_outputs = 1

def reset_graph(seed=42):
    tf.reset_default_graph()
    tf.set_random_seed(seed)
    np.random.seed(seed)

reset_graph()

X = tf.placeholder(tf.float32, shape=(None, n_inputs), name='X')
y = tf.placeholder(tf.float32, shape=(None), name='y')

def neuron_layer(X, n_neurons, name, activation=None):
    with tf.name_scope(name):
        n_inputs = int(X.get_shape()[1])
        stddev = 2 / np.sqrt(n_inputs)
        init = tf.truncated_normal((n_inputs, n_neurons), stddev=stddev)
        W = tf.Variable(init, name="weights")
        b = tf.Variable(tf.zeros([n_neurons]), name="bias")
        Z = tf.matmul(X, W) + b
        if activation is not None:
            return activation(Z)
        else: return Z

with tf.name_scope('dnn'):
    hidden = neuron_layer(X, n_hidden, name='hidden', activation=tf.nn.sigmoid)
    logits = neuron_layer(hidden, n_outputs, name='outputs')

with tf.name_scope('loss'):
    bin_xentropy = tf.nn.sigmoid_cross_entropy_with_logits(labels=y, logits=logits)
    loss = tf.reduce_mean(bin_xentropy, name='loss')    

learning_rate = 0.1

with tf.name_scope('train'):
    optimizer = tf.train.GradientDescentOptimizer(learning_rate=learning_rate)
    training_op = optimizer.minimize(loss)

with tf.name_scope('eval'):    
    correct = tf.nn.in_top_k(logits, tf.cast(y,tf.int32), 1)
    accuracy = tf.reduce_mean(tf.cast(correct, tf.float32))
    accuracy_summary = tf.summary.scalar('accuracy', accuracy)


init = tf.global_variables_initializer()
saver = tf.train.Saver()

n_epochs = 100
batch_size = 4

def shuffle_batch(X, y, batch_size): # not really needed for XOR
    rnd_idx = np.random.permutation(len(X))
    n_batches = len(X) // batch_size
    for batch_idx in np.array_split(rnd_idx, n_batches):
        X_batch, y_batch = X[batch_idx], y[batch_idx]
        yield X_batch, y_batch

X_train = [
    (0, 0),
    (0, 1),
    (1, 0),
    (1, 1)
]
y_train = [0,1,1,0]    

X_train = np.array(X_train)
y_train = np.array(y_train)

with tf.Session() as sess:
    init.run()
    for epoch in range(n_epochs):
        for X_batch, y_batch in shuffle_batch(X_train, y_train, batch_size):
            sess.run(training_op, feed_dict={X: X_batch, y: y_batch})        
        acc = accuracy.eval(feed_dict={X: X_train, y: y_train})
        print(acc)

Может кто-нибудь показать мне, что я делаю не так с этой функцией? Я попытался адаптировать XOR из примера MNIST в книге "Практическое машинное обучение".

Answer 1

Я не совсем понимаю, чего вы пытаетесь достичь

correct = tf.nn.in_top_k(logits, tf.cast(y,tf.int32), 1)

Я бы порекомендовал использовать

correct = tf.equal( tf.reshape( tf.greater_equal(tf.nn.sigmoid(logits),0.5),[-1] ), tf.cast(y,tf.bool) )

Отредактировано: я заметил, что точность застряла на 0,5 в данном решении. Мне удалось заставить это решение работать (точность: 100,0), внеся следующие изменения.

Поменял сеть на следующую. (используя tanh, используя два скрытых слоя)

with tf.name_scope('dnn'): hidden1 = neuron_layer(X, n_hidden, name='hidden1', activation=tf.nn.tanh) hidden2 = neuron_layer(hidden1, n_hidden, name='hidden2', activation=tf.nn.tanh) logits = neuron_layer(hidden2, n_outputs, name='outputs')

а также n_hidden = 7, n_epochs = 5

Примечание: я не совсем уверен, зачем ему нужны два скрытых слоя. Но, видимо, нужно, чтобы он работал в этих настройках.