Как извлечь векторы пространственных объектов меньшего размера из шумоподобного сложенного автоэнкодера, используя python и tenorflow

Question

Приведенный ниже код импортирует набор данных MNIST и обучает сложный шумоподавляющий автоэнкодер повреждать, кодировать, а затем декодировать данные. По сути, я хочу использовать это как метод нелинейного уменьшения размеров. Как я могу получить доступ к функциям меньшего размера, которые кодирует модель, чтобы я мог добавить их в модель кластеризации? В идеале я бы ожидал, что низкоразмерные объекты будут петлями или прямыми линиями (очевидно, в действительности это не будет так).

import numpy as np
import os
import sys
import tensorflow as tf


from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("/tmp/data/")


def plot_image(image, shape=[28, 28]):
    plt.imshow(image.reshape(shape), cmap="Greys", interpolation="nearest")
    plt.axis("off")

def reset_graph(seed=42):
    tf.reset_default_graph()
    tf.set_random_seed(seed)
    np.random.seed(seed)


def show_reconstructed_digits(X, outputs, model_path = None, n_test_digits = 2):
    with tf.Session() as sess:
        if model_path:
            saver.restore(sess, model_path)
        X_test = mnist.test.images[:n_test_digits]
        outputs_val = outputs.eval(feed_dict={X: X_test})

    fig = plt.figure(figsize=(8, 3 * n_test_digits))
    for digit_index in range(n_test_digits):
        plt.subplot(n_test_digits, 2, digit_index * 2 + 1)
        plot_image(X_test[digit_index])
        plt.subplot(n_test_digits, 2, digit_index * 2 + 2)
        plot_image(outputs_val[digit_index])


reset_graph()

n_inputs = 28 * 28
n_hidden1 = 300
n_hidden2 = 150  # codings
n_hidden3 = n_hidden1
n_outputs = n_inputs

learning_rate = 0.01

noise_level = 1.0

X = tf.placeholder(tf.float32, shape=[None, n_inputs])
X_noisy = X + noise_level * tf.random_normal(tf.shape(X))

hidden1 = tf.layers.dense(X_noisy, n_hidden1, activation=tf.nn.relu,
                          name="hidden1")
hidden2 = tf.layers.dense(hidden1, n_hidden2, activation=tf.nn.relu, # not shown in the book
                          name="hidden2")                            # not shown
hidden3 = tf.layers.dense(hidden2, n_hidden3, activation=tf.nn.relu, # not shown
                          name="hidden3")                            # not shown
outputs = tf.layers.dense(hidden3, n_outputs, name="outputs")        # not shown

reconstruction_loss = tf.reduce_mean(tf.square(outputs - X)) # MSE

optimizer = tf.train.AdamOptimizer(learning_rate)
training_op = optimizer.minimize(reconstruction_loss)

init = tf.global_variables_initializer()
saver = tf.train.Saver()

n_epochs = 10
batch_size = 150

with tf.Session() as sess:
    init.run()
    for epoch in range(n_epochs):
        n_batches = mnist.train.num_examples // batch_size
        for iteration in range(n_batches):
            print("\r{}%".format(100 * iteration // n_batches), end="")
            sys.stdout.flush()
            X_batch, y_batch = mnist.train.next_batch(batch_size)
            sess.run(training_op, feed_dict={X: X_batch})
        loss_train = reconstruction_loss.eval(feed_dict={X: X_batch})
        print("\r{}".format(epoch), "Train MSE:", loss_train)
        saver.save(sess, "./my_model_stacked_denoising_gaussian.ckpt")


show_reconstructed_digits(X, outputs, "./my_model_stacked_denoising_gaussian.ckpt")

Answer 1

Автоэнкодер на каждом уровне части кодирования изучает отличительные признаки, а затем на этапе восстановления (в части декодирования) он пытается использовать эти признаки для формирования выходных данных. Но когда автоэкодеры используются для локального извлечения объектов с меньшими размерами, было бы гораздо эффективнее, если вы используете сверточные автоэнкодеры(CAE).

Интуитивно понятным ответом на ваш вопрос может быть использование карт объектов, которые создаются в декодирующей части CAE, в качестве извлеченных объектов более низкого размера. Я имею в виду, обучаем N-слойный CAE на вашем наборе данных, а затем игнорируем выходной слой и используем выходные данные сверточных слоев для целей кластеризации.

Просто для большей ясности, каждую из этих карт характеристик 5x5 (S_2) на изображении выше можно рассматривать как функцию. Вы можете найти быструю демонстрацию и реализацию CAE здесь.

И, наконец, лучше задать такой вопрос сообществу Data Science.