Пример K-средних (tf.expand_dims)

Question

В примере кода Kmeans Tensorflow,

Когда используется функция 'tf.expand_dims'(вставляет размер 1 в форму тензора.) В point_expanded, centroids_expanded перед вычислением tf.reduce_sum.

почему они имеют разные индексы (0, 1) во втором параметре?

import numpy as np
import tensorflow as tf
points_n = 200
clusters_n = 3
iteration_n = 100
points = tf.constant(np.random.uniform(0, 10, (points_n, 2)))
centroids = tf.Variable(tf.slice(tf.random_shuffle(points), [0, 0],[clusters_n, -1]))
points_expanded = tf.expand_dims(points, 0)
centroids_expanded = tf.expand_dims(centroids, 1)
distances = tf.reduce_sum(tf.square(tf.subtract(points_expanded, centroids_expanded)), 2)
assignments = tf.argmin(distances, 0)
means = []
for c in range(clusters_n):
    means.append(tf.reduce_mean(tf.gather(points,tf.reshape(tf.where(tf.equal(assignments, c)), [1, -1])), reduction_indices=[1]))
new_centroids = tf.concat(means,0)
update_centroids = tf.assign(centroids, new_centroids)
init = tf.global_variables_initializer()
with tf.Session() as sess:
    sess.run(init)
    for step in range(iteration_n):
    [_, centroid_values, points_values, assignment_values] = sess.run([update_centroids, centroids, points, assignments])
    print("centroids" + "\n", centroid_values)
plt.scatter(points_values[:, 0], points_values[:, 1], c=assignment_values, s=50, alpha=0.5)
plt.plot(centroid_values[:, 0], centroid_values[:, 1], 'kx', markersize=15)
plt.show()

Answer 1

Это сделано, чтобы вычесть каждый центроид из каждой точки. Во-первых, убедитесь, что вы понимаете понятие вещания ( https://docs.scipy.org/doc/numpy/user/basics.broadcasting.html), которое связано с tf.subtract ( https://www.tensorflow.org/api_docs/python/tf/subtract). Затем вам просто нужно нарисовать формы points, expanded_points, centroids, а также expanded_centroids и понять, какие значения получают "трансляция", где. Как только вы это сделаете, вы увидите, что вещание позволяет вам вычислять именно то, что вы хотите - вычтите каждую точку из каждого центроида.

В качестве проверки работоспособности, поскольку существует 200 точек, 3 центроида, и каждый является 2D, у нас должно быть 200*3*2 различий. Это именно то, что мы получаем:

In [53]: points
Out[53]: <tf.Tensor 'Const:0' shape=(200, 2) dtype=float64>

In [54]: points_expanded
Out[54]: <tf.Tensor 'ExpandDims_4:0' shape=(1, 200, 2) dtype=float64>

In [55]: centroids
Out[55]: <tf.Variable 'Variable:0' shape=(3, 2) dtype=float64_ref>

In [56]: centroids_expanded
Out[56]: <tf.Tensor 'ExpandDims_5:0' shape=(3, 1, 2) dtype=float64>

In [57]: tf.subtract(points_expanded, centroids_expanded)
Out[57]: <tf.Tensor 'Sub_5:0' shape=(3, 200, 2) dtype=float64>

Если у вас возникли проблемы с рисованием фигур, вы можете подумать о трансляции expanded_points с размерностью (1, 200, 2) в размерность (3, 200, 2) 3 раза скопировав матрицу 200х2 вдоль первого измерения. Матрица 3х2 в centroids_expanded (формы (3, 1, 2)) копируются 200 раз по второму измерению.