Создание пользовательского многослойного встраиваемого слоя в керас / тф

Question

Я хотел бы сделать собственный слой для встраивания в керас, но не уверен, как это сделать.

В качестве входных данных я передал бы для каждого примера переменное число целых чисел (индексы, из которых я хотел бы сгенерировать вектор фиксированного размера). Numpy версия (которая имеет batch_size = 1) этого встраивания будет:

class numpyEmbedding():

    def __init__(self,vocab_size):
        self.vocab_size  = vocab_size
        self.build()


    def build(self):
        self.W = np.eye(self.vocab_size,dtype=np.int8)

    def __call__(self,x):
         return np.sum(self.W[:,x],axis=-1)

Я предполагаю, что версия keras этого слоя должна быть возможной, но я не уверен, как заставить это работать и какие соображения мне нужно иметь, так как это должно было бы быть применено к мини-пакетам массивов, а не к отдельным массивам.

Спасибо!

Илья

Редактировать:

Пример ввода:

vec = np.random.choice(np.arange(10),100).astype(int)
emb=numpyEmbedding(int(10))(vec)

Выход:

array([11, 10, 11,  9,  8,  9, 13, 12,  6, 11])

Answer 1

Я смог выяснить ответ

class MultihotEmbedding(layers.Layer):

    def __init__(self, vocab_size, **kwargs):
        self.vocab_size = vocab_size
        super(MultihotEmbedding, self).__init__(**kwargs)

    def call(self, x):
        self.get_embeddings = K.one_hot(x,num_classes=self.vocab_size)
        self.reduce_embeddings = K.sum(self.get_embeddings,axis = -2)
        return self.reduce_embeddings

    def compute_output_shape(self, input_shape):
        return (input_shape[0], self.vocab_size)