Можно ли и как уменьшить габариты встраиваний ELMO с помощью модели tf-hub elmo?

Question

Я использую модель ELMO от tenorflow hub.

import tensorflow as tf
import tensorflow_hub as hub
from tensorflow.contrib import predictor

elmo = hub.Module("https://tfhub.dev/google/elmo/3", trainable=False)

Размер вывода по умолчанию - 1024. Есть ли какой-либо способ уменьшить размер вложений ELMO до 128 без использования PCA/ потери информации?

Answer 1

Поскольку ELMoэто предварительно обученные модели, выпущенные Allnnlp, они дадут фиксированное выходное измерение на основе обучения, которое составляет 1024.

Один из способов уменьшить размерность вывода - попробовать такие методы уменьшения размерности, как PCA,tSNE, UMAP, но, как вы сказали, это будет за счет потери информации.

Вместо этого вы можете обучить ELMoс нуля, с большим количеством данных и устройств для обучения.
Вы можете следить за этой статьей, в которой рассказывается о тренировках. ELMoс нуля.
В этом файле можно изменить гиперпараметры, такие как размер вывода и другие действия.