Получить вывод последних 4 слоев BERT (Tensorflow)

Question

Я просматривал статью Андреаса Пойатзиса, опубликованную на сайте ridedatascience.com. Ниже ссылка на статью.

https://towardsdatascience.com/nlp-extract-contextualized-word-embeddings-from-bert-keras-tf-67ef29f60a7b

Сгенерированные вложения происходят с использованием TPU. Но я хочу запустить его на своем локальном компьютере, который не поддерживает TPU. Может ли кто-нибудь сообщить мне, как я могу запустить тот же код на процессоре? Ваша помощь будет оценена по достоинству. Благодарность!

Answer 1

При переходе по ссылке в коде говорится, что если TPU недоступен, оценщик возвращается к ЦП или ГП. Просто убедитесь, что вы установилиuse_tpu = False везде он появляется:

  # If TPU is not available, this will fall back to normal Estimator on CPU
  # or GPU.
  estimator = tf.contrib.tpu.TPUEstimator(
      use_tpu=False,
      model_fn=model_fn,
      config=run_config,
      predict_batch_size=BATCH_SIZE,
      train_batch_size=BATCH_SIZE)

Также прямо над этим в model_fn_builderвызов. Как это:

model_fn = model_fn_builder(
      bert_config=bert_config,
      init_checkpoint=INIT_CHECKPOINT,
      layer_indexes=layer_indexes,
      use_tpu=False,
      use_one_hot_embeddings=True)