Wrapper Ktrain для мультиклассовой классификации текста - параллельное согласование с процессором

Question

Я пытаюсь решить проблему классификации нескольких классов с помощью BERT, используя оболочку Ktrain. Имея большой объем данных, я хотел знать, можно ли распараллелить функцию Learner.fit_onecycle (3e-4, 5) или функцию autofit ().

Например, как это происходит со sklerarn, где вы указываете количество параллельных заданий с параметром n_jobs.

Вы можете мне помочь? Спасибо

Answer 1

Во-первых, если вы используете DistilBert вместо BERT в ktrain , это сократит ваше время обучения вдвое. Во-вторых, TensorFlow2 по умолчанию должен использовать несколько ядер при вызове любого из подходящих методов в ktrain с использованием ЦП. Вы можете контролировать количество ядер процессора, если хотите.