Перенос обучения и тонкой настройки с помощью функций Spark DeepImageFeaturizer() и KerasTransformer()
Я пытаюсь подать заявку transfer learning
техника, использующая PySpark
, с VGG-16
сеть.
Я хотел бы заморозить первых m
только слои, и тренировать оставшиеся n-m
, Я пытался с DeepImageFeaturizer()
функция от sparkdl
библиотека, но я не могу выбрать количество слоев для обучения:
DeepImageFeaturizer(inputCol="image", outputCol="features", modelName="VGG16")
Кроме того, я видел KerasTransformer()
функция, но я не уверен, как правильно ее использовать.
Я бы хотел знать:
- Это возможно с
Spark
? - Может быть, я мог бы использовать
KerasTransformer
функционировать? - Могу ли я обучить все слои этого вида применения сети
fine-tuning
?