Машинное обучение Azure FileDataSet Images - Shard/Split на узлы поровну

Question

Как читать часть набора данных файлов Azure (содержащего 1000 изображений) на разных узлах поезда. Мне нужна выборка, в которой покрыты все изображения.

https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.data.file_dataset.filedataset?view=azure-ml-py

Я ищу такой вариант, как tensorflow.dataset.shard().
Спасибо.

Answer 1

Вы можете использовать ParallelRunStep в конвейерах с FileDataset в качестве входных данных. См.: https://docs.microsoft.com/en-us/azure/machine-learning/how-to-use-parallel-run-step и https://docs.microsoft.com/en-us/python/api/azureml-contrib-pipeline-steps/azureml.contrib.pipeline.steps.parallelrunstep?view=azure-ml-py