Можно ли чередовать набор данных tf.data из нескольких файлов?

Question

В настоящее время у меня есть набор данных, который разделен на три разных типа файлов npy: один содержит все переменные x, которые являются плавающими, второй содержит все переменные x, которые являются целыми числами, и один, содержащий все y-метки.

Чтобы просмотреть все файлы, я создал набор данных tf.data из генератора, например

def tf_data_generator(filelist_float, filelist_int, filelist_y, batch_size=4096):
    i=0
    while True:
        if i == len(filelist_y):
            i = 0
            indicies = np.arange(len(filelist_float))
            np.random.shuffle(indicies)
            filelist_float
        else:
            xf = np.load(filelist_float[i])
            xi = np.load(filelist_int[i])
            y = np.load(filelist_y[i])
            filefinish = False
            fileIndex = 0
            # In case files have different lengths
            fileEnd = np.min([xf.shape[0], xi.shape[0], y.shape[0]])
            while not filefinish:
                if fileIndex + batch_size >= fileEnd:
                    yield np.concatenate((xf[fileIndex:fileEnd], xi[fileIndex:fileEnd]), axis=1), y[fileIndex:fileEnd]
                    filefinish = True
                else:
                    yield np.concatenate((xf[fileIndex:fileIndex+batch_size], xi[fileIndex:fileIndex+batch_size]), axis=1), y[fileIndex:fileIndex+batch_size]
                    fileIndex += batch_size
            i+=1

 training_generator = tf.data.Dataset.from_generator(tf_data_generator, args = training_files_dir, output_types = (tf.float16, tf.int16)) 

У меня вопрос, будет ли быстрее, если вместо этого чередовать этот процесс, и если да, могу ли я сделать это с этими тремя отдельными файлами или мне придется объединить их все в один? Следует отметить, что каждый файл npy может быть загружен в память, но там будет более 10000 файлов npy, поэтому я не могу загрузить все файлы в память.

Заранее спасибо за любые идеи!

Answer 1

Как оказалось, да, вы определенно можете. Если кому интересно или застрянет, вот мой TF2

В функции вызова генератор получает только один из файлов X_float_input и использует его для поиска соответствующих файлов X_int_input и Y_input.

class generator:
    def __call__(self, file, batch_size): #X_float_input.npy
        actual_file = file.decode("utf-8") 
        xf = np.load(actual_file)
        xi = np.load(actual_file.replace("float", "int"))
        y = np.load(actual_file.replace("X_float", "Y"))

        filefinish = False
        fileIndex = 0
        # In case files have different lengths
        fileEnd = np.min([xf.shape[0], xi.shape[0], y.shape[0]])
        while not filefinish:
            if fileIndex + batch_size >= fileEnd:
                yield np.concatenate((xf[fileIndex:fileEnd], xi[fileIndex:fileEnd]), axis=1), y[fileIndex:fileEnd]
                filefinish = True
            else:
                yield np.concatenate((xf[fileIndex:fileIndex+batch_size], xi[fileIndex:fileIndex+batch_size]), axis=1), y[fileIndex:fileIndex+batch_size]
                fileIndex += batch_size

# training_files_dir = ["X_float_input_1.npy", "X_float_input_2.npy"]
training_generator = tf.data.Dataset.from_tensor_slices(training_files_dir)
training_generator = training_generator.interleave(lambda filename: tf.data.Dataset.from_generator(
            generator(), 
            output_types=(tf.float16, tf.int16),
            args=(filename, BATCH_SIZE,)), num_parallel_calls=tf.data.experimental.AUTOTUNE).prefetch(tf.data.experimental.AUTOTUNE)
training_generator = training_generator.shuffle(10000, reshuffle_each_iteration=True).repeat(EPOCHS)#.prefetch(tf.data.experimental.AUTOTUNE).cache()

Однако следует отметить, что вам нужно вызвать функцию повторения с количеством эпох, иначе генератор не будет обновляться.