Реализовать параллельную обработку цикла for

Question

Чтобы сделать следующий код параллельным, он считывает данные в одном большом проприетарном формате 9 ГБ и создает 30 отдельных файлов CSV на основе 30 столбцов данных. В настоящее время требуется 9 минут на каждый CSV, записанный на 30-минутном наборе данных. Пространство решений параллельных библиотек в Python немного подавляющее. Можете ли вы направить меня к любому хорошему учебнику / образцу кода? Я не мог найти ничего очень информативного.

for i in range(0, NumColumns):
    aa = datetime.datetime.now()
    allData = [TimeStamp]
    ColumnData = allColumns[i].data    # Get the data within this one Column
    Samples = ColumnData.size           # Find the number of elements in Column data
    print('Formatting Column {0}'.format(i+1))
    truncColumnData = []                # Initialize truncColumnData array each time for loop runs       
    if ColumnScale[i+1] == 'Scale:  '+ tempScaleName:   # If it's temperature, format every value to 5 characters
        for j in range(Samples):
            truncValue = '{:.1f}'.format((ColumnData[j]))
            truncColumnData.append(truncValue)   # Appends formatted value to truncColumnData array

    allData.append(truncColumnData)   #append the formatted Column data to the all data array

    zipObject = zip(*allData)
    zipList = list(zipObject)

    csvFileColumn = 'Column_' + str('{0:02d}'.format(i+1)) + '.csv'    
    # Write the information to .csv file
    with open(csvFileColumn, 'wb') as csvFile:
        print('Writing to .csv file')
        writer = csv.writer(csvFile)
        counter = 0
        for z in zipList:
            counter = counter + 1
            timeString = '{:.26},'.format(z[0])
            zList = list(z)
            columnVals = zList[1:]
            columnValStrs = list(map(str, columnVals))
            formattedStr = ','.join(columnValStrs)
            csvFile.write(timeString + formattedStr + '\n')   # Writes the time stamps and channel data by columns

Answer 1

Одним из возможных решений может быть использование Dask http://dask.pydata.org/en/latest/ Недавно один из моих коллег порекомендовал его мне, поэтому я и подумал об этом.