Лучшие практики для обработки 500 000+ запросов
Я закончил свой первый Python RESTful API (с Flask RESTPlus) несколько дней назад и написал небольшую программу для его тестирования:
if __name__ == '__main__':
with open('dataset.csv') as dataset:
reader = csv.DictReader(dataset)
nb_requests = 0
for row in reader:
data = json.dumps(row)
nb_requests += 1
requests.post(url=url, data=data, headers=header)
Проблема заключается в следующем:
У меня есть довольно большой набор данных CSV, который мне нужно протестировать (500k+ строк), и мне нужно сделать запрос POST к моему API для каждой строки внутри него.
Как и ожидалось, это медленно, потому что обе программы синхронны, и мне было интересно, что будет лучшим способом сделать это быстрее?
Я читал о многопоточности, многопроцессорности, асинхронности... Но на самом деле я не знаю, что было бы лучшим решением для ускорения API и моей программы тестирования. Какие-либо предложения?
Спасибо за ваши огни!