Лучшие практики для обработки 500 000+ запросов

Я закончил свой первый Python RESTful API (с Flask RESTPlus) несколько дней назад и написал небольшую программу для его тестирования:

if __name__ == '__main__':
with open('dataset.csv') as dataset:
    reader = csv.DictReader(dataset)
    nb_requests = 0
    for row in reader:
        data = json.dumps(row)
        nb_requests += 1
        requests.post(url=url, data=data, headers=header)

Проблема заключается в следующем:

У меня есть довольно большой набор данных CSV, который мне нужно протестировать (500k+ строк), и мне нужно сделать запрос POST к моему API для каждой строки внутри него.

Как и ожидалось, это медленно, потому что обе программы синхронны, и мне было интересно, что будет лучшим способом сделать это быстрее?

Я читал о многопоточности, многопроцессорности, асинхронности... Но на самом деле я не знаю, что было бы лучшим решением для ускорения API и моей программы тестирования. Какие-либо предложения?

Спасибо за ваши огни!

0 ответов

Другие вопросы по тегам