Python asyncio против ThreadPoolExecutor - несогласованные результаты для задачи, основанной исключительно на вводе-выводе
Недавно я столкнулся с проблемой, когда нужно как можно быстрее получить список URL-адресов.
Поэтому, естественно, я устроил небольшой тест, чтобы увидеть, что работает лучше всего.
Подход 1 - asyncio
async def test_async():
async with httpx.AsyncClient() as client:
await asyncio.gather(*(fetch_async(client, symbol) for symbol in symbols))
async def fetch_async(client, symbol):
await client.get(
f"https://query1.finance.yahoo.com/v8/finance/chart/{symbol}.NS", timeout=None,
)
Подход 2 - ThreadPoolExecutor
async def test_threads():
with ThreadPoolExecutor(max_workers=len(symbols)) as pool, httpx.Client() as client:
loop = asyncio.get_event_loop()
await asyncio.gather(
*(
loop.run_in_executor(pool, fetch_sync_fn(client, symbol))
for symbol in symbols
)
)
def fetch_sync_fn(client, symbol):
def fn():
client.get(
f"https://query1.finance.yahoo.com/v8/finance/chart/{symbol}.NS",
timeout=None,
)
return fn
Результаты на MacBook Pro 2013 года
In [3]: %timeit asyncio.run(test_threads())
1.41 s ± 87.2 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
In [4]: %timeit asyncio.run(test_async())
1.24 s ± 62.7 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
Результаты на сервере digital ocean 5$
In [4]: %timeit asyncio.run(test_threads())
5.94 s ± 66.7 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
In [3]: %timeit asyncio.run(test_async())
10.7 s ± 97.6 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
Результаты в Google Colab
%timeit loop.run_until_complete(test_threads())
1 loop, best of 3: 723 ms per loop
%timeit loop.run_until_complete(test_async())
1 loop, best of 3: 597 ms per loop
Вопросы
- В чем причина такого несоответствия? Почему на сервере есть другой победитель, а не на локальной машине?
- Почему оба теста на сервере медленнее? Разве чистая сетевая задача не должна выполняться быстрее на сервере с более быстрым сетевым подключением?