Параллельный асинхронный итератор - это возможно?

Question

Прямо сейчас у меня есть следующий код:

import axios from 'axios'

const urls = ['https://google.com', 'https://yahoo.com']

async function* requests() {
  for (const url of urls) {
    yield axios.get(url)
  }
}

;(async () => {
  for await (const n of requests()) {
    console.log(n.config.url) // prints https://google.com and then https://yahoo.com
  }
})()

Как есть, запросы не будут блокировать единственный поток узла, но они будут выполняться последовательно. Мне интересно, можно ли изменить код для принудительного параллелизма.

Answer 1

"Более простой" способ без каких-либо операций - это группировать их и получать каждую партию с Promise.all

import axios from 'axios'

const urls = [
  'https://jsonplaceholder.typicode.com/todos/1', 
  'https://jsonplaceholder.typicode.com/posts/1',
  'https://jsonplaceholder.typicode.com/users/1',
  'https://jsonplaceholder.typicode.com/comments/1'
]

async function* requests(batchSize = 1) {
  let batchedRequests = [];
  for (const url of urls) {
    batchedRequests.push(axios.get(url));
    if (batchedRequests.length === batchSize) {
      yield Promise.all(batchedRequests);
      batchedRequests = [];
    }
  }
  if (batchedRequests.length) { //if there are requests left in batch
    yield Promise.all(batchedRequests);
  }
}

;(async () => {
  for await (const batch of requests(2)) {
    batch.forEach(n => console.log(n.config.url)) // prints https://google.com and then https://yahoo.com
  }
})()

Вы можете использовать rxjsдля достижения аналогичных результатов с преимуществами наблюдаемых объектов с точки зрения гибкости, но это другая библиотека, которая может быть более сложной, если вы не знакомы с реактивными потоками. Вот подробный пост, который я нашел по теме: https://medium.com/@ravishivt/batch-processing-with-rxjs-6408b0761f39