Самый быстрый способ загрузки текста из URL-адресов с использованием Java без параллелизма
Странный запрос, я знаю, но я работаю над программой в качестве учебного упражнения, которое использует файл.txt, содержащий несколько URL-адресов, указывающих на текстовые файлы в Интернете. Затем он хэширует каждое слово в каждом тексте и позволяет пользователю выполнять поиск.
Я создаю программу дважды, один раз без параллелизма и один раз с. Я почти закончил с хэширующей частью программы без параллелизма, и мои тайминги показывают, что время масштабируется довольно линейно с количеством URL-адресов в исходном файле.
Однако самая медленная часть процесса - это получение URL-адресов из Интернета. В настоящее время я делаю это так
URL url = new URL(revURL);
Scanner revScanner = new Scanner(url.openStream());
где revURL - строка, переданная методу из main. Есть ли более быстрый способ извлечения этих файлов, или это будет настолько быстро, насколько это возможно без нарушения параллелизма?