Как я могу найти размер всего онлайн открытого каталога?

Question

Я хотел бы знать общий размер открытой директории онлайн. Как я могу это сделать?

Примером использования может быть выяснение размера зеркала репозитория.

Как узнать общий размер открытых каталогов, например: http://old-releases.ubuntu.com/ или http://download.kiwix.org/ или http://apollo.sese.asu.edu/data/?

Answer 1

Это довольно быстрый и простой способ найти размер любого открытого каталога в Интернете.

TL; DR

Установите rclone и замените URL тем, что вы хотите.

Установите Rclone (бинарные файлы доступны здесь)

curl https://rclone.org/install.sh | sudo bash

Получить размер каталога (замените URL-адрес на любой открытый каталог, не удаляйте его :http:)

rclone size --http-url http://old-releases.ubuntu.com/ :http:

объяснение

Использование rclone + http с дополнительным монтированием поможет.

Это дает вам возможность проверить размер с помощью всевозможных методов. rclone size http: или же rclone mount http: directory/ затем cd directory/ а также du -sh или же du -hd1 или же ncdu ( отсюда) или (НЕ рекомендуется) ls -shR

Будь добрым

Возможно, вы захотите избежать удара по серверу, изменяя значения и добавляя / удаляя --fast-list в этой команде:

rclone size http: -v --tpslimit 5 --bwlimit 500K --checkers 5 --fast-list

Отрегулируйте вверх или вниз в соответствии с вашими потребностями и возможностями сервера. Например, всего за пару минут я смог использовать rclone size на сервере, который я думал, будет хорошо с ним, и получил эти результаты возвращены.

Примеры

$ rclone size --http-url http://apollo.sese.asu.edu/data/ :http: --checkers 100

Total objects: 195669
Total size: 123.619 TBytes (135920738673216 Bytes)

$ rclone size --http-url http://download.kiwix.org :http: --checkers 100
Total objects: 24624
Total size: 5.711 TBytes (6279328743124 Bytes)