Используя торренты для резервного копирования VHD

Question

Привет, это вопрос, и он может быть излишним, но у меня есть догадка, есть инструмент для этого - или должен быть, и если нет, я мог бы просто сделать это - или, возможно, я лаю неправильное дерево, в этом случае правильно мое мышление:

Но моя проблема заключается в следующем: я ищу способ переноса больших виртуальных жестких дисков с сервера раз в неделю через интернет-соединение, имеющее только умеренную скорость, в решении, которое должно регулироваться для пропускной способности, потому что интернет-соединение всегда в использовании.

Я думал об этом, и проблема известна: большие файлы, которые можно перемещать, которые также можно регулировать, которые могут легко пережить отключение / переподключение / большие и т. Д. И т. Д. - единственное решение, с которым я знаком, это просто отлично работает - это торренты.

Есть ли способ автоматически стратегически создавать торренты и автоматически "отправлять" их в список загрузок клиента удаленно? Я работаю в Windows Hyper-V Host, но я использую только Linux для гостей, и я мог легко приготовить гостя для копирования, поэтому считаю, что это проблема Windows или Linux.

PS: VHDS - это "автономные" копии гостевых серверов к тому времени, когда я их перемещаю - рассмотрим их просто как 20-30-гигабайтные файлы.

PPS: я бы предпочел не тратить деньги

Answer 1

Bittorrent - отличный выбор, так как он отлично обрабатывает как инкрементные обновления, так и автоматическое возобновление после потери соединения.

Чтобы автоматически создать файл.torrent, используйте btmakemetainfo скрипт, найденный в оригинальном пакете bittorrent, или один из многочисленных переписываний (bittornado, ...) - все, что имеет значение, - это возможность его написания. Вы должны позаботиться о том, чтобы установить флаг "отключить DHT" в файле.torrent.

Вам нужно будет найти трекер, который позволит вам отслеживать файлы с произвольными хешами (потому что вы не знаете их заранее); Вы можете использовать существующий открытый трекер или настроить свой собственный, но вы должны позаботиться о том, чтобы соответствующим образом ограничить диапазоны IP-адресов клиентов.

Это уменьшает проблему с передачей файлов.torrent - я обычно использую rsync через ssh из cronjob для этого.

Answer 2

Для этого вы можете использовать rsync ( http://linux.die.net/man/1/rsync). Ищите опцию --partial в man, и это должно сработать. Когда передача прерывается, незаконченный результат (файл или каталог) сохраняется. Я не уверен на 100%, работает ли он с транспортом telnet / ssh при отправке из локального в удаленное местоположение (никогда не проверял), но он должен работать с демоном rsync на удаленной стороне. Вы также можете использовать это для синхронизации в двух локальных хранилищах.

rsync --partial [-r for directories] source destination

редактировать: только что подтвердил вычеркнутое утверждение с помощью SSH

Answer 3

Для двухточечных передач торрент является дорогостоящим использованием полосы пропускания. Для передач 1:n это здорово, так как распределение нагрузки позволяет разделить пропускную способность загрузки клиента другими клиентами, поэтому стоимость полосы пропускания амортизируется, и каждый получает выгоду...

Похоже, у вас есть только один клиент, и в этом случае я бы посмотрел на другое решение...

wget позволяет регулировать передачу и возобновлять передачу с того места, где он остановился, если сервер FTP/http поддерживает возобновление передачи... Это то, что я хотел бы использовать