Решения для репликации файлов

Думая о процессе сборки под управлением Windows, который будет периодически сбрасывать файлы на диск для репликации на несколько других серверов Windows в том же центре данных. Другие машины будут запускать IIS и предоставлять эти файлы массам.

Общий размер корпуса будет миллионы файлов, 100 ГБ данных. Это должно было бы иметь дело с возможным конфликтом на целевых серверах, скрытыми ссылками, например, через глобальную сеть, с холодным стартом чистых серверов

Решения, о которых я думал до сих пор:

  • Очередная система и демоны либо периодически просыпаются, либо копируются или запускаются как службы.
  • САН - дорого, сложно, дороже
  • РОБОКОПИЯ, на временной работе - просто, но эффективно. Много внутреннего / неопределенного состояния, например, где его в при копировании, ошибки
  • С полки репл. программное обеспечение - дешевле, чем SAN, но все еще дорого
  • UNC общие папки и нет репл. Более высокая задержка, более низкая стоимость - все еще нужно решение для кластеризации.
  • Репликация DFS.

Что еще использовали другие люди?

4 ответа

Решение

Я успешно использовал сценарии rsync для этого типа работы, в нашем случае это тысячи машин. Я полагаю, что есть сервер rsync для Windows, но я не использовал его ни на чем, кроме Linux.

Общие папки UNC и отсутствие репликации имеет много недостатков, особенно если IIS собирается использовать пути UNC в качестве домашних каталогов для сайтов. В состоянии стресса вы столкнетесь с http://support.microsoft.com/default.aspx/kb/810886 из-за количества одновременных сеансов с сервером, совместно использующим папку. Кроме того, вы будете испытывать медленные запуски сайтов IIS, поскольку IIS захочет сканировать / индексировать / кэшировать (в зависимости от версии IIS и настроек ASP) папку UNC.

Я видел тесты с DFS, которые очень многообещающие, не демонстрируя ни одно из перечисленных выше ограничений.

Хотя у нас нет этих миллионов гигабайт данных для управления, мы отправляем и собираем множество файлов в одночасье между нашей основной компанией и ее агентствами за рубежом. Мы уже давно используем allwaysync. Это позволяет синхронизировать папки /ftp. У этого есть хороший интерфейс, который позволяет анализировать и сравнивать папки и файлы, и это, конечно, может быть запланировано.

Мы используем ROBOCOPY в моей организации для передачи файлов. Это работает очень легко, и я чувствую, что стоит рекомендации.

Кроме того, вы не делаете ничего слишком сумасшедшего. Если вы также опытный в Perl, я уверен, что вы могли бы написать быстрый скрипт, который будет отвечать вашим потребностям.

Другие вопросы по тегам