Решения для репликации файлов
Думая о процессе сборки под управлением Windows, который будет периодически сбрасывать файлы на диск для репликации на несколько других серверов Windows в том же центре данных. Другие машины будут запускать IIS и предоставлять эти файлы массам.
Общий размер корпуса будет миллионы файлов, 100 ГБ данных. Это должно было бы иметь дело с возможным конфликтом на целевых серверах, скрытыми ссылками, например, через глобальную сеть, с холодным стартом чистых серверов
Решения, о которых я думал до сих пор:
- Очередная система и демоны либо периодически просыпаются, либо копируются или запускаются как службы.
- САН - дорого, сложно, дороже
- РОБОКОПИЯ, на временной работе - просто, но эффективно. Много внутреннего / неопределенного состояния, например, где его в при копировании, ошибки
- С полки репл. программное обеспечение - дешевле, чем SAN, но все еще дорого
- UNC общие папки и нет репл. Более высокая задержка, более низкая стоимость - все еще нужно решение для кластеризации.
- Репликация DFS.
Что еще использовали другие люди?
4 ответа
Я успешно использовал сценарии rsync для этого типа работы, в нашем случае это тысячи машин. Я полагаю, что есть сервер rsync для Windows, но я не использовал его ни на чем, кроме Linux.
Общие папки UNC и отсутствие репликации имеет много недостатков, особенно если IIS собирается использовать пути UNC в качестве домашних каталогов для сайтов. В состоянии стресса вы столкнетесь с http://support.microsoft.com/default.aspx/kb/810886 из-за количества одновременных сеансов с сервером, совместно использующим папку. Кроме того, вы будете испытывать медленные запуски сайтов IIS, поскольку IIS захочет сканировать / индексировать / кэшировать (в зависимости от версии IIS и настроек ASP) папку UNC.
Я видел тесты с DFS, которые очень многообещающие, не демонстрируя ни одно из перечисленных выше ограничений.
Хотя у нас нет этих миллионов гигабайт данных для управления, мы отправляем и собираем множество файлов в одночасье между нашей основной компанией и ее агентствами за рубежом. Мы уже давно используем allwaysync. Это позволяет синхронизировать папки /ftp. У этого есть хороший интерфейс, который позволяет анализировать и сравнивать папки и файлы, и это, конечно, может быть запланировано.
Мы используем ROBOCOPY в моей организации для передачи файлов. Это работает очень легко, и я чувствую, что стоит рекомендации.
Кроме того, вы не делаете ничего слишком сумасшедшего. Если вы также опытный в Perl, я уверен, что вы могли бы написать быстрый скрипт, который будет отвечать вашим потребностям.