Резервное копирование данных Apache Falcon
Я не могу сделать резервную копию данных из одного кластера Hadoop в другой, используя Apache Falcon.
Каковы методы резервного копирования данных из одного кластера в другой?
Существует ли какой-либо объект процесса или рабочий процесс oozie, необходимый для резервного копирования данных из одного кластера в другой с использованием Apache Falcon?
2 ответа
Apache Falcon предоставляет возможность резервного копирования данных в другой кластер hadoop и amazon s3. Microsoft Azure был в плане, но я не уверен в его текущем состоянии.
Резервное копирование данных может быть сделано с помощью функции репликации канала. Просьба обратиться к http://falcon.apache.org/FalconDocumentation.html для получения дополнительной информации.
Вам нужно будет отправить кластер xmls и один фид XML для репликации (резервное копирование в вашем случае будет иметь место). Кластер xmls будет иметь подробную информацию о кластерах, откуда и куда вы хотите скопировать данные.
Apache Falcon обеспечивает прямую репликацию из одного кластера hadoop в другой с помощью репликации Feed. Определите кластеры (каждый для каждого кластера hadoop) и определите ленту, имеющую эти 2 кластера, а также отметьте один как type="source" и один как type="target"(от исходного кластера к репликации целевого кластера). Отправьте и запланируйте канал, и ваша репликация начнется.