Использует ли distcp данные hadoop ENCRYPT при переносе из одного кластера в другой

Question

Я хотел бы знать, есть ли у distcp возможность шифровать данные при передаче из одного кластера в другой. Я узнал, что он поддерживает шифрование в кластере S3, но это как-то связано с Amazon S3. Что делать, если мы перемещаем обычный текстовый файл из одного кластера в другой. Будет ли он зашифрован или будет отправлен простой текст? Можем ли мы включить такое шифрование, если оно поддерживает?

Answer 1

Из документации HDFS:

После того как KMS настроен и клиенты NameNode и HDFS настроены правильно, администратор может использовать ключ командной строки haddoop и инструменты шифрования hdfs для создания ключей шифрования и установки новых зон шифрования. Существующие данные могут быть зашифрованы путем копирования их в новые зоны шифрования с использованием таких инструментов, как distcp.

Надеюсь, поможет.