Передача зашифрованных данных с использованием Sqoop

Question

Возможен ли этот вариант использования:

Чтобы сначала извлечь данные, зашифровать их, передать по сети, расшифровать и загрузить в куст или HDFS, используя Sqoop?

Answer 1

Вы можете достичь этого, выполнив следующие шаги:

1. Используйте инструмент sqoop codegen для генерации кода маппера, который обрабатывает десериализацию данных таблицы.
2. Измените этот код, чтобы зашифровать данные, считанные из таблицы. Каждый экземпляр представляет одну строку.
3. Теперь запустите команду sqoop import, которая будет использовать этот модифицированный код сопоставления для генерации зашифрованных данных. Это передается в формате hdf.
4. Используйте логику дешифрования для выходных файлов в формате hdf, чтобы вернуть содержимое.