Как выполнить действие оболочки oozie с помощью скрипта, имеющего команду curl
Извинения, поскольку я не пробовал это ранее.
Привет,
Мне нужно создать рабочий процесс oozie, который исполняет сценарий оболочки. Сценарий оболочки имеет команду curl, которая загружает определенный файл из репозитория клиента.
Как команды в сценариях оболочки могут распознавать только каталоги hdfs, как я могу выполнить сценарий?
Допустим, ниже приведен пример кода:
curl -o ~/test.jar http://central.maven.org/maven2/commons-lang/commons-lang/2.6/commons-lang-2.6.jar
hdfs dfs -copyFromLocal ~/test.jar /user/sr/test2
Как я могу выполнить сценарий с двумя вышеуказанными командами, используя oozie.?
1 ответ
Я нашел ответ...
данных =curl http://central.maven.org/maven2/commons-lang/commons-lang/2.6/commons-lang-2.6.csv
echo "$ data" | hdfs dfs -appendToFile - /path/to/hdfs/directory/PPP.csv