Слизняк подавляет журналирование от работы оболочки?

Question

У меня есть простой рабочий процесс (см. Ниже), который запускает сценарий оболочки. Сценарий оболочки запускает скрипт pyspark, который перемещает файл из локальной папки в папку hdfs.

Когда я запускаю сам скрипт оболочки, он работает отлично, журналы перенаправляются в папку с помощью> spark.txt 2>&1 прямо в скрипте оболочки.

Но когда я отправляю работу oozie со следующим рабочим процессом, вывод из оболочки кажется подавленным. Я пытался перенаправить все возможные журналы oozie (-verbose -log) > oozie.txt 2>&1, но это не помогло.

Рабочий процесс успешно завершен (статус SUCCESSEDED, нет журнала ошибок), но я вижу, что папка не копируется в hdfs, однако, когда я запускаю ее один (не через oozie), все в порядке.

<action name="forceLoadFromLocal2hdfs">
<shell xmlns="uri:oozie:shell-action:0.1">
  <job-tracker>${jobTracker}</job-tracker>
  <name-node>${nameNode}</name-node>
  <configuration>
    <property>
      <name>mapred.job.queue.name</name>
      <value>${queueName}</value>
    </property>
  </configuration>
  <exec>driver-script.sh</exec>
  <argument>s</argument>
  <argument>script.py</argument>
  <!-- arguments for py script -->
  <argument>hdfsPath</argument>
  <argument>localPath</argument>
  <file>driver-script.sh#driver-script.sh</file>
</shell>
<ok to="end"/>
<error to="killAction"/>

Большое спасибо!

РЕДАКТИРОВАТЬ: Спасибо совет, я нашел полный журнал под

yarn -logs -applicationId [application_xxxxxx_xxxx] 

Answer 1

Спасибо за совет, я нашел полный журнал под

yarn -logs -applicationId [application_xxxxxx_xxxx]