Календарное планирование в cron

Question

Я хотел бы запланировать запуск скрипта pyspark в crontab каждые 5 минут. Я успешно запустил скрипт вручную с помощью этой команды:

spark-submit script.py

Проблема в том, что та же команда не работает при запуске из crontab. В логах ничего не показано (они обрезаны)

*/5 * * * * /path/script.sh

Файл script.sh содержит: spark-submit script.py

Пожалуйста, дайте мне знать, если у вас есть идеи, как решить эту проблему.

Answer 1

Вы должны поместить его в файл bash и запустить на cron:

Bash File Your_Script.sh:

#!/bin/bash
echo "RUNNING JOB"
/opt/mapr/spark/spark-1.5.2/bin/spark-submit /Path/To/Your_Script.py parama1

Таким образом, вы можете легко запустить его из крана, вот так:

32 18 * * *  /Path/To/Your_Script.sh

Answer 2

Я встретил ту же проблему с тобой. Я решил ее за 2 шага:

1. см. журнал cron: путь к журналу /var/spool/mail/${username} в Centos. мой журнал: не могу найти hadoop и $JAVA_HOME

2. source /etc/profile: потому что $JAVA_HOME и $HADOOP_HOME настроены в / etc / profile в моей ОС. Если $JAVA_HOME и $HADOOP_HOME настроены в ~/.bashrc, следует source ~/.bashrc