Tachyon: не удалось переименовать во время команды copyFromLocal

Question

Я использую Apache Spark для создания приложения. Чтобы сделать СДР доступными из других приложений, я пробую два подхода:

1. Используя тахион
2. Использование spark-jobserver

Я новичок в Tachyon. Я выполнил следующие задачи, приведенные в разделе " Бегущий тахион на кластере".

Я могу получить доступ к интерфейсу из master:19999 URL.

Из каталога тахиона я успешно создал каталог./bin/tachyon tfs mkdir /TestНо при попытке выполнить команду copyFromLocal я получаю следующие ошибки:

FailedToCheckpointException(message:Failed to rename hdfs://master:54310/tmp/tachyon/workers/1421840000001/8/93 to hdfs://master:54310/tmp/tachyon/data/93)

Answer 1

Скорее всего, вы используете tachyon и spark-jobserver под разными пользователями и используете HDFS в качестве underFS.

Проверьте https://tachyon.atlassian.net/browse/TACHYON-1339 и соответствующий патч.

Самый простой выход - запустить тахион и ваш сервер искровых заданий от имени одного и того же пользователя.

(Немного) сложнее - портировать патч и перекомпилировать spark, а затем sjs с пропатченным клиентом.