Spark Tachyon: как удалить файл?

В Scala в качестве эксперимента я создаю файл последовательности на Tachyon, используя Spark, и читаю его обратно. Я хочу удалить файл из Tachyon, используя также скрипт Spark.

val rdd =  sc.parallelize(Array(("a",2), ("b",3), ("c",1)))
rdd.saveAsSequenceFile("tachyon://127.0.0.1:19998/files/123.sf2")
val rdd2 = sc.sequenceFile[String,Int]("tachyon://127.0.0.1:19998/files/123.sf2")

Я не очень хорошо понимаю язык Scala и не могу найти справку о манипулировании путем к файлу. Я нашел способ каким-то образом использовать Java в Scala для этого, но я не могу заставить его работать с помощью Tachyon.

import java.io._
new File("tachyon://127.0.0.1:19998/files/123.sf2").delete()

1 ответ

Есть разные подходы, например:

  • CLI:

    ./bin/tachyon tfs rm filePath
    

Дополнительная информация: http://tachyon-project.org/Command-Line-Interface.html

  • API:

    TachyonFS sTachyonClient = TachyonFS.get(args[0]);
    sTachyonClient.delete(filePath, true);
    

Дополнительная информация: https://github.com/amplab/tachyon/blob/master/core/src/main/java/tachyon/examples/BasicOperations.java

Другие вопросы по тегам