Spark Tachyon: как удалить файл?
В Scala в качестве эксперимента я создаю файл последовательности на Tachyon, используя Spark, и читаю его обратно. Я хочу удалить файл из Tachyon, используя также скрипт Spark.
val rdd = sc.parallelize(Array(("a",2), ("b",3), ("c",1)))
rdd.saveAsSequenceFile("tachyon://127.0.0.1:19998/files/123.sf2")
val rdd2 = sc.sequenceFile[String,Int]("tachyon://127.0.0.1:19998/files/123.sf2")
Я не очень хорошо понимаю язык Scala и не могу найти справку о манипулировании путем к файлу. Я нашел способ каким-то образом использовать Java в Scala для этого, но я не могу заставить его работать с помощью Tachyon.
import java.io._
new File("tachyon://127.0.0.1:19998/files/123.sf2").delete()
1 ответ
Есть разные подходы, например:
CLI:
./bin/tachyon tfs rm filePath
Дополнительная информация: http://tachyon-project.org/Command-Line-Interface.html
API:
TachyonFS sTachyonClient = TachyonFS.get(args[0]); sTachyonClient.delete(filePath, true);
Дополнительная информация: https://github.com/amplab/tachyon/blob/master/core/src/main/java/tachyon/examples/BasicOperations.java