Как остановить Spark Streaming

Question

Я работаю над твиттером. Я хочу прекратить трансляцию через одну минуту. Кто-нибудь может дать идею, как это сделать? Я попытался ssc.awaitTermination(60000). но это не сработало.

Answer 1

Обратите внимание, что awaitTermination с тайм-аутом не рекомендуется:

https://github.com/apache/spark/blob/master/streaming/src/main/scala/org/apache/spark/streaming/StreamingContext.scala

Однако с любым awaitTermination или же awaitTerminationOrTimeout Вы должны следовать за этим с ssc.stop остановить контекст, как только истечет время ожидания.