scala spark - подсчет четных чисел из файла

Question

Я новичок в мире больших данных. Нужна ваша помощь, чтобы сделать это реальностью. Вот мой вопрос. Я читаю данные из txt файла (1,2,3,4,4,4,4)

var file=sc.textFile("file:///home/cloudera/MyData/Lab1/numbers.txt")
var number=file.flatMap(line=>line.split(","))
var intNumbers=number.map(num=>num.toInt)//Error
intNumbers.collect()

java.lang.NumberFormatException: для входной строки: ""

ошибка из-за того, что последний элемент массива не может быть преобразован в Int

Пожалуйста, помогите на этом Спасибо заранее.

С уважением, Изучение Спарк

Answer 1

У вас есть фильтр пустой строки перед приведением к Integer.

var file=sc.textFile("file:///home/cloudera/MyData/Lab1/numbers.txt")
var number=file.flatMap(line=>line.split(",")).filter(num => num != "")
var intNumbers=number.map(num=>num.toInt)//Error
intNumbers.collect()