Извлечение значений из древовидного MapPartitionsRDD

У меня есть MapPartitionsRDD links, который имеет, в терминах Python, структуру словарного типа.

links.peekJson(123)
res1: kw1": {"kw2": {"kw3": "a"} }
links.map(_.get("kw1.kw2.kw3").getOrElse(""))
res2: "a"

Теперь у меня немного другая структура

links2.peekJson(123)
res1: kw1": {"kw2": [{"kw3": "a"},{"kw3": "b"},{"kw3": "c"},{"kw3": "d"}] }
links.map(_.get("kw1.kw2[1].kw3").getOrElse(""))
res2: "b"`

Есть ли способ получить List[String] из всех записей в "kw3"? Нечто подобное

links.map(_.get("kw1.kw2[:].kw3").getOrElse(""))
res3: List("a","b","c","d")`

Мне нужно сохранить соответствие между записью в СДР и этим List[String]

0 ответов

Другие вопросы по тегам