Извлечение значений из древовидного MapPartitionsRDD
У меня есть MapPartitionsRDD links
, который имеет, в терминах Python, структуру словарного типа.
links.peekJson(123)
res1: kw1": {"kw2": {"kw3": "a"} }
links.map(_.get("kw1.kw2.kw3").getOrElse(""))
res2: "a"
Теперь у меня немного другая структура
links2.peekJson(123)
res1: kw1": {"kw2": [{"kw3": "a"},{"kw3": "b"},{"kw3": "c"},{"kw3": "d"}] }
links.map(_.get("kw1.kw2[1].kw3").getOrElse(""))
res2: "b"`
Есть ли способ получить List[String]
из всех записей в "kw3"
? Нечто подобное
links.map(_.get("kw1.kw2[:].kw3").getOrElse(""))
res3: List("a","b","c","d")`
Мне нужно сохранить соответствие между записью в СДР и этим List[String]