Как выбрать значения из столбца, в котором есть данные массива
+--------------------+--------------------+
| _VALUE| paraarr|
+--------------------+--------------------+
|Archer, Edward Pa...|[, [[, Arbitrator...|
|Archer, Edward Pa...|[, [[, Member:],,...|
|Archer, Edward Pa...|[, [[, Experience...|
|Archer, Edward Pa...|[, [[, Publicatio...|
|Belcher, A. Lee (...|[, [[, Arbitrator...|
|Belcher, A. Lee (...|[, [[, Member:],,...|
|Belcher, A. Lee (...|[, [[, Experience...|
|Bloodsworth, Davi...|[, [[, Arbitrator...|
|Bloodsworth, Davi...|[, [[, Member:],,...|
|Bloodsworth, Davi...|[, [[, Experience...|
|Bloodsworth, Davi...|[, [[, Public Sec...|
|Bloodsworth, Davi...|[, [[, Issue:],,,,]]|
|Bloodsworth, Davi...|[, [[, Industry:]...|
|Brent, Daniel F. ...|[, [[, Arbitrator...|
|Brent, Daniel F. ...|[, [[, Profession...|
|Brent, Daniel F. ...|[, [[, Arbitratio...|
|Brent, Daniel F. ...|[, [[, Permanent ...|
|Brent, Daniel F. ...|[, [[, Issues:],,...|
|Brent, Daniel F. ...|[, [[, Industries...|
|Chiesa, Mario (Mi...|[, [[, Arbitrator...|
+--------------------+--------------------+Используя AWS glue sql context, я хочу изучить столбец paraar и извлечь данные из этого столбца. Я новичок в AWS glue и не могу понять, как мне это сделать.
Я выполнил приведенный ниже код, чтобы получить этот столбец данных.
from pyspark.sql.functions import *
dyf1.toDF().createOrReplaceTempView("x3")
df1=spark.sql("select p._VALUE,explode(para_array) as paraarr from x2")