Как привести столбец в датафрейм?
Я беру данные из hbase и преобразовываю их в dataframe. Теперь у меня есть столбец в фрейме данных, который string
datatype. Но мне нужно преобразовать его тип данных в Int
,
Пробовал ниже код, но это выдает мне ошибку
df.withColumn("order", 'order.cast(int)')
Ошибка, с которой я сталкиваюсь, находится ниже
error:col should be column
Я дал правильное имя столбца здесь, мне нужно изменить синтаксис вышеупомянутого кода в pyspark?
1 ответ
Решение
Или:
df.withColumn("order", df.order.cast("int"))
или же
from pyspark.sql.functions import expr
df.withColumn("order", expr("CAST(order AS INTEGER)"))