Как запускать запросы на обновление на spark-sql
Я новичок в spark. Есть ли у меня в любом случае команда обновления в spark-SQL? Я уже создал таблицу кустов, где я манипулировал некоторыми запросами синтаксиса SQL, такими как вставка, выбор, удаление, но не смог запустить команду обновления. Я искал документацию по spark и https://docs.datastax.com/en/datastax_enterprise/4.6/datastax_enterprise/spark/sparkSqlSupportedSyntax.html сайт для этого. но я не нашел UPDATE синтаксиса в их недавнем списке Spark SQL. Пожалуйста, помогите мне. Я использую свечи 2.0
Калян
5 ответов
Записи DataFrame не имеют никаких методов установки, потому что DataFrames основаны на RDD, которые являются неизменяемыми коллекциями, что означает, что вы не можете изменить их состояние. Вот почему спарк sql не поддерживает обновления.
Общий ответ, что вы не можете. Однако, если данные хранятся в Hive с использованием ORC, вы можете сделать что-то подобное, чтобы обновить таблицу с помощью Spark SQL.
Нет, вы не можете выполнять запросы на обновление, вам придется решить, как это сделать как SELECT,
HDFS - это файловая система с однократной записью, а ORC - это файловый формат с однократной записью, поэтому изменения были реализованы с использованием базовых файлов и дельта-файлов, где записываются операции вставки, обновления и удаления.
Нет, вы не можете запустить запрос на обновление в spark-hive, он не поддерживает транзакционные запросы.