SAS - проблема удаления шага данных куста

Когда мы удаляем управляемую таблицу, Hive удаляет данные в таблице, как я понимаю. По умолчанию параметр шага данных SAS DBCREATE_EXTERNAL имеет значение NO, что означает, что шаг данных SAS с использованием библиотек кустов, как показано ниже, создает "управляемую таблицу".

введите описание изображения здесь

При использовании proc sql - отбрасывание таблицы / proc delete / proc dataset - delete метаданные куста удаляются, т.е. структура таблицы удаляется из схемы, а базовый файл HDFS - нет. Повторно выполняя тот же шаг данных (после удаления), i,e. создание той же таблицы в схеме - количество загруженных записей неверно.

меры

  1. Создайте таблицу кустов, используя шаг данных SAS, и запишите количество строк.
  2. Удалить таблицу с помощью proc sql delete / proc dataset delete.
  3. Запустите шаг создания таблицы снова.
  4. Подсчитайте количество строк.

Источник: http://support.sas.com/documentation/cdl/en/acreldb/69580/HTML/default/viewer.htm

Благодарю.

1 ответ

Эта проблема возникает из-за требования альтернативного синтаксиса для процедуры DROP TABLE, когда данные таблицы находятся в зоне шифрования HDFS.

Исправление: http://support.sas.com/kb/58/727.html

Другие вопросы по тегам