SAS - проблема удаления шага данных куста
Когда мы удаляем управляемую таблицу, Hive удаляет данные в таблице, как я понимаю. По умолчанию параметр шага данных SAS DBCREATE_EXTERNAL имеет значение NO, что означает, что шаг данных SAS с использованием библиотек кустов, как показано ниже, создает "управляемую таблицу".
При использовании proc sql - отбрасывание таблицы / proc delete / proc dataset - delete метаданные куста удаляются, т.е. структура таблицы удаляется из схемы, а базовый файл HDFS - нет. Повторно выполняя тот же шаг данных (после удаления), i,e. создание той же таблицы в схеме - количество загруженных записей неверно.
меры
- Создайте таблицу кустов, используя шаг данных SAS, и запишите количество строк.
- Удалить таблицу с помощью proc sql delete / proc dataset delete.
- Запустите шаг создания таблицы снова.
- Подсчитайте количество строк.
Источник: http://support.sas.com/documentation/cdl/en/acreldb/69580/HTML/default/viewer.htm
Благодарю.
1 ответ
Эта проблема возникает из-за требования альтернативного синтаксиса для процедуры DROP TABLE, когда данные таблицы находятся в зоне шифрования HDFS.
Исправление: http://support.sas.com/kb/58/727.html