Teradata Быстрый экспорт (или TPT) против экспорта Sqoop
Изменить: необходимо определить, какой из них лучше для экспорта огромного объема данных из Teradata - Sqoop, TPT или fexp
ОП: Мне уже известно, что быстрый экспорт teradata и TPT нельзя использовать для экспорта данных напрямую в Hadoop. Я могу переносить данные в локальную среду и параллельно перемещать их в hadoop.
Я хочу знать, какой инструмент извлекает данные из Teradata наиболее эффективным способом.
Я должен извлечь набор данных с огромным объемом данных (почти 25 миллиардов записей размером ~ 15 ТБ). Конечно, данные в Teradata хорошо разделены, и я собираюсь разделить свою стратегию извлечения на основе разделов и Unique PI.
Я не смог найти достаточно контента, который обеспечил бы прямое сравнение между утилитами Teradata и Sqoop.
Какой инструмент окажет наименьшее влияние на выполняющиеся в настоящее время задания в среде Teradata и извлечет данные наиболее оптимизированным способом.
1 ответ
Конечно, быстрый экспорт Teradata нельзя использовать для прямого экспорта в Hadoop, это старый унаследованный инструмент, который больше не совершенствуется.
Любая новая разработка должна быть сделана с использованием TPT, например
Использование оператора DataConnector для записи файлов и таблиц в Hadoop