Весенняя работа jdbchdfs -

Question

Весенняя работа jdbchdfs -

В настоящее время задание jdbchdfs не имеет partitionPath для выходного каталога, как приемник hdfs. Каков рекомендуемый способ сделать это? я также не вижу никакой JIRA для этого, какой-либо план для такой вещи будет поддерживаться в будущем?

Я подумал и пришел к выводу, что он может создавать несколько файлов для нескольких исполняемых разделов. Однако при больших нагрузках на набор данных мы хотели бы разбить наш вывод на несколько каталогов на основе значений в данных.

Если я хотел создать такую работу, как я могу использовать стратегию разделения из коробки, которая используется в приемнике HDFS? Любые указатели будут оценены.

0

spring-xd spring-data-hadoop

Источник

user2114581 16 мар '15 в 15:34

1 ответ

Другие вопросы по тегам spring-xd spring-data-hadoop

user2370524 16 мар '15 в 17:17 2015-03-16 17:17 · Answer 1 · 2015-03-16 17:17

Текущее задание jdbchdfs использует очень простую реализацию ItemWriter. Он должен быть изменен для использования реализации Spring Hadoop DataWriter и выглядит просто, чтобы внести улучшения. Я создал JIRA https://jira.spring.io/browse/XD-2822 чтобы отслеживать эту улучшенную функциональность с подсказкой о подходе к реализации. Если вы можете попробовать и выпустить PR, это будет высоко ценится.

Ура, Марк