Описание тега spring-xd
Spring XD is a unified, distributed, and extensible system for data ingestion, real time analytics, batch processing, and data export. The project’s goal is to simplify the development of big data applications.
1
ответ
Чтение CSV-файла из s3 с использованием искры
Я новичок в Spark. У меня есть сценарий, в котором мне нужно прочитать и обработать CSV-файл из AWS s3. Этот файл создается ежедневно, поэтому мне нужно прочитать и обработать его, а также выгрузить данные в Postgres. Я хочу обрабатывать этот огромн…
26 апр '18 в 10:49
1
ответ
Обновить количество модулей SpringXD после развертывания
Я не нашел способа обновить количество модулей после развертывания потока. Интересно, поддерживается ли эта функция в настоящее время? Мне трудно поверить, что единственный способ сделать это - это развернуть и повторно развернуть поток, поскольку э…
17 июл '15 в 17:28
1
ответ
Использование http-источника для сохранения файлов (с другим расширением) в HDFS с одинаковым расширением
Мне нужно создать линию конвейера данных, где источником является HTTP, а Sink - HDFS для размещения данных и файлов. Проблема в том, что я хочу сохранить файлы с тем же расширением, как они изначально отправлены в источник HTTP. Я создал поток с по…
21 фев '15 в 18:30
2
ответа
Существует ли другая модель времени выполнения, кроме одного экземпляра jvm на модуль в Spring Cloud Data Flow?
В настоящее время мы используем Spring XD для приема данных с множеством потоков (и модулей). К сожалению, Spring XD больше не выпускается, и мы должны искать альтернативу. Итак, мы взглянули на Spring Cloud Data Flow, потому что хотим динамическое …
08 дек '15 в 10:51
1
ответ
Spring XD распределенный режим перерисовывает конфигурацию
Я пытаюсь настроить Spring XD в распределенном режиме, и я, к сожалению, не смог этого сделать. Я пытаюсь поддержать межмодульные каналы с помощью Redis, и у меня работает кластер Redis 3.0 с 3 узлами. Мои изменения в конфигурации показаны ниже, пож…
06 май '16 в 19:35
0
ответов
Атрибут Расположение-свойства Spring XD
Я попытался создать поток с этим определением: stream create --name test3 --definition "jms --destination=test3 --pubSub=true --subscriptionName=test3 --durableSubscription=true --clientId=cbda83 --outputType=text/plain | filter --script=file:/opt/b…
08 авг '14 в 08:29
1
ответ
Файл как источник, а также сток весной XD
Я хочу использовать файл в качестве источника и приемника в моем весеннем определении потока XD. Мой вариант использования - прочитать большой файл и разбить его на более мелкие файлы. Я хочу сделать это с определениями потоков вместо того, чтобы пе…
02 фев '17 в 13:59
0
ответов
MS Sql и Hibernate entityManagerFactory с DAO в Spring XD
Можно ли использовать, чтобы использовать MS Sql а также Hibernate entityManagerFactory с DAO в Spring XD?? У меня есть класс конфигурации в моем проекте, в котором я пишу Бины, необходимые для необходимых конфигураций для моего проекта, таких как м…
11 сен '14 в 11:43
1
ответ
Spring XD - проблема с автоматическим подтверждением для исключения в процессоре
У меня есть поток Spring XD, который содержит различные модули и DLQ для потока, который я не могу удалить из-за необходимости сценария повторной попытки http-клиента в потоке. В одном из процессоров я выбрасываю исключение и хочу не передавать выхо…
25 ноя '15 в 16:04
1
ответ
Spring XD Source Moodule не обрабатывает файлы параллельно
Я работаю над версией Spring XD M7. Я создал источник пара | процессор | тонуть. У меня всего 5 файлов в моей исходной папке. Когда мой поток развернут, он обрабатывается последовательно, где у меня есть 3 узла Spring XD кластера с настроенным Redis…
27 июл '14 в 15:35
1
ответ
Весенняя работа jdbchdfs -
В настоящее время задание jdbchdfs не имеет partitionPath для выходного каталога, как приемник hdfs. Каков рекомендуемый способ сделать это? я также не вижу никакой JIRA для этого, какой-либо план для такой вещи будет поддерживаться в будущем? Я под…
16 мар '15 в 15:34
0
ответов
Как передать файл, используя файл (исходный модуль), в hdfs-dataset(сток) в местоположение hdfs, используя Spring XD
Я использую ниже поток, чтобы выбрать файл из моего локального и поместить его в формате hdfs в формате avro. В соответствии с документацией SringXD я выполняю все шаги, а также использую команду, аналогичную той, которая есть в документации. но про…
14 дек '18 в 04:31
2
ответа
ВЕСНА XD: Есть ли способ загружать модули "автоматически"?
Есть ли способ загрузить модули, используя что-то вроде скрипта? Например, у нас много модулей, и загружать модули не приятно, каждый раз, когда новая версия наших модулей готова к использованию.
18 окт '16 в 15:25
1
ответ
Как настроить Spring XD для подключения удаленного Gemfire
Я настроил Spring-XD, application context.xml для подключения к удаленной базе данных gemfire. Я не могу подключиться к удаленной БД. Он идет и подключается к локальному gemfire, который поставляется как часть установки Spring XD. Пожалуйста, кто-ни…
18 авг '15 в 06:31
0
ответов
Не пропускаемое выполнение во время чтения - задания Spring Batch с использованием SpringXD
Я пытаюсь запустить задание SpringXD с помощью оболочки Spring XD, и код, который я использовал, job create --name --definition ' --ftpFileLoadFlag=false --archiveFolder= --columns= --delimiter="\t" --encoding=UTF-8 --filePathPattern= --linesToSkip=…
17 дек '18 в 19:28
1
ответ
Проблема в кластере весной xd при развертывании моего модуля
У меня есть модуль s3-puller, который извлекает файл из s3 . В процессе производства я сталкиваюсь с некоторой проблемой, когда пытаюсь создать поток. Но локальный отдельный узел работает нормально, и я попытался настроить кластер из 3 узлов и 1 узе…
29 дек '15 в 15:49
0
ответов
Класс org.apache.kafka.common.serialization.StringSerializer не найден
Я написал производителя Kafka, который хорошо работает, когда я запускаю его в любом месте, кроме демона Spring-XD. private Properties setProperties () { Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,this.get…
15 авг '17 в 21:57
1
ответ
Spring-Data-JPA с Spring XD
У меня есть свой класс конфигурации с бобами, как указано ниже @Bean(name = "entityManagerFactory") public LocalContainerEntityManagerFactoryBean entityManagerFactory(@Qualifier("sqlServerDataSource") DataSource dataSource) { LocalContainerEntityMan…
11 сен '14 в 15:10
1
ответ
Ошибка при выполнении Pig Script с использованием Spring xd
Я пытаюсь выполнить фрагмент кода с использованием Spring xd, но не могу этого сделать. Я создал работу, используя следующую команду job create --name Pig_job --definition "PigTest" --deploy Определение задания PigTest определяется следующим образом…
18 фев '15 в 12:11
0
ответов
Spring XD: исключение "поток закрыт между полезными нагрузками" для процессора оболочки
Простой процессор оболочки принимает входные данные и выводит их обратно: nano /tmp/echo.sh vvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv #!/bin/bash [ $# -ge 1 -a -f "$1" ] && input="$1" || input="-" cat $input ^^^^^^^^^^^^^^^^^^^^^…
27 авг '15 в 15:45