Описание тега spring-batch-stream

Вопросы с тегом
1 ответ

Проблема перезапуска Spring Batch Stream?

Я разрабатываю пример Spring Boot + Batch Stream. Это очень простой пример и приведение erorr сразу после 48-й записи? Есть указатели? Я разместил весь код. Ошибка: java.lang.RuntimeException: The Ansdwer to the Ultimate Question of Life, the univer…
08 дек '18 в 10:56
1 ответ

Spring Batch работает нормально для 1-го запуска, но для 2-го и т. Д. Работает... он продолжает давать сбой, почему?

Я развиваюсь Spring Boot + Spring-Batch пример. В первый раз я могу успешно запустить код, но при втором запуске он выдает ошибку ниже. Любая быстрая помощь? Любой быстрый указатель, чтобы решить эту проблему? Я действительно борюсь с этим. Ошибка: …
08 дек '18 в 17:05
1 ответ

Spring Batch Solution

1 В нашем приложении у нас около 100000 клиентов, и нам нужно обрабатывать некоторые данные ежемесячно. Логика обработки данных для каждого клиента включает в себя около 7 оставшихся вызовов для различных услуг. Мы должны сделать это в весенней парт…
28 июл '19 в 22:47
0 ответов

Пакет Spring: исключение без возможности пропуска в средстве восстановления во время обработки; java.lang.NullPointerException в FaultTolerantChunkProcessor.java:289

У меня есть одношаговые конфигурации, как показано ниже stepBuilderFactory.get("step2") .<EventLogWrapper, BaseCscEvent>chunk(100) .reader(eventLogReader) .processor(eventLogItemProcessor) .writer(compositeItemWriter) .faultTolerant().retryLim…
20 фев '20 в 09:29
0 ответов

Spring batch'для СИММЕТРИЧЕСКОГО КЛЮЧА ПО СЕРТИФИКАТУ

JpaPagingItemReader<POJO> databaseReader = new JpaPagingItemReader<>(); databaseReader.setEntityManagerFactory(this.entityManagerFactory); databaseReader.setQueryString(" SELECT c FROM POJO c"); databaseReader.afterPropertiesSet(); вот м…
11 окт '19 в 14:48
1 ответ

Пакет Spring: почему транзакция откатывается, даже если я перехватил исключение

Я использую Spring Batch, и моя конфигурация шагов следующая: @Bean public Step testStep( JdbcCursorItemReader<TestStep> testStageDataReader, TestStepProcessor testStepProcessor, CompositeItemWriter<Writer> testWriter, PlatformTransactio…
11 июн '20 в 03:07
1 ответ

можем ли мы обрабатывать несколько файлов последовательно с помощью Spring Batch, в то время как несколько потоков используются для обработки данных отдельных файлов ..?

Я хочу обрабатывать несколько файлов последовательно, и каждый файл должен обрабатываться с помощью нескольких потоков, поэтому я использовал пакет Spring FlatFileItemReader и TaskExecutor, и, похоже, он отлично работает для меня. Как упоминалось в …
27 мар '20 в 12:35
1 ответ

Могу ли я использовать SpringBatch для передачи файла (видео /txt), присутствующего в http, и чтения его и записи на моем компьютере?

Прямо сейчас я пытаюсь записать http-файл (пример:"https://www.w3.org/TR/PNG/iso_8859-1.txt") на свой локальный компьютер с помощью springBatch. Но не могу прочитать файл. Мой файл Reader выглядит следующим образом: public FlatFileItemReader<Stri…
28 авг '20 в 22:00
0 ответов

Как использовать SimpleBinaryBufferedReaderFactory в SpringBatch для чтения данных в байтах

Я хочу читать данные с помощью SimpleBinaryBufferedReaderFactory, у кого-нибудь есть фрагмент кода или ссылка, где я могу понять работу. Я скептически отношусь к тому, как сказать читателю, когда заканчивается чанк. Как и в случае с текстовым файлом…
21 сен '20 в 22:37
1 ответ

Поток SCDF (время) НЕ выбирает составную задачу-бегун в локальном

В SCDF (2.6.3) пытался создать поток для запуска составной задачи, но не выбирал, что мне не хватает? Созданная задача создала имя как comp-task: AA && BB Я могу запустить вручную эту составленную задачу, она выполнила как AA, так и BB и завершилась…
01 окт '20 в 01:43
0 ответов

весенняя партия PatternMatchingCompositeTokenizer при наличии более 1 шаблона

У меня есть файл для чтения, как показано ниже. Запись разбита на несколько строк. Каждая запись может иметь любое количество строк; единственный способ распознать новую запись - это когда строка начинается с "ABC", а есть другая строка с идентифика…
25 ноя '20 в 20:40
1 ответ

В весеннем пакете, как мы можем переместить обработанные файлы в другую папку, я использую MultiResourceItemReader и обработку фрагментов

В пакетном приложении Spring, как мы можем перемещать файлы из папки BatchFileDir в папку назначения по мере обработки каждого файла. В папке BatchFileDir будет куча файлов, поэтому я использую MultiResourceItemReader. Я также слежу за обработкой на…
04 дек '20 в 20:11
0 ответов

Неправильное чтение байтов во время передачи по FTP в Spring Batch

Я работаю над проектом, в котором мне нужно эффективно передавать данные (любой файл) с одной конечной точки (HTTP, FTP, SFTP) на другую. Я хочу использовать функцию параллелизма и параллелизма SpringBatch в Job. В моем случае один файл будет одним …
13 сен '20 в 11:37
1 ответ

Динамическое изменение instanceindex с помощью Spring Cloud Stream Kafka

Похоже на: изменение индекса / количества экземпляров spring-cloud-stream во время выполнения Я делаю poc по запуску пакета в архитектуре микросервера, и я использую пакет Spring с Spring Cloud Stream Kafka. Я ищу способ динамически создавать нескол…
07 май '21 в 23:25
1 ответ

Spring Batch: динамический или вращающийся писатель

Я пытаюсь сделать следующую реализацию. По причинам, связанным с размером, мне приходится разбивать выходной файл, например, на блоки по 10 тыс. Строк. Итак, мне нужно выгрузить 10 КБ в файл «out1.csv», следующие 10 КБ в файл «out2.csv» и так далее.…
17 май '21 в 22:30
1 ответ

Скопировать тег заголовка в приложении xml spring batch

я использую spring-batch в spring-bootзаявление. Версия Spring Boot 2.3.3.RELEASE. Чего я намерен достичь Мне пришлось read a xml file содержащий тысячи Transactions с участием header tag(информация о файле). Выполните некоторую бизнес-логику транза…
09 июн '21 в 20:34
1 ответ

Как читать файлы, созданные в удаленном месте, обрабатывать и перемещать в другое место с помощью пакета Spring?

Может ли кто-нибудь предложить подход, которому мне нужно следовать, чтобы выполнить приведенное ниже требование? Задний план: Существует удаленное расположение, например "// имя_сервера / некоторая папка / некоторый файл" . Некоторые файлы будут ге…
08 июл '21 в 10:34
1 ответ

весенняя партия застревает в параллельной обработке, где отлично работает при последовательной обработке

Я новичок в Spring Batch и пытался запустить Spring Batch с одним потоком. Теперь мне нужно добавить многопоточность по шагам и настроить конфигурацию ниже, но параллельная обработка через некоторое время зависает, и после обработки некоторых записе…
22 июл '21 в 18:09
0 ответов

Как перехватить исключения и прослушать ошибку с помощью композитного записи и потока на шаге SPRING-BATCH?

Я новичок и мне нужна твоя помощь! @Bean public Step csvStep() throws Exception, ParseException { return (stepBuilderFactory.get("csvStep").<objectDTO, objectDTO>chunk(1).reader(reader)) .processor(processor).writer(classifierCompositeItemWrit…
25 авг '21 в 16:26
0 ответов

Как создать пакетную службу Spring для чтения и обработки файлов (PDF, XML и HASH) из одной временной папки?

Мне нужно написать Spring Batch Reader, который читает несколько файлов (.pdf, .xmls и .hashs) из временной папки. Затем мне нужно сгенерировать хэш-код для каждого файла pdf и xml, а затем найти соответствующий хеш-код среди файлов .hash. Я уже реа…
27 окт '21 в 17:39