Пакет Spring: нижний колонтитул ClassifierCompositeItemWriter не вызывается
Я использую Spring Batch для написания нескольких отчетов. Требование: я получу записи с BranchId и именем. Мне нужно создать один файл для каждого branchId и записать в этот файл соответствующие данные вместе с верхним и нижним колонтитулами.
Пример:
Student A = new Student("A",1);
Student B = new Student("B",2);
Student C = new Student("C",1);
Student D = new Student("D",4);
В этом случае он должен создать всего 3 файла
file1-->1.txt(with A,C)
file2-->2.txt(with B)
file3-->4.txt(with D))
.
Я использую ClassifierCompositeItemWriter для создания / повторного использования FlatFileItemWriter на основе данных (в данном случае id) и возможности успешно создавать файлы. Для верхнего и нижнего колонтитула - использование обратных вызовов на уровне писателя. Сгенерированные файлы имеют только ЗАГОЛОВОК и ДАННЫЕ. Но почему-то FOOTER вообще не исполняется.
Похоже, возникли проблемы с закрытием файла перед нижним колонтитулом или проблема с использованием STEP SCOPE.
Может ли кто-нибудь помочь мне с вызовом FOOTER.
вот код.
import java.util.Arrays;
import java.util.HashMap;
import java.util.Map;
import org.springframework.batch.core.Job;
import org.springframework.batch.core.JobParameters;
import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;
import org.springframework.batch.core.configuration.annotation.JobBuilderFactory;
import org.springframework.batch.core.configuration.annotation.StepBuilderFactory;
import org.springframework.batch.core.configuration.annotation.StepScope;
import org.springframework.batch.core.launch.JobLauncher;
import org.springframework.batch.item.ExecutionContext;
import org.springframework.batch.item.ItemReader;
import org.springframework.batch.item.ItemWriter;
import org.springframework.batch.item.file.FlatFileItemWriter;
import org.springframework.batch.item.file.transform.BeanWrapperFieldExtractor;
import org.springframework.batch.item.file.transform.DelimitedLineAggregator;
import org.springframework.batch.item.support.ClassifierCompositeItemWriter;
import org.springframework.batch.item.support.ListItemReader;
import org.springframework.classify.Classifier;
import org.springframework.context.ApplicationContext;
import org.springframework.context.annotation.AnnotationConfigApplicationContext;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.io.FileSystemResource;
@Configuration
@EnableBatchProcessing
public class MyJob3 {
public static void main(String[] args) throws Exception {
ApplicationContext context = new AnnotationConfigApplicationContext(MyJob3.class);
JobLauncher jobLauncher = context.getBean(JobLauncher.class);
Job job = context.getBean(Job.class);
jobLauncher.run(job, new JobParameters());
}
@Bean
public Job job(JobBuilderFactory jobs, StepBuilderFactory steps) {
return jobs.get("job").start(steps.get("step").<Student, Student>chunk(5)
.reader(itemReader())
.writer(getStudentItemWriter(itemWriterClassifier()))
.build())
.build();
}
@Bean
@StepScope
public ItemReader<Student> itemReader() {
Student A = new Student("A", 1);
Student B = new Student("B", 2);
Student C = new Student("C", 1);
Student D = new Student("D", 4);
Student E = new Student("E", 4);
return new ListItemReader<>(Arrays.asList(A,B,C,D,E));
}
Map<Integer, FlatFileItemWriter<Student>> map = new HashMap<>();
@Bean
@StepScope
public ClassifierCompositeItemWriter<Student> getStudentItemWriter(Classifier<Student, ItemWriter<? super Student>> classifier) {
ClassifierCompositeItemWriter<Student> compositeItemWriter = new ClassifierCompositeItemWriter<>();
compositeItemWriter.setClassifier(classifier);
return compositeItemWriter;
}
@Bean
@StepScope
public Classifier<Student, ItemWriter<? super Student>> itemWriterClassifier() {
return student -> {
System.out.println("Branch Id ::" + student.getBranchId() + " and Student Name" + student.getName());
if (map.containsKey(student.getBranchId())) {
FlatFileItemWriter<Student> result = map.get(student.getBranchId());
System.out.println("Exising Writer object ::" + result);
return result;
}
String fileName ="Branch_Info_" + student.getBranchId() + ".txt";
BeanWrapperFieldExtractor<Student> fieldExtractor = new BeanWrapperFieldExtractor<>();
fieldExtractor.setNames(new String[] { "branchId", "name" });
DelimitedLineAggregator<Student> lineAggregator = new DelimitedLineAggregator<>();
lineAggregator.setFieldExtractor(fieldExtractor);
FlatFileItemWriter<Student> flatFileItemWriter = new FlatFileItemWriter<>();
flatFileItemWriter.setResource(new FileSystemResource(fileName));
flatFileItemWriter.setAppendAllowed(true);
flatFileItemWriter.setLineAggregator(lineAggregator);
System.out.println("Writing header...");
flatFileItemWriter.setHeaderCallback(writer -> writer.write("Header"));
System.out.println("Writing Footer...");
flatFileItemWriter.setFooterCallback(writer -> writer.write("Footer"));
System.out.println("Writing done...");
flatFileItemWriter.open(new ExecutionContext());
map.put(student.getBranchId(), flatFileItemWriter);
System.out.println("New Writer object ::" + flatFileItemWriter);
return flatFileItemWriter;
};
}
}
1 ответ
В моем случае у меня нет писателей с фиксированным числом (foo & boo в вашем случае), и они будут динамическими, и их нужно будет создавать во время РАБОТЫ. Есть предложения, как это сделать и зарегистрировать на шаге?
В этом случае вам необходимо:
- предварительно вычислить возможные различные значения (1, 2 и 4 в вашем случае) с помощью такого запроса, как
- динамически создавать
Ниже приведен пример, основанный на вашем варианте использования: учитывая список студентов в разных группах, идея состоит в том, чтобы записать их в разные файлы в зависимости от их группы. Вот тасклет, который предварительно вычисляет отдельные группы и динамически создает / регистрирует средства записи элементов в контексте приложения:
import java.io.IOException;
import java.io.Writer;
import java.util.List;
import org.springframework.batch.core.StepContribution;
import org.springframework.batch.core.scope.context.ChunkContext;
import org.springframework.batch.core.step.tasklet.Tasklet;
import org.springframework.batch.item.file.FlatFileFooterCallback;
import org.springframework.batch.item.file.FlatFileHeaderCallback;
import org.springframework.batch.item.file.FlatFileItemWriter;
import org.springframework.batch.item.file.transform.PassThroughLineAggregator;
import org.springframework.batch.repeat.RepeatStatus;
import org.springframework.beans.MutablePropertyValues;
import org.springframework.beans.factory.config.ConfigurableListableBeanFactory;
import org.springframework.beans.factory.support.BeanDefinitionRegistry;
import org.springframework.beans.factory.support.GenericBeanDefinition;
import org.springframework.context.ConfigurableApplicationContext;
import org.springframework.core.io.FileSystemResource;
import org.springframework.jdbc.core.JdbcTemplate;
class DynamicWritersConfigurationTasklet implements Tasklet {
private JdbcTemplate jdbcTemplate;
private ConfigurableApplicationContext applicationContext;
public DynamicWritersConfigurationTasklet(JdbcTemplate jdbcTemplate, ConfigurableApplicationContext applicationContext) {
this.jdbcTemplate = jdbcTemplate;
this.applicationContext = applicationContext;
}
@Override
public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) {
ConfigurableListableBeanFactory beanFactory = applicationContext.getBeanFactory();
BeanDefinitionRegistry registry = (BeanDefinitionRegistry) beanFactory;
String sql = "select distinct(groupId) from student";
List<Integer> groups = jdbcTemplate.queryForList(sql, Integer.class);
for (Integer group : groups) {
String name = "group" + group + "Writer";
GenericBeanDefinition beanDefinition = new GenericBeanDefinition();
beanDefinition.setBeanClassName(FlatFileItemWriter.class.getName());
MutablePropertyValues propertyValues = new MutablePropertyValues();
propertyValues.addPropertyValue("name", name);
propertyValues.addPropertyValue("lineAggregator", new PassThroughLineAggregator<>());
propertyValues.addPropertyValue("resource", new FileSystemResource(group + ".txt"));
propertyValues.addPropertyValue("headerCallback", (FlatFileHeaderCallback) writer -> writer.write("header"));
propertyValues.addPropertyValue("footerCallback", (FlatFileFooterCallback) writer -> writer.write("footer"));
beanDefinition.setPropertyValues(propertyValues);
registry.registerBeanDefinition(name, beanDefinition);
}
return RepeatStatus.FINISHED;
}
}
После этого второй шаг загружает эти средства записи элементов из контекста приложения во время выполнения и регистрирует их как делегатов в
@Bean
@StepScope
public ClassifierCompositeItemWriter<Student> itemWriter(ConfigurableApplicationContext applicationContext) {
// dynamically get writers from the application context and register them as delegates in the composite
Map<String, FlatFileItemWriter> beansOfType = applicationContext.getBeansOfType(FlatFileItemWriter.class);
// Classify students by group
Classifier<Student, FlatFileItemWriter<Student>> classifier = student -> beansOfType.get("group" + student.getGroupId() + "Writer");
return new ClassifierCompositeItemWriterBuilder()
.classifier(classifier)
.build();
}
@Bean
@JobScope
public Step step2(StepBuilderFactory stepBuilderFactory, ConfigurableApplicationContext applicationContext, DataSource dataSource) {
SimpleStepBuilder<Student, Student> step2 = stepBuilderFactory.get("readWriteStudents")
.<Student, Student>chunk(2)
.reader(itemReader(dataSource))
.writer(itemWriter(applicationContext));
// register writers as streams in the step so that open/update/close are called correctly
Map<String, FlatFileItemWriter> beansOfType = applicationContext.getBeansOfType(FlatFileItemWriter.class);
for (FlatFileItemWriter flatFileItemWriter : beansOfType.values()) {
step2.stream(flatFileItemWriter);
}
return step2.build();
}
У меня есть полный пример: образец приложения для SO67604628. Пожалуйста, обратитесь к этому руководству, чтобы узнать, как оформить заказ в отдельной папке (если вы не хотите клонировать все репо). Образец генерирует 3 файла со студентами, сгруппированными по groupId. Обратите внимание на то, как правильно генерируются верхние и нижние колонтитулы, поскольку авторы делегатов регистрируются как потоки на шаге.