我必须编写一个Spring批处理,它将从HDFS读取文件并更新MySQL DB中的数据。
HDFS中的源文件包含一些CSV格式的报告数据。
有人可以指出我一个从HDFS读取文件的示例吗?
谢谢。
将FlatFileItemReader在Spring Batch的适用于任何Spring框架Resource的实现:
FlatFileItemReader
Resource
@Bean public FlatFileItemReader<String> itemReader() { Resource resource; // get (or autowire) resource return new FlatFileItemReaderBuilder<String>() .resource(resource) // set other reader properties .build(); }
因此,如果您设法使一个Resource指向HDFS文件的句柄,您就可以完成。
现在,为了拥有HDFS资源,您可以:
applicationContext.getResource("hdfs:data.csv");
希望这可以帮助。