1、Spring 中集成camel-ftp
為平遙等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計(jì)制作服務(wù),及平遙網(wǎng)站建設(shè)行業(yè)解決方案。主營(yíng)業(yè)務(wù)為做網(wǎng)站、網(wǎng)站設(shè)計(jì)、平遙網(wǎng)站設(shè)計(jì),以傳統(tǒng)方式定制建設(shè)網(wǎng)站,并提供域名空間備案等一條龍服務(wù),秉承以專業(yè)、用心的態(tài)度為用戶提供真誠(chéng)的服務(wù)。我們深信只要達(dá)到每一位用戶的要求,就會(huì)得到認(rèn)可,從而選擇與我們長(zhǎng)期合作。這樣,我們也可以走得更遠(yuǎn)!
近期項(xiàng)目中涉及到定期獲取讀取并解析ftp服務(wù)器上的文件,自己實(shí)現(xiàn)ftp-client的有些復(fù)雜,因此考慮集成camel-ftp的方式來解決ftp文件的下載問題。自己則專注于文件的解析工作.
demo: https://github.com/LuckyDL/ftp-camel-demo
1.1、POM引用
org.apache.camel camel-spring-boot-starter 2.22.1 org.apache.camel camel-ftp 2.22.1
注意:在選擇版本的時(shí)候,如果SpringBoot版本是1.5.10.RELEASE的話,那么camel的版本最高只能使用2.21.2,使用2.22版本將會(huì)報(bào)錯(cuò)。經(jīng)測(cè)試的配套關(guān)系如下:
SrpingBoot | Camel |
---|---|
1.5 | <=2.21.2 |
2.0 | >=2.22.x |
其他情況都會(huì)出現(xiàn)錯(cuò)誤.
1.2、SpringBoot application.yml配置
ftp: addr: 172.18.18.19:21 # ftp地址、端口 name: ftpuser password: ftp2018 options: password=${ftp.password}&readLock=rename&delay=10s&binary=true&filter=#zipFileFilter&noop=true&recursive=true url: ftp://${ftp.name}@${ftp.addr}/?${ftp.options} # 本地下載目錄 local-dir: /var/data # 后臺(tái)運(yùn)行進(jìn)程 camel: springboot: main-run-controller: true management: endpoint: camelroutes: enabled: true read-only: true
配置說明:
更多參數(shù)配置見官方手冊(cè)
1.3、配置路由
要配置從遠(yuǎn)端服務(wù)器下載文件到本地,格式如下,from內(nèi)部為我們?cè)谏厦媾渲玫膗rl,to為本地文件路徑。
@Component public class DownloadRoute extends RouteBuilder { /** logger */ private static final Logger logger = LoggerFactory.getLogger(DownloadRoute.class); @Value("${ftp.server.info}") private String sftpServer; @Value("${ftp.local.dir}") private String downloadLocation; @Autowired private DataProcessor dataProcessor; @Override public void configure() throws Exception{ from(sftpServer) .to(downloadLocation) .process(dataProcessor) .log(LoggingLevel.INFO, logger, "Download file ${file:name} complete."); } }
說明:
若將from配置為本地地址,to配置為遠(yuǎn)端地址,則可以實(shí)現(xiàn)向遠(yuǎn)端服務(wù)器上傳文件
process是數(shù)據(jù)處理器,如果僅僅是下載文件到本地,那么就不需要該配置。
也可以配置多條路由也處理不同的業(yè)務(wù):
@Override public void configure() throws Exception{ // route1 from(sftpServer) .to(downloadLocation) .process(dataProcessor) .log(LoggingLevel.INFO, logger, "Download file ${file:name} complete."); // route2 from(xxx).to(xxxx); // route3 from(xxxx).to(xxx).process(xxx); }
1.4、配置文件過濾
如果ftp服務(wù)器上有很多文件,但是我們需要的只是其中的一種,全部下載下來,有業(yè)務(wù)層來實(shí)現(xiàn)過濾肯定不合適,我們可以使用camel-ftp的文件過濾器,通過url中的filter來指定,如“filter=#zipFileFilter”,
用戶需要實(shí)現(xiàn)GenericFileFilter接口的accept方法。
例如我們只需要下載后綴名為.zip的壓縮包到本地,過濾器的編寫方法如下,因?yàn)槲乙f歸掃描子目錄,因此類型為目錄的文件也需要允許通過。
/** * camel ftp zip文件過濾器 */ @Component public class ZipFileFilter implements GenericFileFilter { @Override public boolean accept(GenericFile file) { return file.getFileName().endsWith(".zip") || file.isDirectory(); } }
1.5、文件處理器
文件處理器就是我們對(duì)下載到本地的文件進(jìn)行處理的操作,比如我們可能需要對(duì)下載的文件重新規(guī)劃目錄;或者解析文件并進(jìn)行入庫操作等。這就需要通過實(shí)現(xiàn)Processer的process方法。
本文中的demo就是通過processor來解析zip包中的文件內(nèi)容:
@Component public class DataProcessor implements Processor { /** logger */ private static final Logger logger = LoggerFactory.getLogger(DataProcessor.class); @Value("${ftp.local-dir}") private String fileDir; @Override public void process(Exchange exchange) throws Exception { GenericFileMessageinFileMessage = (GenericFileMessage ) exchange.getIn(); String fileName = inFileMessage.getGenericFile().getFileName(); String file_path = fileDir + '/' + fileName; readZip(file_path); } ... // 省略數(shù)據(jù)處理方法 }
2、參考資料
關(guān)于camel ftp的各個(gè)參數(shù)配置,參見官方手冊(cè):http://camel.apache.org/ftp2.html
此處需要注意的是,camel ftp手冊(cè)里面只寫了ftp獨(dú)有的一些配置項(xiàng),camel-ftp組件繼承自camel-file,手冊(cè)里面有說明,就一句話,不注意就可能忽略了,筆者就是沒注意,被遞歸掃描子目錄的問題折騰了2天(閱讀要細(xì)心o(╥﹏╥)o)。。。因此有一些參數(shù)配置項(xiàng)可能在camel-ftp手冊(cè)里面找不到,請(qǐng)移步至:http://camel.apache.org/file2.html
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持創(chuàng)新互聯(lián)。