這篇文章主要介紹“怎么利用Kettle轉(zhuǎn)儲接口數(shù)據(jù)”，在日常操作中，相信很多人在怎么利用Kettle轉(zhuǎn)儲接口數(shù)據(jù)問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么利用Kettle轉(zhuǎn)儲接口數(shù)據(jù)”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！
創(chuàng)新互聯(lián)專注于網(wǎng)站建設(shè)|成都企業(yè)網(wǎng)站維護(hù)|優(yōu)化|托管以及網(wǎng)絡(luò)推廣，積累了大量的網(wǎng)站設(shè)計(jì)與制作經(jīng)驗(yàn)，為許多企業(yè)提供了網(wǎng)站定制設(shè)計(jì)服務(wù)，案例作品覆蓋自上料攪拌車等行業(yè)。能根據(jù)企業(yè)所處的行業(yè)與銷售的產(chǎn)品，結(jié)合品牌形象的塑造，量身策劃品質(zhì)網(wǎng)站。
API：應(yīng)用程序接口（Application Program Interface）的簡稱，是實(shí)現(xiàn)計(jì)算機(jī)軟件之間數(shù)據(jù)通信的工具。同時API也是一種中間件，為各個平臺提供數(shù)據(jù)共享。在大數(shù)據(jù)與物聯(lián)網(wǎng)發(fā)展的背景下，目前有大量的數(shù)據(jù)接口被提供或發(fā)掘出來，提供給開發(fā)者使用，應(yīng)用到生活中的每一個細(xì)節(jié)中。本文旨在闡述kettle對于數(shù)據(jù)接口的監(jiān)控、調(diào)用及其轉(zhuǎn)儲，更多詳細(xì)的數(shù)據(jù)接口內(nèi)容不在此具體說明。
本文旨在提供一種方法，以幫助同學(xué)們掌握Kettle對于數(shù)據(jù)接口的調(diào)用與轉(zhuǎn)儲，Kettle的配置方法和組件的使用具有多樣性，需要大家多多思考與發(fā)掘。
本文使用的是Kettle 7.0版本，調(diào)用的接口為百度開發(fā)平臺-百度地圖API，返回?cái)?shù)據(jù)集為JSON格式或者XML格式，本次使用了兩種方式來存儲數(shù)據(jù)，一種是導(dǎo)出成EXCEL，一種是導(dǎo)出到關(guān)系數(shù)據(jù)庫進(jìn)行存儲。
總覽
我們首先拿到WebAPI的地址，測試連接的暢通，這里我使用了百度地圖的Place Suggestion API，輸入城市需要檢索的地點(diǎn)，返回建議值，效果如下：
http://api.map.baidu.com/place/v2/suggestion?query=%E6%98%A5%E7%86%99%E8%B7%AF®ion=%E6%88%90%E9%83%BD%E5%B8%82&output=json&ak=n0lHarpY3QZx6xXXIaWMFLxj
這里我們測試接口URL的連通性。
這里我的接口是沒有校驗(yàn)身份的，只需要輸入申請的AK就可以了。測試成功，返回的值為JSON字符串的格式。
新建一個轉(zhuǎn)換，接口信息接入可以選擇EXCEL接入，文本接入，生成記錄，或者表輸入都行，視自己的情況而定，我這里因?yàn)橹皇菧y試，選用了生成記錄，并且參數(shù)值固定死，后期可以使用“${}”將參數(shù)替換出來。
添加HttpClient組件，我們需要用到它作為客戶端來解析API，類似瀏覽器。
這里的URL地址我們選擇從前面的生成記錄里面獲取。注意字符集的設(shè)置，否則后面獲取到的接口數(shù)據(jù)會是亂碼。
這里添加過濾記錄組件，用來判斷是否成功從HTTP客戶端獲取到數(shù)據(jù)
添加JSON輸入組件，這里從流中獲取到從API上獲取的結(jié)果作為源字段。
將JSON串解析成多個字段的形式，具體路徑需要自己先在過一下JSON串的格式，提前掌握這些信息。
我們此次使用的JSON串，實(shí)際需要的數(shù)據(jù)實(shí)際是在其內(nèi)曾的RESULT字段里面嵌套的JSON串里，所以我們需要再對RESULT字段進(jìn)行解析。
我們這里使用了EXCEL輸出的方法，EXCEL輸出沒有特別需要強(qiáng)調(diào)的地方，主要需要注意的就是在這里我們只輸出需要的內(nèi)部的地址信息，因?yàn)槠渌侄卧诹髦幸矔^承下來，這里合理選擇輸出的字段即可。
錯誤處理一般來說都只是進(jìn)行記錄，或者寫入日志，或者寫入日志表，或者發(fā)送報錯信息郵件到管理員郵箱。
這里不做具體講解，具體的選擇方案看項(xiàng)目需求而定。
F9可執(zhí)行改轉(zhuǎn)換，轉(zhuǎn)換沒有錯誤的話則進(jìn)入上面一條線，并且輸出為EXCEL表格。
EXCEL展開如下圖：
本附件列出了一些配置過程中可能與遇到的一些問題以及解決方案。
在實(shí)驗(yàn)過程中遇到一些錯誤在所難免，我這里提供了一些容易遇到的錯誤，給大家參考參考思路。
解決方案：在使用HTTP客戶端接入的時候，需要正確選擇字符集，一般使用UTF-8是沒錯的，它能夠兼容大部分字符。在進(jìn)行文本文件輸出的時候，需要正確選擇輸出的格式，盡量不在這一步做編碼轉(zhuǎn)換。
解決方案：在解析API接口URL路徑時，難免參數(shù)會帶上中文漢字，這里的漢字需要提前做好轉(zhuǎn)碼，這里教大家一個小技巧，使用Chome瀏覽器，把URL鏈接粘貼進(jìn)去，瀏覽器會自動幫我們把編碼進(jìn)行轉(zhuǎn)換。此時，再把URL地址粘貼出來即可。
到此，關(guān)于“怎么利用Kettle轉(zhuǎn)儲接口數(shù)據(jù)”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！
重慶分公司
重慶分公司
