開源ETL工具比較，Kettle和Talend，都有什么優(yōu)勢和劣勢

Pentaho Data Integration (Kettle)是Pentaho生態(tài)系統(tǒng)中默認的ETL工具。通過非常直觀的圖形化編輯器（Spoon），您可以定義以XML格式儲存的流程。在Kettle運行過程中，這些流程會以不同的方法編譯。用到的工具包括命令行工具(Pan),小型服務器(Carte)，數(shù)據(jù)庫存儲庫（repository）(Kitchen)或者直接使用IDE(Spoon)。

專業(yè)成都網(wǎng)站建設公司，做排名好的好網(wǎng)站，排在同行前面，為您帶來客戶和效益!成都創(chuàng)新互聯(lián)為您提供成都網(wǎng)站建設，五站合一網(wǎng)站設計制作，服務好的網(wǎng)站設計公司，成都網(wǎng)站建設、做網(wǎng)站負責任的成都網(wǎng)站制作公司!

Talend Open Studio是 Talend 開發(fā)的ETL工具——Talend 是一家主營數(shù)據(jù)集成和數(shù)據(jù)管理解決方案的企業(yè)。Talend 采用用戶友好型，綜合性很強的IDE（類似于Pentaho Kettle 的 Spoon）來設計不同的流程。這些流程可以在IDE內部測試并編譯成Java 代碼。您可以隨時查看并編輯生成的Java代碼，同時實現(xiàn)強大的控制力和靈活性。

兩者都非常優(yōu)秀，都屬于用戶友好型的交叉平臺（基于Java的）工具。它們的主要差異在于Kettle 將 ELT 流程編譯為 XML 格式，然而Talend Open Studio 則生成 Java 代碼。

易用性：

Talend：有 GUI 圖形界面但是以 Eclipse 的插件方式提供。

Kettle：有非常容易使用的 GUI，出現(xiàn)問題可以到社區(qū)咨詢。

技術支持：

Talend：主要在美國

Kettle：在美國，歐洲（比利時，德國，法國，英國），亞洲（中國，日本，韓國）都可以找到相關技術支持人員。

部署：

Talend：創(chuàng)建 java 或perl 文件，并通過操作系統(tǒng)調度工具來運行

Kettle：可以使用 job 作業(yè)方式或操作系統(tǒng)調度，來執(zhí)行一個轉換文件或作業(yè)文件，也可以通過集群的方式在多臺機器上部署。

速度：

Talend：需要手工調整，對特定數(shù)據(jù)源有優(yōu)化知識。

Kettle：比 Talend 快，不過也需要手工調整，對 Oracle 和 PostGre 等數(shù)據(jù)源做了優(yōu)化，同時也取決于轉換任務的設計。

數(shù)據(jù)質量：

Talend：在 GUI 里有數(shù)據(jù)質量特性，可以手工寫 SQL 語句。

Kettle：在 GUI 里有數(shù)據(jù)質量特性，可以手工寫 SQL 語句、java腳本、正則表達式來完成數(shù)據(jù)清洗。

監(jiān)控：

Talend：有監(jiān)控和日志工具

Kettle：有監(jiān)控和日志工具

連接性：

Talend：各種常用數(shù)據(jù)庫，文件，web service。

Kettle：非常廣泛的數(shù)據(jù)庫，文件，另外可以通過插件擴展

常用的etl工具有哪些

1、DataPipeline

DataPipeline 隸屬于北京數(shù)見科技有限公司，是一家企業(yè)級批流一體數(shù)據(jù)融合服務商和解決方案提供商，國內實時數(shù)據(jù)管道技術的倡導者。

通過平臺和技術為企業(yè)客戶解決數(shù)據(jù)準備過程中的各種痛點，幫助客戶更敏捷、更高效、更簡單地實現(xiàn)復雜異構數(shù)據(jù)源到目的地的實時數(shù)據(jù)融合和數(shù)據(jù)管理等綜合服務。

從而打破傳統(tǒng) ETL 給客戶靈活數(shù)據(jù)應用帶來的束縛，讓數(shù)據(jù)準備過程不再成為數(shù)據(jù)消費的瓶頸。

2、Kettle

Kettle是一款國外開源的ETL工具，純java編寫，可以在Windows、Linux、Unix上運行，數(shù)據(jù)抽取高效穩(wěn)定。

Kettle 中文名稱叫水壺，該項目的主程序員MATT 希望把各種數(shù)據(jù)放到一個壺里，然后以一種指定的格式流出。

3、Talend

Talend 是數(shù)據(jù)集成解決方案領域的領袖企業(yè)，為公共云和私有云以及本地環(huán)境提供一體化的數(shù)據(jù)集成平臺。Talend的使命是致力于幫助客戶優(yōu)化數(shù)據(jù)，提高數(shù)據(jù)可靠性，把企業(yè)數(shù)據(jù)更快地轉化為商業(yè)價值。

以此為使命，Talend的解決方案將數(shù)據(jù)從傳統(tǒng)基礎架構中解放出來，提高客戶在業(yè)務中的洞察力，讓客戶更早實現(xiàn)業(yè)務價值。

4、Informatica

Informatica是全球領先的數(shù)據(jù)管理軟件提供商。

在如下Gartner魔力象限位于領導者地位：數(shù)據(jù)集成工具魔力象限、數(shù)據(jù)質量工具魔力象限、元數(shù)據(jù)管理解決方案魔力象限、主數(shù)據(jù)管理解決方案魔力象限、企業(yè)級集成平臺即服務（EiPaaS）魔力象限。

5、DataStage

IBM? InfoSphere? Information Server 是一種數(shù)據(jù)集成軟件平臺，能夠幫助企業(yè)從散布在各個系統(tǒng)中的復雜異構信息獲得更多價值。InfoSphere Information Server提供了一個統(tǒng)一的平臺， 使公司能夠了解、清理、變換和交付值得信賴且上下文豐富的信息。

IBM? InfoSphere? DataStage? and QualityStage? 提供了圖形框架，您可使用該框架來設計和運行用于變換和清理、加載數(shù)據(jù)的作業(yè)。

參考資料：DataPipeline官網(wǎng)-關于我們

參考資料：百度百科-Kettle

參考資料：百度百科-Talend

參考資料：百度百科-Informatica

參考資料：百度百科-DataStage

本機中安裝使用ETL工具時，運行作業(yè)報錯：在項目“.Java”中運行構建器“Java 構建器”時出錯、、、

您好，這樣的：

J2ME j2me 在構建期間出錯,該怎么解決

j2me 在構建期間出錯在構建期間出錯。 對項目 chatroom 運行構建器“Preverification”時出錯。 Illegal Manifest Entry Key or Value "E:\j2me

C# 【意欲運行項目時出錯】

【試圖運行項目時出錯】各位高手大家好，我有一項目在調試時出現(xiàn)如下錯誤：“試圖運行項目時出錯:Could not load file or assembly '項目名稱'or one of its dependencies. The module was expected to contain an assembly

軟件架構設計 運用maven、jaxb等技術構建可配置編譯打包及可配置項目運行

使用maven、jaxb等技術構建可配置編譯打包及可配置項目運行 一、說在前面apache ant是以個非常流行的項目構建打包開源工具。在很長一段時間里，ant簡化了我們項目構建打包的過程，使得我們項目部署的速度有了大幅的提升。然而，熟悉ant使用的朋友可能與我都有一個切身的感受：當我們在使用ant進行項目

J2SE 運行WEB項目時出錯，請教這是為什么

運行WEB項目時出錯，請問這是為什么？HTTP Status 500 - type Exception report message description The server

單片機 項目運行后總出錯,該怎么解決

項目運行后總出錯小弟是ARM的新手。。按照書上的例子寫了幾個例子，但都出現(xiàn)一樣的錯誤。 錯誤描述： make通過后運行，運行完自己寫的程序后出現(xiàn)錯誤提示：未定義的指令.如下： Processor ARM7TDMI raised

Eclipse Eclipse+Tomcat加載項目后，起步運行出錯，超時啦

Eclipse+Tomcat加載項目后，啟動運行出錯，超時啦！ 依舊菜鳥級問題，放在我的博客里，我好找，大神繞行。 在Eclipse中用Tomcat啟動服務端工程，一啟動就會出錯，報錯如下： “Server Tomcat v6.0 Server at localhost was unable

編程 strtus2項目，tomcat通常啟動后，出錯。但程序可以運行

strtus2項目，tomcat正常啟動后，出錯。但程序可以運行。 strtus2項目，tomcat正常啟動后，出錯。但程序可以運行。錯誤代碼：[ERROR] [http-8080-2] - org.apache.struts2.dispatcher.Dispatcher

Flex flex與jsp項目整合時運行jsp出錯的解決辦法

flex與jsp項目整合時運行jsp出錯的解決方法 如題：使用SSH與flex整合，使用myeclipse及myeclipse的flex插件，將項目部署到tomcat中，運行時會發(fā)現(xiàn)，訪問jsp頁面會出現(xiàn)錯誤如下：org.apache.jasper.JasperException

Sql Server vs2008 意欲運行項目時出錯：無法啟動調試

vs2008 試圖運行項目時出錯：無法啟動調試環(huán)境：win7 profressional vs2008 team 。 今天突然電腦的vs2008出現(xiàn)無法調試winform的項目的問題了。并且無法安裝上silverlighttool3 工具包

J2ME eclipse導入的j2me源代碼為啥必須“構建項目”才能運行？完后放到真機就不能運行

eclipse導入的j2me源代碼為什么必須“構建項目”才能運行？完后放到真機就不能運行！我一個游戲的源代碼，想把它源代碼放到eclipse中編輯，但運行時提示：“通過存儲根 DefaultColorPhone 來運行 java.lang.ClassNotFoundException

C# 運行C#項目（不是ASP.NET項目），出現(xiàn)提示：試圖運行項目時出錯：無法啟動調試。進程已經(jīng)終止。解決方案

運行C#項目（不是ASP.NET項目），出現(xiàn)提示：試圖運行項目時出錯：無法啟動調試。進程已經(jīng)終止。我在2005中，建立、運行C#項目（不是ASP.NET項目）。想調試一下。但是出現(xiàn)提示：試圖運行項目時出錯：無法啟動調試。進程已經(jīng)終止。不知道什么原因呢？ 我的Terminal Services服務已經(jīng)啟動了。非常謝謝

.NET Framework 出錯誤信息：試圖運行項目時出錯，無法啟動調試，綁定句柄無效。

程序無法調試.Net2005，啟動調試或單步運行，出錯誤信息：試圖運行項目時出錯，無法啟動調試，綁定句柄無效。編譯運行卻是正常。機器以前裝過vs2005，當時正常，最近系統(tǒng)壞重裝便是這樣解決方案 第一種方法: 打開項目屬性，選擇調試選項卡，將“啟用非托管代碼調試”一項鉤上。 第二種

C# 運行WEB項目出現(xiàn)異常，生成成功，運行出錯（有詳細說明）

運行WEB項目出現(xiàn)錯誤，生成成功，運行出錯（有詳細說明）錯誤信息如下“/WorkFlowWeb”應用程序中的服務器錯誤。配置錯誤 說明: 在處理向該請求提供服務所需的配置文件時出錯。請檢查下面的特定錯誤詳細信息并適當?shù)匦薷呐渲梦募? 分析器錯誤信息: 找到的名為“CJHMathLib

VB Dotnet VB.net運行時提示：試圖運行項目時出錯，無法啟動調試，綁定句柄無效?。ǎ?/p>

VB.net運行時提示：試圖運行項目時出錯，無法啟動調試，綁定句柄無效?。ㄔ诰€等）VB.net運行時提示：試圖運行項目時出錯，無法啟動調試，綁定句柄無效?。ㄔ诰€等）解決方案VS2005.NET提示 "試圖運行項目時出錯,無法啟動調試,綁定句柄無效 "解決辦法 不要急著重裝.在菜單欄里面選擇

ASP.NET 試圖運行的項目時出錯：無法在web服務器上啟動調試解決辦法

試圖運行的項目時出錯：無法在web服務器上啟動調試試圖運行的項目時出錯：無法在web服務器上啟動調試。服務器不支持對asp.net或atl server應用程序進行調試。請運行安裝程序以安裝visual studio .net 服務器組件。

ETL是什么,形象的介紹一下

對于做過 BI 開發(fā)的朋友，ETL 并不陌生，只要涉及到數(shù)據(jù)源的數(shù)據(jù)抽取、數(shù)據(jù)的計算和處理過程的開發(fā)，都是 ETL，ETL 就這三個階段，Extraction 抽取，Transformation 轉換，Loading 加載。

從不同數(shù)據(jù)源抽取數(shù)據(jù) EXTRACTION ，按照一定的數(shù)據(jù)處理規(guī)則對數(shù)據(jù)進行加工和格式轉換 TRASFORMATION，最后處理完成的輸出到目標數(shù)據(jù)表中也有可能是文件等等，這個就是 LOADING。

再通俗一點講，ETL 的過程就跟大家日常做菜一樣，需要到菜市場的各個攤位買好菜，把菜買回來要摘一下，洗一洗，切一切最后下鍋把菜炒好端到飯桌上。菜市場的各個攤位就是數(shù)據(jù)源，做好的菜就是最終的輸出結果，中間的所有過程像摘菜、洗菜、切菜、做菜就是轉換。

在開發(fā)的時候，大部分時候會通過 ETL 工具去實現(xiàn)，比如常用的像 KETTLE、PENTAHO、IBM DATASTAGE、INFORNAICA、微軟 SQL SERVER 里面的 SSIS 等等，在結合基本的 SQL 來實現(xiàn)整個 ETL 過程。

也有的是自己通過程序開發(fā)，然后控制一些數(shù)據(jù)處理腳本跑批，基本上就是程序加 SQL 實現(xiàn)。

哪種方式更好，也是需要看使用場景和開發(fā)人員對那種方式使用的更加得心應手。我看大部分軟件程序開發(fā)人員出身的，碰到數(shù)據(jù)類項目會比較喜歡用程序控制跑批，這是程序思維的自然延續(xù)。純 BI 開發(fā)人員大部分自然就選擇成熟的 ETL 工具來開發(fā)，當然也有一上來就寫程序腳本的，這類 BI 開發(fā)人員的師傅基本上是程序人員轉過來的。

用程序的好處就是適配性強，可擴展性強，可以集成或拆解到到任何的程序處理過程中，有的時候使用程序開發(fā)效率更高。難就難在對維護人員有一定的技術要求，經(jīng)驗轉移和可復制性不夠。

用 ETL 工具的好處，第一是整個 ETL 的開發(fā)過程可視化了，特別是在數(shù)據(jù)處理流程的分層設計中可以很清晰的管理。第二是鏈接到不同數(shù)據(jù)源的時候，各種數(shù)據(jù)源、數(shù)據(jù)庫的鏈接協(xié)議已經(jīng)內置了，直接配置就可以，不需要再去寫程序去實現(xiàn)。第三是各種轉換控件基本上拖拉拽就可以使用，起到簡化的代替一部分 SQL 的開發(fā)，不需要寫代碼去實現(xiàn)。第四是可以非常靈活的設計各種 ETL 調度規(guī)則，高度配置化，這個也不需要寫代碼實現(xiàn)。

所以在大多數(shù)通用的項目中，在項目上使用 ETL 標準組件開發(fā)會比較多一些。

ETL 從邏輯上一般可以分為兩層，控制流和數(shù)據(jù)流，這也是很多 ETL 工具設計的理念，不同的 ETL 工具可能叫法不同。

控制流就是控制每一個數(shù)據(jù)流與數(shù)據(jù)流處理的先后流程，一個控制流可以包含多個數(shù)據(jù)流。比如在數(shù)據(jù)倉庫開發(fā)過程中，第一層的處理是ODS層或者Staging 層的開發(fā)，第二層是 DIMENSION維度層的開發(fā)，后面幾層就是DW 事實層、DM數(shù)據(jù)集市層的開發(fā)。通過ETL的調度管理就可以讓這幾層串聯(lián)起來形成一個完整的數(shù)據(jù)處理流程。

數(shù)據(jù)流就是具體的從源數(shù)據(jù)到目標數(shù)據(jù)表的數(shù)據(jù)轉換過程，所以也有 ETL 工具把數(shù)據(jù)流叫做轉換。在數(shù)據(jù)流的開發(fā)設計過程中主要就是三個環(huán)節(jié)，目標數(shù)據(jù)表的鏈接，這兩個直接通過 ETL 控件配置就可以了。中間轉換的環(huán)節(jié)，這個時候就可能有很多的選擇了，調 SQL 語句、存儲過程，或者還是使用 ETL 控件來實現(xiàn)。

有的項目上習慣使用 ETL 控件來實現(xiàn)數(shù)據(jù)流中的轉換，也有的項目要求不使用標準的轉換組件使用存儲過程來調用。也有的是因為數(shù)據(jù)倉庫本身這個數(shù)據(jù)庫不支持存儲過程就只能通過標準的SQL來實現(xiàn)。

我們通常講的BI數(shù)據(jù)架構師其實指的就是ETL的架構設計，這是整個BI項目中非常核心的一層技術實現(xiàn)，數(shù)據(jù)處理、數(shù)據(jù)清洗和建模都是在ETL中去實現(xiàn)。一個好的ETL架構設計可以同時支撐上百個包就是控制流，每一個控制流下可能又有上百個數(shù)據(jù)流的處理過程。之前寫過一篇技術文章，大家可以搜索下關鍵字 BIWORK ETL 應該在網(wǎng)上還能找到到這篇文章。這種框架設計不僅僅是ETL框架架構上的設計，還有很深的ETL項目管理和規(guī)范性控制器思想，包括后期的運維，基于BI的BI分析，ETL的性能調優(yōu)都會在這些框架中得到體現(xiàn)。因為大的BI項目可能同時需要幾十人來開發(fā)ETL，框架的頂層設計就很重要。