❶ 現在常用的ETL工具,哪個比較易用而且價格比較低 對安裝平台是否有具體的要求
常用的ETL工具有
IBM的DataStage，Informatica的Powercenter 這兩款功能強，但是成本也很高。
BSP的waha！transformation 功能相對較弱，只能運行在windows平台，支持所有資料庫鏈接及格式化文本的鏈接。安裝配置非常簡單，界面話操作簡單，價格也相對便宜的多。可以考慮這個。
❷ ETL的工具應用
ETL工具的典型代表有:Informatica、Datastage、OWB、微軟DTS、Beeload、Kettle、久其ETL……
開源的工具有eclipse的etl插件:cloveretl
數據集成：快速實現ETL
ETL的質量問題具體表現為正確性、完整性、一致性、完備性、有效性、時效性和可獲取性等幾個特性。而影響質量問題的原因有很多，由系統集成和歷史數據造成的原因主要包括:業務系統不同時期系統之間數據模型不一致；業務系統不同時期業務過程有變化；舊系統模塊在運營、人事、財務、辦公系統等相關信息的不一致；遺留系統和新業務、管理系統數據集成不完備帶來的不一致性。
實現ETL，首先要實現ETL轉換的過程。體現為以下幾個方面：
1、空值處理：可捕獲欄位空值，進行載入或替換為其他含義數據，並可根據欄位空值實現分流載入到不同目標庫。
2、規范化數據格式：可實現欄位格式約束定義，對於數據源中時間、數值、字元等數據，可自定義載入格式。
3、拆分數據：依據業務需求對欄位可進行分解。例，主叫號 861082585313-8148，可進行區域碼和電話號碼分解。
4、驗證數據正確性：可利用Lookup及拆分功能進行數據驗證。例如，主叫號861082585313-8148，進行區域碼和電話號碼分解後，可利用Lookup返回主叫網關或交換機記載的主叫地區，進行數據驗證。
5、數據替換：對於因業務因素，可實現無效數據、缺失數據的替換。
6、Lookup：查獲丟失數據 Lookup實現子查詢，並返回用其他手段獲取的缺失欄位，保證欄位完整性。
7、建立ETL過程的主外鍵約束：對無依賴性的非法數據，可替換或導出到錯誤數據文件中，保證主鍵唯一記錄的載入。
❸ 哪位高手可以推薦幾款通用的資料庫管理工具
1、MySQL Workbench
MySQL Workbench是一款專為MySQL設計的ER/資料庫建模工具。它是著名的資料庫設計工具DBDesigner4的繼任者。你可以用MySQL Workbench設計和創建新的資料庫圖示，建立資料庫文檔，以及進行復雜的MySQL 遷移
MySQL Workbench是下一代的可視化資料庫設計、管理的工具，它同時有開源和商業化的兩個版本。該軟體支持Windows和Linux系統，下面是一些該軟體運行的界面截圖：
2、資料庫管理工具 Navicat Lite
NavicatTM是一套快速、可靠並價格相宜的資料庫管理工具，大可使用來簡化資料庫的管理及降低系統管理成本。它的設計符合資料庫管理員、開發人員及中小企業的需求。 Navicat是以直覺化的使用者圖形介面所而建的，讓你可以以安全且簡單的方式建立、組織、存取並共用資訊。
界面如下圖所示：
Navicat 提供商業版Navicat Premium 和免費的版本 Navicat Lite 。免費版本的功能已經足夠強大了。
Navicat 支持的資料庫包括MySQL、Oracle、SQLite、PostgreSQL和SQL Server 等。
3、開源ETL工具Kettle
Kettle是一款國外開源的etl工具，純java編寫，綠色無需安裝，數據抽取高效穩定(數據遷移工具)。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數據的基礎轉換，job則完成整個工作流的控制。
·授權協議：LGPL
·開發語言： Java
·操作系統： 跨平台
4、Eclipse SQLExplorer
SQLExplorer是Eclipse集成開發環境的一種插件，它可以被用來從Eclipse連接到一個資料庫。
SQLExplorer插件提供了一個使用SQL語句訪問資料庫的圖形用戶介面（GUI）。通過使用SQLExplorer，你能夠顯示表格、表格結構和表格中的數據，以及提取、添加、更新或刪除表格數據。
SQLExplorer同樣能夠生成SQL腳本來創建和查詢表格。所以，與命令行客戶端相比，使用SQLExplorer可能是更優越的選擇，下圖是運行中的界面，很好很強大。
l授權協議： 未知
l開發語言： Java
l操作系統： 跨平台
5、MySQL管理工具phpMyAdmin
phpMyAdmin是一個非常受歡迎的基於web的MySQL資料庫管理工具。它能夠創建和刪除資料庫，創建/刪除/修改表格,刪除/編輯/新增欄位，執行SQL腳本等。
l授權協議：GPL
l開發語言：PHP
l操作系統：跨平台
6、Mongodb 管理工具Mongodb Studio
Mongodb是一款性能優良，功能豐富的文檔型非關系型資料庫。由於該資料庫是開源項目並且還在不斷更新中，目前為止在任何平台上都不能找到功能相對完整的客戶端資料庫管理工具。而越來越多的項目中使用了Mongodb，使得管理起來十分麻煩.如果點點滑鼠就搞定了.那該有多好。
基於如上背景，我們製作了此MongoDB管理工具，在DBA/開發/管理員三個維度提供一定層次的管理功能。
Mongodb Management Studio功能如下:
l伺服器管理功能
添加伺服器,刪除伺服器
l伺服器,資料庫,表,列,索引,樹形顯示和狀態信息查看
l查詢分析器功能.
支持select,insert,Delete,update
支持自定義分頁函 數 $rowid(1,5)查詢第一條到第五條,需放在select後面.
l索引管理功能
支持列名的顯示,索引的創建,查看,刪除.
l資料庫Profile管理.
可以設置Profile開關,查看Profile信息.自定義分頁大小.
lmaster/slave信息顯示
7、MySQL監控小工具mycheckpoint
mycheckpoint是一個開源的 MySQL監控工具，主要用來監控數據。通過視圖方式提供監控數據報表。mycheckpoint支持以獨立的Web伺服器來運行。
例如：SELECTinnodb_read_hit_percent, DML FROM sv_report_chart_sample;
查看詳細報表示例。
安裝手冊：http://code.openark.org/forge/mycheckpoint/documentation/installation
8、SQL SERVER 資料庫發布向導
Microsoft SQL Server DatabasePublishing Wizard (微軟SQLServer資料庫發布向導) 是微軟發布的一個開源工具，使用該工具可以幫你將SQLSERVER 資料庫導出成一個 SQL腳本，類似 MySQL 的 mysqlmp工具。
官方說明：SQLServer資料庫發布向導提供了一種將資料庫發布到 T-SQL 腳本或者直接發布到支持宿主服務提供程序的方法。
9、Eclipse 的Oracle插件jOra
jOra是一個為 Oracle開發者和管理員提供的 Eclipse 插件，可輕松的對Oracle進行開發和管理。
安裝地址：http://jora.luenasoft.de/updatesite
插件截圖
l授權協議：免費，非開源
l開發語言：Java
l操作系統：跨平台
10、免費PostgreSQL監控工具pgwatch
pgwatch 是一個簡單易用的PostgreSQL的監控工具，支持PostgreSQL 9.0 以及更新的版本。
主要特性：
- 配置簡單
- 大量的監控圖表
- 快速系統檢查面板
- 自動收集統計信息
- 互動式的 Flash 圖表
- 集成 SQL worksheet
l授權協議： Artistic
l開發語言：PHP
l操作系統： Linux
11、MySQL Browser
MySQL的客戶端工具MySQL Browser的優點是簡單，及其的簡單，安裝之後能夠立刻上手，馬上就能使用的那種，布局也很簡陋，功能也很簡陋，簡單使用沒有問題，尤其是剛開始學習mysql的同學，可以嘗試一下。
·授權協議：未知
·操作系統： Windows
12、MySQL客戶端軟體HeidiSQL
HeidiSQL是一個功能非常強大的 MySQL 客戶端軟體，採用Delphi 開發，支持 Windows 操作系統。
l授權協議：GPL
l開發語言：Delphi/Pascal
l操作系統： Windows
13、SQLite管理工具SQLiteStudio
SQLiteStudio 是一個跨平台的 SQLite資料庫的管理工具，採用 Tcl語言開發。
l授權協議：未知
l操作系統：跨平台
14、SQL客戶端工具SQLyog
SQLyog 是一個易於使用的、快速而簡潔的圖形化管理MYSQL資料庫的工具，它能夠在任何地點有效地管理你的資料庫。
功能：
l快速備份和恢復數據；
l以GRID/ TEXT格式顯示結果；
l支持客戶端挑選、過濾數據；
l批量執行很大的SQL腳本文件；
l快速執行多重查詢並能夠返回每頁超過1000條的記錄集，而這種操作是直接生成在內存中的；
l程序本身非常短小精悍！壓縮後只有348 KB ；
l完全使用MySQLC APIs程序介面；
l以直觀的表格界面建立或編輯數據表；
l以直觀的表格界面編輯數據；
l進行索引管理；
l創建或刪除資料庫；
l操縱資料庫的各種許可權：庫、表、欄位；
l編輯BLOB類型的欄位，支持Bitmap/GIF/JPEG格式；
l輸出數據表結構/數據為SQL腳本；
l支持輸入/輸出數據為CSV文件；
l可以輸出資料庫清單為HTML文件；
l為所有操作建立日誌；
l個人收藏管理操作語句；
l支持語法加亮顯示；
l可以保存記錄集為CSV、HTML、XML格式的文件；
l21、99% 的操作都可以通過快捷鍵完成；
l支持對數據表的各種高級屬性修改；
l查看數據伺服器的各種狀態、參數等；
l支持更改數據表類型為ISAM, MYISAM, MERGE, HEAP, InnoDB, BDB；
l刷新數據伺服器、日誌、許可權、表格等；
l診斷數據表：檢查、壓縮、修補、分析。
l授權協議：GPLv2
l開發語言：C/C++
l操作系統： Windows
15、數據挖掘工具RapidMiner
RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。
功能和特點
l免費提供數據挖掘技術和庫；
l100%用Java代碼（可運行在操作系統）；
l數據挖掘過程簡單，強大和直觀；
l內部XML保證了標准化的格式來表示交換數據挖掘過程；
l可以用簡單腳本語言自動進行大規模進程；
l多層次的數據視圖，確保有效和透明的數據；
l圖形用戶界面的互動原型；
l命令行（批處理模式）自動大規模應用；
lJava API（應用編程介面）；
l簡單的插件和推廣機制；
l強大的可視化引擎，許多尖端的高維數據的可視化建模；
l400多個數據挖掘運營商支持；
l耶魯大學已成功地應用在許多不同的應用領域，包括文本挖掘，多媒體挖掘，功能設計，數據流挖掘，集成開發的方法和分布式數據挖掘。
l授權協議：未知
l開發語言：Java
l操作系統：跨平台
16、Oracle 資料庫開發工具Oracle SQL Developer
Oracle SQL Developer 是一個免費非開源的用以開發資料庫應用程序的圖形化工具，使用SQLDeveloper 可以瀏覽資料庫對象、運行 SQL 語句和腳本、編輯和調試 PL/SQL語句。另外還可以創建執行和保存報表。該工具可以連接任何 Oracle 9.2.0.1 或者以上版本的 Oracle 資料庫，支持Windows、Linux 和 Mac OS X 系統。
·授權協議：免費，非開源
·開發語言：Java
·操作系統：Windows Linux MacOS
17、EMS SQL Manager for MySQL
EMS SQL Manager for MySQL是一款高性能MySQL資料庫伺服器系統的管理和開發工具。它支持從MySQL 3.23到6.0的任一版本，並支持最新版本的MySQL的特點，包括：查看、存儲規程和函數、InnoDB外部鍵字和其他特點。它提供了大量工具以滿足富有經驗的用戶的所有要求。添加了精心設計的操作向導系統，以及SQL Manager for MySQL那富有藝術感的圖形用戶界面，即使新手也可以不會為如何使用而感到困擾。
l授權協議：商業軟體
l開發語言：C/C++
l操作系統： Windows
18、資料庫管理工具CoolSQL
CoolSQL是一個資料庫客戶端管理工具。
·支持大部分資料庫包括：DB2、oracle、mysql、MS SQL Server、Derby、HSQL、Informix、Sybase、PostgresSQL等。
·為用戶提供友好和漂亮UI，其整體框架由視圖組成類似於Eclipse。支持直接修改SQL查詢結果。
·支持將表格數據導出成文本文件，EXCEL和HTML。
·擁有一個支持SQL語法著色顯示，智能提示，文本編輯和查找的SQL編輯器。
·能夠展示資料庫大部分元數據包括：版本，數據類型、函數，連接信息等。
·支持導出數據對象信息包括對象數據（INSERT SQL語句），生成創建/刪除腳本（create script/drop script）。
·所有SQL腳本都可以以批量的模式執行。
·能夠搜索所有數據包括資料庫列，表/視圖和其他表格型。
·支持i18n，當前提供兩種語言（中文和英文）。
·提供收藏功能，管理由用戶收集的文本信息。
·支持通過插件擴展其功能。
ll 授權協議：未知
l開發語言：Java
l操作系統：跨平台
19、SQLite Manager
這是一款方便firefox對任何SQLite資料庫操作的擴展。使用這款擴展，可以在firefox下很容易的創建表格、建立索引、瀏覽搜索等操作。此外它還具有一個語法檢查功能的下拉式菜單，從而保證用戶的操作不會出錯。
20、MySQL GUI Tools
這是MySQL官方專業的資料庫管理工具，同時支持多種操作系統。該工具包括下面三個產品：
·MySQL Administrator 1.2
·MySQL Query Browser 1.2
·MySQL MigrationToolkit 1.1
21、SQL客戶端管理工具SQuirreL SQL Client
SQuirreL SQL Client是一個SQL客戶端管理工具。它允許你查看一個兼容JDBC的資料庫的結構，瀏覽表格中的數據，運行SQL命令, 可連接的資料庫有ORCAL,MS SQLSERVER, DB2 等, 它還允許用戶安裝和創建用於補充應用程序基本功能的插件。
功能和特點：
l柱狀圖顯示對像；
l自動完成；
l語句提示；
l標記；
l自動糾正；
l編輯查詢結果；
l關系圖；
l分頁列印。
l授權協議：未知
l語言：Java
l操作系統：跨平台
22、Tomcat管理工具EasyTomcat
EasyTomcat是一個用來幫助簡化 Tomcat和 MySQL管理的系統，你可以啟動、停止和配置Tomcat和MySQL伺服器，同時也提供了監控的功能。
l授權協議：未知
l開發語言：Java
l操作系統：跨平台
23、SQL Server管理工具sqlBuddy
SqlBuddy是C#編寫的一款用於Microsoft SQLServer和MSDE的開源工具，使用它可以很容易的編寫SQL腳本。SqlBuddy提供的功能和查詢分析器的目的有些微不同，它傾向於幫助使用者編寫SQL。
l授權協議：未知
l開發語言：C#
l操作系統： Windows
24、資料庫開發工具GSQL
GSQL 是 Gnome 下的一個集成資料庫開發工具。資料庫結構顯示在下圖左邊的樹狀結構中，支持SQL的語法著色。
l授權協議：未知
l操作系統：Linux
25、SQLite資料庫管理SQLiteSpy
sqlitespy是一個快速和緊湊的資料庫SQLite的GUI管理軟體 。它的圖形用戶界面使得它很容易探討，分析和操縱sqlite3資料庫。
l授權協議：未知
l開發語言：Delphi/Pascal
l操作系統：Windows
26、資料庫開發工具Aqua Data Studio
Aqua DataStudio 是一個為資料庫開發人員准備的集成開發環境，可以對資料庫做查詢、管理，提供大量的資料庫工具，例如資料庫比較、源碼控制等，目前支持的資料庫包括：Oracle, DB2iSeries, DB2 LUW, MS SQL Server, Sybase ASE, Sybase Anywhere, Sybase IQ, Informix,PostgreSQL, MySQL, Apache Derby, JDBC, and ODBC.
l授權協議：未知
l開發語言：C/C++
l操作系統：跨平台
27、MySQL 架構管理工具MySQL MMM
MySQL Master-Master 架構常被用在 SQLquery 相依性低的情況，像是 counter常使用的INSERT INTO ... ON DUPLICATEKEY UPDATE a = a + 1不會因為out-of-order而造成問題。而 MySQL MMM算是其中一套寫得比較好的 MySQLMaster-Master架構管理工具。
l授權協議：未知
l開發語言：Python
l操作系統： Linux
28、MySQL Client
MySQL的客戶端工具，主界面如下：
l授權協議：未知
l操作系統：Windows
❹ 大數據etl工具有哪些
ETL是數據倉庫中的非常重要的一環，是承前啟後的必要的一步。ETL負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
下面給大家介紹一下什麼是ETL以及ETL常用的三種工具——Datastage，Informatica，Kettle。
一、什麼是ETL？
ETL，Extract-Transform-Load 的縮寫，用來描述將數據從來源端經過抽取（extract）、轉換（transform）、載入（load）至目的端的過程。
數據倉庫結構
通俗的說法就是從數據源抽取數據出來，進行清洗加工轉換，然後載入到定義好的數據倉庫模型中去。目的是將企業中的分散、零亂、標准不統一的數據整合到一起，為企業的決策提供分析依據。
ETL是BI項目重要的一個環節，其設計的好壞影響生成數據的質量，直接關繫到BI項目的成敗。
二、為什麼要用ETL工具？
在數據處理的時候，我們有時會遇到這些問題：
▶ 當數據來自不同的物理主機，這時候如使用SQL語句去處理的話，就顯得比較吃力且開銷也更大。
▶ 數據來源可以是各種不同的資料庫或者文件，這時候需要先把他們整理成統一的格式後才可以進行數據的處理，這一過程用代碼實現顯然有些麻煩。
▶ 在資料庫中我們當然可以使用存儲過程去處理數據，但是處理海量數據的時候存儲過程顯然比較吃力，而且會佔用較多資料庫的資源，這可能會導致數據資源不足，進而影響資料庫的性能。
而上述遇到的問題，我們用ETL工具就可以解決。ETL工具具有以下幾點優勢：
1、支持多種異構數據源的連接。（部分）
2、圖形化的界面操作十分方便。
3、處理海量數據速度快、流程更清晰等。
三、ETL工具介紹
1、Datastage
IBM公司的商業軟體，最專業的ETL工具，但同時價格不菲，適合大規模的ETL應用。
使用難度：★★★★
2、Informatica
商業軟體，相當專業的ETL工具。價格上比Datastage便宜一點，也適合大規模的ETL應用。
使用難度：★★
3、Kettle
免費，最著名的開源產品，是用純java編寫的ETL工具，只需要JVM環境即可部署，可跨平台，擴展性好。
使用難度：★★
四、三種ETL工具的對比
Datastage、Informatica、Kettle三個ETL工具的特點和差異介紹：
1、操作
這三種ETL工具都是屬於比較簡單易用的，主要看開發人員對於工具的熟練程度。
Informatica有四個開發管理組件，開發的時候我們需要打開其中三個進行開發，Informatica沒有ctrl+z的功能，如果對job作了改變之後，想要撤銷，返回到改變前是不可能的。相比Kettle跟Datastage在測試調試的時候不太方便。Datastage全部的操作在同一個界面中，不用切換界面，能夠看到數據的來源，整個job的情況，在找bug的時候會比Informatica方便。
Kettle介於兩者之間。
2、部署
Kettle只需要JVM環境，Informatica需要伺服器和客戶端安裝，而Datastage的部署比較耗費時間，有一點難度。
3、數據處理的速度
大數據量下Informatica與Datastage的處理速度是比較快的，比較穩定。Kettle的處理速度相比之下稍慢。
4、服務
Informatica與Datastage有很好的商業化的技術支持，而Kettle則沒有。商業軟體的售後服務上會比免費的開源軟體好很多。
5、風險
風險與成本成反比，也與技術能力成正比。
6、擴展
Kettle的擴展性無疑是最好，因為是開源代碼，可以自己開發拓展它的功能，而Informatica和Datastage由於是商業軟體，基本上沒有。
7、Job的監控
三者都有監控和日誌工具。
在數據的監控上，個人覺得Datastage的實時監控做的更加好，可以直觀看到數據抽取的情況，運行到哪一個控制項上。這對於調優來說，我們可以更快的定位到處理速度太慢的控制項並進行處理，而informatica也有相應的功能，但是並不直觀，需要通過兩個界面的對比才可以定位到處理速度緩慢的控制項。有時候還需要通過一些方法去查找。
8、網上的技術文檔
Datastage < Informatica < kettle,相對來說，Datastage跟Informatica在遇到問題去網上找到解決方法的概率比較低，kettle則比較多。
五、項目經驗分享
在項目中，很多時候我們都需要同步生產庫的表到數據倉庫中。一百多張表同步、重復的操作，對開發人員來說是細心和耐心的考驗。在這種情況下，開發人員最喜歡的工具無疑是kettle，多個表的同步都可以用同一個程序運行，不必每一張表的同步都建一個程序，而informatica雖然有提供工具去批量設計，但還是需要生成多個程序進行一一配置，而datastage在這方面就顯得比較笨拙。
在做增量表的時候，每次運行後都需要把將最新的一條數據操作時間存到資料庫中，下次運行我們就取大於這個時間的數據。Kettle有控制項可以直接讀取資料庫中的這個時間置為變數；對於沒有類似功能控制項的informatica，我們的做法是先讀取的資料庫中的這個時間存到文件，然後主程序運行的時候指定這個文件為參數文件，也可以得到同樣的效果