① 常用的etl工具有哪些
1、DataPipeline
DataPipeline 隸屬於北京數見科技有限公司，是一家企業級批流一體數據融合服務商和解決方案提供商，國內實時數據管道技術的倡導者。
通過平台和技術為企業客戶解決數據准備過程中的各種痛點，幫助客戶更敏捷、更高效、更簡單地實現復雜異構數據源到目的地的實時數據融合和數據管理等綜合服務。
從而打破傳統 ETL 給客戶靈活數據應用帶來的束縛，讓數據准備過程不再成為數據消費的瓶頸。
2、Kettle
Kettle是一款國外開源的ETL工具，純java編寫，可以在Windows、Linux、Unix上運行，數據抽取高效穩定。
Kettle 中文名稱叫水壺，該項目的主程序員MATT 希望把各種數據放到一個壺里，然後以一種指定的格式流出。
3、Talend
Talend 是數據集成解決方案領域的領袖企業，為公共雲和私有雲以及本地環境提供一體化的數據集成平台。Talend的使命是致力於幫助客戶優化數據，提高數據可靠性，把企業數據更快地轉化為商業價值。
以此為使命，Talend的解決方案將數據從傳統基礎架構中解放出來，提高客戶在業務中的洞察力，讓客戶更早實現業務價值。
4、Informatica
Informatica是全球領先的數據管理軟體提供商。
在如下Gartner魔力象限位於領導者地位：數據集成工具魔力象限、數據質量工具魔力象限、元數據管理解決方案魔力象限、主數據管理解決方案魔力象限、企業級集成平台即服務（EiPaaS）魔力象限。
5、DataStage
IBM® InfoSphere™ Information Server 是一種數據集成軟體平台，能夠幫助企業從散布在各個系統中的復雜異構信息獲得更多價值。InfoSphere Information Server提供了一個統一的平台， 使公司能夠了解、清理、變換和交付值得信賴且上下文豐富的信息。
IBM® InfoSphere™ DataStage® and QualityStage™ 提供了圖形框架，您可使用該框架來設計和運行用於變換和清理、載入數據的作業。
② 大數據分析一般用什麼工具呢
雖然數據分析的工具千萬種，綜合起來萬變不離其宗。無非是數據獲取、數據存儲、數據管理、數據計算、數據分析、數據展示等幾個方面。而SAS、R、SPSS、python、excel是被提到頻率最高的數據分析工具。
Python
R軟體
SPSS
Excel
SAS軟體
Python，是一種面向對象、解釋型計算機程序設計語言。Python語法簡潔而清晰，具有豐富和強大的類庫。它常被昵稱為膠水語言，能夠把用其他語言製作的各種模塊（尤其是C/C++）很輕松地聯結在一起。
常見的一種應用情形是，使用Python快速生成程序的原型（有時甚至是程序的最終界面），然後對其中有特別要求的部分，用更合適的語言改寫，比如3D游戲中的圖形渲染模塊，性能要求特別高，就可以用C/C++重寫，而後封裝為Python可以調用的擴展類庫。需要注意的是在您使用擴展類庫時可能需要考慮平台問題，某些可能不提供跨平台的實現。
R是一套完整的數據處理、計算和制圖軟體系統。它可以提供一些集成的統計工具，但更大量的是它提供各種數學計算、統計計算的函數，從而使使用者能靈活機動的進行數據分析，甚至創造出符合需要的新的統計計算方法。
SPSS是世界上最早的統計分析軟體，具有完整的數據輸入、編輯、統計分析、報表、圖形製作等功能，能夠讀取及輸出多種格式的文件。
可以進行各種數據的處理、統計分析和輔助決策操作，廣泛地應用於管理、統計財經、金融等眾多領域。
SAS把數據存取、管理、分析和展現有機地融為一體。提供了從基本統計數的計算到各種試驗設計的方差分析，相關回歸分析以及多變數分析的多種統計分析過程，幾乎囊括了所有最新分析方法，其分析技術先進，可靠。分析方法的實現通過過程調用完成。許多過程同時提供了多種演算法和選項。
③ 網路信息抽取的工具
網路數據抽取工具簡介
傳統的網路數據抽取是針對抽取對象手工編寫一段專門的抽取程序，這個程序稱為包裝器(wrapper)。近年來，越來越多的網路數據抽取工具被開發出來，替代了傳統的手工編寫包裝器的方法。目前的網路數據抽取工具可分為以下幾大類(實際上，一個工具可能會歸屬於其中若干類)：
開發包裝器的專用語言(Languages for Wrapper Development)：用戶可用這些專用語言方便地編寫包裝器。例如Minerva，TSIMMIS，Web-OQL，FLORID，Jedi等。
以HTML為中間件的工具(HTML-aware Tools)：這些工具在抽取時主要依賴HTML文檔的內在結構特徵。在抽取過程之前，這些工具先把文檔轉換成標簽樹；再根據標簽樹自動或半自動地抽取數據。代表工具有Knowlesys，MDR。
基於NLP(Natural language processing)的工具(NLP-based Tools)：這些工具通常利用filtering、part-of-speech tagging、lexical semantic tagging等NLP技術建立短語和句子元素之間的關系，推導出抽取規則。這些工具比較適合於抽取那些包含符合文法的頁面。代表工具有 RAPIER，SRV，WHISK。
包裝器的歸納工具(Wrapper Inction Tools)：包裝器的歸納工具從一組訓練樣例中歸納出基於分隔符的抽取規則。這些工具和基於NLP的工具之間最大的差別在於：這些工具不依賴於語言約束，而是依賴於數據的格式化特徵。這個特點決定了這些工具比基於NLP的工具更適合於抽取HTML文檔。代表工具有：WIEN，SoftMealy，STALKER。
基於模型的工具(Modeling-based Tools)：這些工具讓用戶通過圖形界面，建立文檔中其感興趣的對象的結構模型，「教」工具學會如何識別文檔中的對象，從而抽取出對象。代表工具有：NoDoSE，DEByE。
基於本體的工具(Ontology-based Tools)：這些工具首先需要專家參與，人工建立某領域的知識庫，然後工具基於知識庫去做抽取操作。如果知識庫具有足夠的表達能力，那麼抽取操作可以做到完全自動。而且由這些工具生成的包裝器具有比較好的靈活性和適應性。代表工具有：BYU，X-tract。
④ 數據處理軟體有哪些
大數據分析平台是一個集成性的平台，可以將企業用戶所用的數據接入，然後在該平台上進行處理，最後對得到的數據，通過各種方式進行分析展示。
大數據平台應該是集數據整合、數據處理、數據存儲、數據分析、可視化、數據採集填報等功能為一體，真正幫助企業挖掘數據背後的業務邏輯，洞悉數據的蛛絲馬跡，發現數據的潛在價值。億信華辰的一站式數據分析平台ABI，就是大數據分析平台的一個典型代表。該平台融合了數據源適配、ETL數據處理、數據建模、數據分析、數據填報、工作流、門戶、移動應用等核心功能。採用輕量級SOA架構設計、B/S模式，各模塊間無縫集成。支持廣泛的數據源接入。數據整合模塊支持可視化的定義ETL過程，完成對數據的清洗、裝換、處理。數據集模塊支持資料庫、文件、介面等多方式的數據建模。數據分析模塊支持報表分析、敏捷看板、即席報告、幻燈片、酷屏、數據填報、數據挖掘等多種分析手段對數據進行分析、展現、應用。
⑤ python 數據挖掘需要用哪些庫和工具
python 數據挖掘常用的庫太多了！主要分為以下幾大類：
第一數據獲取：request,BeautifulSoup
第二基本數學庫：numpy
第三 資料庫出路 pymongo
第四 圖形可視化 matplotlib
第五 樹分析基本的庫 pandas
數據挖掘一般是指從大量的數據中通過演算法搜索隱藏於其中信息的過程。數據挖掘本質上像是機器學習和人工智慧的基礎，它的主要目的是從各種各樣的數據來源中，提取出超集的信息，然後將這些信息合並讓你發現你從來沒有想到過的模式和內在關系。這就意味著，數據挖掘不是一種用來證明假說的方法，而是用來構建各種各樣的假說的方法。
想要了解更多有關python 數據挖掘的信息，可以了解一下CDA數據分析師的課程。CDA數據分析師證書的含金量是很高的，簡單從兩個方面分析一下：首先是企業對於CDA的認可，經管之家CDA LEVEL Ⅲ數據科學家認證證書，屬於行業頂尖的人才認證，已獲得IBM大數據大學，中國電信，蘇寧，德勤，獵聘，CDMS等企業的認可。CDA證書逐漸獲得各企業用人單位認可與引進，如中國電信、中國移動、德勤，蘇寧，中國銀行，重慶統計局等。點擊預約免費試聽課。
⑥ 常見的大數據採集工具有哪些
1、離線搜集工具：ETL
在數據倉庫的語境下，ETL基本上便是數據搜集的代表，包括數據的提取(Extract)、轉換(Transform)和載入(Load)。在轉換的過程中，需求針對具體的事務場景對數據進行治理，例如進行不合法數據監測與過濾、格式轉換與數據規范化、數據替換、確保數據完整性等。
2、實時搜集工具：Flume/Kafka
實時搜集首要用在考慮流處理的事務場景，比方，用於記錄數據源的履行的各種操作活動，比方網路監控的流量辦理、金融運用的股票記賬和 web 伺服器記錄的用戶訪問行為。在流處理場景，數據搜集會成為Kafka的顧客，就像一個水壩一般將上游源源不斷的數據攔截住，然後依據事務場景做對應的處理(例如去重、去噪、中心核算等)，之後再寫入到對應的數據存儲中。
3、互聯網搜集工具：Crawler, DPI等
Scribe是Facebook開發的數據(日誌)搜集體系。又被稱為網頁蜘蛛，網路機器人，是一種按照一定的規矩，自動地抓取萬維網信息的程序或者腳本，它支持圖片、音頻、視頻等文件或附件的搜集。
除了網路中包含的內容之外，關於網路流量的搜集能夠運用DPI或DFI等帶寬辦理技術進行處理。
⑦ 大數據etl工具有哪些
ETL是數據倉庫中的非常重要的一環，是承前啟後的必要的一步。ETL負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
下面給大家介紹一下什麼是ETL以及ETL常用的三種工具——Datastage，Informatica，Kettle。
一、什麼是ETL？
ETL，Extract-Transform-Load 的縮寫，用來描述將數據從來源端經過抽取（extract）、轉換（transform）、載入（load）至目的端的過程。
數據倉庫結構
通俗的說法就是從數據源抽取數據出來，進行清洗加工轉換，然後載入到定義好的數據倉庫模型中去。目的是將企業中的分散、零亂、標准不統一的數據整合到一起，為企業的決策提供分析依據。
ETL是BI項目重要的一個環節，其設計的好壞影響生成數據的質量，直接關繫到BI項目的成敗。
二、為什麼要用ETL工具？
在數據處理的時候，我們有時會遇到這些問題：
▶ 當數據來自不同的物理主機，這時候如使用SQL語句去處理的話，就顯得比較吃力且開銷也更大。
▶ 數據來源可以是各種不同的資料庫或者文件，這時候需要先把他們整理成統一的格式後才可以進行數據的處理，這一過程用代碼實現顯然有些麻煩。
▶ 在資料庫中我們當然可以使用存儲過程去處理數據，但是處理海量數據的時候存儲過程顯然比較吃力，而且會佔用較多資料庫的資源，這可能會導致數據資源不足，進而影響資料庫的性能。
而上述遇到的問題，我們用ETL工具就可以解決。ETL工具具有以下幾點優勢：
1、支持多種異構數據源的連接。（部分）
2、圖形化的界面操作十分方便。
3、處理海量數據速度快、流程更清晰等。
三、ETL工具介紹
1、Datastage
IBM公司的商業軟體，最專業的ETL工具，但同時價格不菲，適合大規模的ETL應用。
使用難度：★★★★
2、Informatica
商業軟體，相當專業的ETL工具。價格上比Datastage便宜一點，也適合大規模的ETL應用。
使用難度：★★
3、Kettle
免費，最著名的開源產品，是用純java編寫的ETL工具，只需要JVM環境即可部署，可跨平台，擴展性好。
使用難度：★★
四、三種ETL工具的對比
Datastage、Informatica、Kettle三個ETL工具的特點和差異介紹：
1、操作
這三種ETL工具都是屬於比較簡單易用的，主要看開發人員對於工具的熟練程度。
Informatica有四個開發管理組件，開發的時候我們需要打開其中三個進行開發，Informatica沒有ctrl+z的功能，如果對job作了改變之後，想要撤銷，返回到改變前是不可能的。相比Kettle跟Datastage在測試調試的時候不太方便。Datastage全部的操作在同一個界面中，不用切換界面，能夠看到數據的來源，整個job的情況，在找bug的時候會比Informatica方便。
Kettle介於兩者之間。
2、部署
Kettle只需要JVM環境，Informatica需要伺服器和客戶端安裝，而Datastage的部署比較耗費時間，有一點難度。
3、數據處理的速度
大數據量下Informatica與Datastage的處理速度是比較快的，比較穩定。Kettle的處理速度相比之下稍慢。
4、服務
Informatica與Datastage有很好的商業化的技術支持，而Kettle則沒有。商業軟體的售後服務上會比免費的開源軟體好很多。
5、風險
風險與成本成反比，也與技術能力成正比。
6、擴展
Kettle的擴展性無疑是最好，因為是開源代碼，可以自己開發拓展它的功能，而Informatica和Datastage由於是商業軟體，基本上沒有。
7、Job的監控
三者都有監控和日誌工具。
在數據的監控上，個人覺得Datastage的實時監控做的更加好，可以直觀看到數據抽取的情況，運行到哪一個控制項上。這對於調優來說，我們可以更快的定位到處理速度太慢的控制項並進行處理，而informatica也有相應的功能，但是並不直觀，需要通過兩個界面的對比才可以定位到處理速度緩慢的控制項。有時候還需要通過一些方法去查找。
8、網上的技術文檔
Datastage < Informatica < kettle,相對來說，Datastage跟Informatica在遇到問題去網上找到解決方法的概率比較低，kettle則比較多。
五、項目經驗分享
在項目中，很多時候我們都需要同步生產庫的表到數據倉庫中。一百多張表同步、重復的操作，對開發人員來說是細心和耐心的考驗。在這種情況下，開發人員最喜歡的工具無疑是kettle，多個表的同步都可以用同一個程序運行，不必每一張表的同步都建一個程序，而informatica雖然有提供工具去批量設計，但還是需要生成多個程序進行一一配置，而datastage在這方面就顯得比較笨拙。
在做增量表的時候，每次運行後都需要把將最新的一條數據操作時間存到資料庫中，下次運行我們就取大於這個時間的數據。Kettle有控制項可以直接讀取資料庫中的這個時間置為變數；對於沒有類似功能控制項的informatica，我們的做法是先讀取的資料庫中的這個時間存到文件，然後主程序運行的時候指定這個文件為參數文件，也可以得到同樣的效果