大數據分析到底需要多少種工具

① 做大數據分析一般用什麼工具呢

Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據。基礎
Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。
好說完基礎了，再說說還需要學習哪些大數據技術，可以按我寫的順序學下去。
Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。
記住學到這里可以作為你學大數據的一個節點。
Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。
Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。
Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。
Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。
Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。
Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。
Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

② 大數據分析一般用什麼工具分析

大數據分析的前瞻性使得很多公司以及企業都開始使用大數據分析對公司的決策做出幫助，而大數據分析是去分析海量的數據，所以就不得不藉助一些工具去分析大數據，。一般來說，數據分析工作中都是有很多層次的，這些層次分別是數據存儲層、數據報表層、數據分析層、數據展現層。對於不同的層次是有不同的工具進行工作的。下面小編就對大數據分析工具給大家好好介紹一下。

首先我們從數據存儲來講數據分析的工具。我們在分析數據的時候首先需要存儲數據，數據的存儲是一個非常重要的事情，如果懂得資料庫技術，並且能夠操作好資料庫技術，這就能夠提高數據分析的效率。而數據存儲的工具主要是以下的工具。

1、MySQL資料庫，這個對於部門級或者互聯網的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。

2、SQL Server的最新版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了數據存儲，也包括了數據報表和數據分析了，甚至數據挖掘工具都在其中了。

3、DB2，Oracle資料庫都是大型資料庫了，主要是企業級，特別是大型企業或者對數據海量存儲需求的就是必須的了，一般大型資料庫公司都提供非常好的數據整合應用平台;

接著說數據報表層。一般來說，當企業存儲了數據後，首先要解決報表的問題。解決報表的問題才能夠正確的分析好資料庫。關於數據報表所用到的數據分析工具就是以下的工具。

1、Crystal Report水晶報表，Bill報表，這都是全球最流行的報表工具，非常規范的報表設計思想，早期商業智能其實大部分人的理解就是報表系統，不藉助IT技術人員就可以獲取企業各種信息——報表。

2、Tableau軟體，這個軟體是近年來非常棒的一個軟體，當然它已經不是單純的數據報表軟體了，而是更為可視化的數據分析軟體，因為很多人經常用它來從資料庫中進行報表和可視化分析。

第三說的是數據分析層。這個層其實有很多分析工具，當然我們最常用的就是Excel，我經常用的就是統計分析和數據挖掘工具;

1、Excel軟體，首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作!但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體;

2、SPSS軟體：當前版本是18，名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析，到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體。

最後說表現層的軟體。一般來說表現層的軟體都是很實用的工具。表現層的軟體就是下面提到的內容。

1、PowerPoint軟體：大部分人都是用PPT寫報告。

2、Visio、SmartDraw軟體：這些都是非常好用的流程圖、營銷圖表、地圖等，而且從這里可以得到很多零件;

3、Swiff Chart軟體：製作圖表的軟體，生成的是Flash

③ 大數據分析到底需要多少種工具

常用的有excel，bdp個人版等~
以上數據分析圖表都來自bdp個人版，有常見的柱狀、折線、餅圖、條形圖等，還有比較酷炫的詞雲、地圖、漏斗圖、矩形樹圖等。

④ 大數據分析需要哪些工具

說到大數據，肯定少不了分析軟體，這應該是大數據工作的根基，但市面上很多各種分析軟體，如果不是過來人，真的很難找到適合自己或符合企業要求的。小編通過各大企業對大數據相關行業的崗位要求，總結了以下幾點：
（1）SQL資料庫的基本操作，會基本的數據管理
（2）會用Excel/SQL做基本的數據分析和展示
（3）會用腳本語言進行數據分析，Python or R
（4）有獲取外部數據的能力，如爬蟲
（5）會基本的數據可視化技能，能撰寫數據報告
（6）熟悉常用的數據挖掘演算法：回歸分析、決策樹、隨機森林、支持向量機等
對於學習大數據，總體來說，先學基礎，再學理論，最後是工具。基本上，每一門語言的學習都是要按照這個順序來的。
1、學習數據分析基礎知識，包括概率論、數理統計。基礎這種東西還是要掌握好的啊，基礎都還沒扎實，知識大廈是很容易倒的哈。
2、你的目標行業的相關理論知識。比如金融類的，要學習證券、銀行、財務等各種知識，不然到了公司就一臉懵逼啦。
3、學習數據分析工具，軟體結合案列的實際應用，關於數據分析主流軟體有(從上手度從易到難)：Excel，SPSS，stata，R，Python，SAS等。
4、學會怎樣操作這些軟體，然後是利用軟體從數據的清洗開始一步步進行處理，分析，最後輸出結果，檢驗及解讀數據。

⑤ 大數據分析一般用什麼工具呢

雖然數據分析的工具千萬種，綜合起來萬變不離其宗。無非是數據獲取、數據存儲、數據管理、數據計算、數據分析、數據展示等幾個方面。而SAS、R、SPSS、python、excel是被提到頻率最高的數據分析工具。

• Python

Python，是一種面向對象、解釋型計算機程序設計語言。Python語法簡潔而清晰，具有豐富和強大的類庫。它常被昵稱為膠水語言，能夠把用其他語言製作的各種模塊（尤其是C/C++）很輕松地聯結在一起。

常見的一種應用情形是，使用Python快速生成程序的原型（有時甚至是程序的最終界面），然後對其中有特別要求的部分，用更合適的語言改寫，比如3D游戲中的圖形渲染模塊，性能要求特別高，就可以用C/C++重寫，而後封裝為Python可以調用的擴展類庫。需要注意的是在您使用擴展類庫時可能需要考慮平台問題，某些可能不提供跨平台的實現。

• R軟體

R是一套完整的數據處理、計算和制圖軟體系統。它可以提供一些集成的統計工具，但更大量的是它提供各種數學計算、統計計算的函數，從而使使用者能靈活機動的進行數據分析，甚至創造出符合需要的新的統計計算方法。

• SPSS

SPSS是世界上最早的統計分析軟體，具有完整的數據輸入、編輯、統計分析、報表、圖形製作等功能，能夠讀取及輸出多種格式的文件。

• Excel

可以進行各種數據的處理、統計分析和輔助決策操作，廣泛地應用於管理、統計財經、金融等眾多領域。


• SAS軟體

SAS把數據存取、管理、分析和展現有機地融為一體。提供了從基本統計數的計算到各種試驗設計的方差分析，相關回歸分析以及多變數分析的多種統計分析過程，幾乎囊括了所有最新分析方法，其分析技術先進，可靠。分析方法的實現通過過程調用完成。許多過程同時提供了多種演算法和選項。

⑥ 大數據分析工具有哪些

1、新榜：互聯網渠道的價值標准：以日、周、月、年為周期,按24大分類權威發布以微信為代表的中國各自媒體平台最真實、最具價值的運營榜單,方便用戶了解新媒體整體發展情況,為用戶提供有效的參考導向…

2、Hadoop：能夠對大量數據進行分布式處理的軟體框架。
3、清博大數據中國新媒體大數據權威平台：清博大數據擁有清博指數、清博輿情、營廣工品等多個核心產品。提供微信、微博、頭條號等新媒體排行榜,廣告交易、輿情報告、數據咨詢...
4、神策數據：多維度數據實時分析，事件分析，漏斗分析，留存分析，分布分析等8大分析模型，輕松搞定數據分析需求。
5、GrowingIO：實時採集用戶行為數據，可視化實時出圖。

⑦ 大數據分析的工具有哪些

1、Hadoop

Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。

2、HPCC

HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了“重大挑戰項目：高性能計算與 通信”的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。

3、Storm

Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。

4、Apache Drill

為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為“Drill”的開源項目。Apache Drill 實現了 Google's Dremel.

據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，“Drill”已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。

5、RapidMiner

RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

6、Pentaho BI

Pentaho BI 平台不同於傳統的BI 產品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。

⑧ 大數據分析工具都有哪些

⑨ 大數據分析常用的工具有哪些

第一類，數據存儲和管理類的大數據工具。
此類較為主流的使用工具本文為大家列出三種：
1.Cloudera
實際上，Cloudera只是增加了一些其它服務的Hadoop，因為大數據並不是容易搞，需要我們構建大數據集群， 而Cloudera的團隊就可以為我們提供這些服務，還能幫培訓員工。
2.MongoDB
這是一個資料庫，並且非常的受大家歡迎，大數據常常採用的是非結構化數據，而MongoDB最適用於管理此類數據。
3.Talend
Talend是數據集成和解決方案領域的領袖級企業，他們為公共雲和私有雲提供了一體化的數據平台。
我們都知道，大數據歸根結底還是數據，其根源還是始於數據的存儲，而大數據之所以稱之為「大」，就是因為它的數據量非常大，因此，存儲就變得至關重要。除此之外，將數據按照某種格式化的治理結構，也尤為重要，因為這樣，我們可以獲得洞察力。而以上三種工具，就是這方面常用的三種使用工具。
第二類，數據清理類工具。
1.OpenRefine
這是一款開源的，易於使用的，可以通過刪除重復項、空白欄位及其他錯誤來清理排列雜亂無章的數據的工具，在業內廣受好評。
2.Excel
這個不用多說，不僅在大數據，基本上所有的公司辦公軟體都會安裝Excel，在Excel中有許多的公式和函數，方便我們進行一系列的操作，當然其缺點也比較明顯，那就是不適用於龐大的數據集。
3.DataCleaner
就像它的名字一樣，DataCleaner是一款能對數據質量進行分析、比較和監督的軟體，也可以將半結構化的數據集轉化成干凈的可讀的數據集。