搞大數(shù)據(jù)，JAVA工程師需要掌握哪些知識？目前很多大數(shù)據(jù)都是指Hadoop，企業(yè)最常用的大數(shù)據(jù)工具就是Hadoop。Java作為學習大數(shù)據(jù)的基礎(chǔ)，很多組件都是用Java語言或JVM運行的。所以當你熟練

搞大數(shù)據(jù)，JAVA工程師需要掌握哪些知識？

目前很多大數(shù)據(jù)都是指Hadoop，企業(yè)最常用的大數(shù)據(jù)工具就是Hadoop。Java作為學習大數(shù)據(jù)的基礎(chǔ)，很多組件都是用Java語言或JVM運行的。所以當你熟練使用Java，具備了轉(zhuǎn)大數(shù)據(jù)的基本條件后，下一步就是學習知識和技術(shù)。

Hadoop主要包括三個部分，HDFS、MapReduce和yarn都需要深入學習，因為面試中可能會問一些原則性的問題。

Hadoop生態(tài)系統(tǒng)的重要組件，如hive（離線）、HBase、spark（實時，實時框架包括spark、storm、Flink等，您可以選擇其中一個進行學習）。這些重要的組件需要深入系統(tǒng)的學習，也是最適合在大數(shù)據(jù)中使用的組件。

Kafka、flume、sqoop等Hadoop生態(tài)系統(tǒng)的重要工具，以及Azkaban等調(diào)度工作，在日常工作中不可或缺。

當然，在學習了以上相關(guān)知識和技術(shù)之后，最重要的是要學會如何運用實際項目。另外，你最好看看別人的優(yōu)秀源代碼來提高自己。來吧。