java大數(shù)據(jù)是干什么的 JAVA web轉大數(shù)據(jù)開發(fā),有必要學習統(tǒng)計學嗎?
JAVA web轉大數(shù)據(jù)開發(fā),有必要學習統(tǒng)計學嗎?我是做大數(shù)據(jù)的,我來回答一下。要負責任,大數(shù)據(jù)需要學習統(tǒng)計知識。大數(shù)據(jù)目前還屬于程序員的范疇,但具有很強的數(shù)據(jù)分析統(tǒng)計屬性,也與數(shù)據(jù)挖掘密切相關。雖然
JAVA web轉大數(shù)據(jù)開發(fā),有必要學習統(tǒng)計學嗎?
我是做大數(shù)據(jù)的,我來回答一下。
要負責任,大數(shù)據(jù)需要學習統(tǒng)計知識。
大數(shù)據(jù)目前還屬于程序員的范疇,但具有很強的數(shù)據(jù)分析統(tǒng)計屬性,也與數(shù)據(jù)挖掘密切相關。雖然日常工作也是寫代碼,不像Java,有時候需求者不 不明白哪些指標可以用數(shù)據(jù)統(tǒng)計,統(tǒng)計出來的數(shù)據(jù)如何更科學更有代表性。不像Java有項目需求陳述,產(chǎn)品經(jīng)理提供清晰的產(chǎn)品原型和邏輯,拋給大數(shù)據(jù)端的需求往往只是一句話。分析這些數(shù)據(jù)。;不否認有一些明確的統(tǒng)計,比如總量、PV、UV等等)
上級領導和運營人員更希望你主動去分析挖掘數(shù)據(jù),提供一些參考和價值。在這個時候,你不 我根本不懂統(tǒng)計知識。要不要盯著數(shù)據(jù)讓它自己提出訴求?你不 甚至不知道方差、波動、歸一化、四分位數(shù)等。,如何清理數(shù)據(jù),如何做好本職工作。
有些做大數(shù)據(jù)的人,只把自己定位為碼農(nóng),成長會很慢。他們應該積極地把自己定位為數(shù)據(jù)分析師,學習統(tǒng)計知識。一是可以做好本職工作,二是可以進入機器學習領域,一舉兩得。
當你發(fā)現(xiàn)你的統(tǒng)計知識給了你做大數(shù)據(jù)工作的方法,贏得了公司領導的認可和好評,那八個月的時間是怎么過的?
加油,每天進步一點點,未來就大不一樣了。
如果你有任何問題,請和我討論。如果你同意我的觀點,請點擊紅字 "關心和支持在右上角。謝謝你。
目前應該知道簡單的統(tǒng)計公式。如果涉及到復雜的算法,可能需要了解一些統(tǒng)計學的知識,但是一個大數(shù)據(jù)開發(fā)工程師不掌握統(tǒng)計學也能開發(fā)大數(shù)據(jù)。
看到javaw
Java轉大數(shù)據(jù)的學習線路是什么?
專業(yè)軟件開發(fā),上學的時候專注于Java,現(xiàn)在已經(jīng)從事Java開發(fā)一年半了。我想轉向大數(shù)據(jù)。
1.先熟悉一下linux環(huán)境。大數(shù)據(jù)的很多技術都部署在linux服務器上,你熟練使用vi編輯文本。
2.部署hadoop,讓hdfs和MapReduce運行。
部署動物園管理員
4.部署hbase了解列存儲的表設計方法。
5.掌握蜂巢的使用
6 .火花流、風暴流計算
7.學習spark mllib,python為數(shù)據(jù)分析做準備。有Java基礎轉大數(shù)據(jù),需要學習:
1.大數(shù)據(jù)基礎:Linux,Maven:Linux系統(tǒng)管理,Shell編程設計,Maven部署/配置/倉庫,Maven POM。
2.HDFS分布式文件系統(tǒng)
分布式計算模型Yarn分布式資源管理器Zookeeper分布式協(xié)調服務
4.分布式數(shù)據(jù)庫。
5.FlumeNG分布式數(shù)據(jù)采集系統(tǒng)Sqoop大數(shù)據(jù)遷移系統(tǒng)。
大數(shù)據(jù)黃金語言的kafka分布式總線系統(tǒng)。
7.SparkCore大數(shù)據(jù)計算基石SparkSQL數(shù)據(jù)挖掘工具SparkStreaming流計算平臺
8.SparkMllib機器學習平臺SparkGraphx圖形計算平臺
9.項目實戰(zhàn)
相關:
大數(shù)據(jù)開發(fā)工程師,學什么?
大數(shù)據(jù)學習有哪些誤區(qū)?如何避免大數(shù)據(jù)開發(fā)和數(shù)據(jù)分析中的學習誤區(qū)?
大數(shù)據(jù)基礎:Linux,Maven:Linux系統(tǒng)管理,Shell編程設計,Maven部署/配置/倉庫,Maven POM。