大數(shù)據(jù)工程師需要會(huì)什么？Java基礎(chǔ)HTML、CSS與JavaLinuxHadoopt體系Spark生態(tài)體系Storm生態(tài)體系實(shí)戰(zhàn)：數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用等等...spoon輸出表找不

大數(shù)據(jù)工程師需要會(huì)什么？

Java基礎(chǔ)

HTML、CSS與Java

LinuxHadoopt體系

Spark生態(tài)體系

Storm生態(tài)體系

實(shí)戰(zhàn)：數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用

等等...

spoon輸出表找不到數(shù)據(jù)庫(kù)？

答:spoon輸出表一直找不到數(shù)據(jù)庫(kù)的解決方法步驟不勝感激。驅(qū)動(dòng)文件安裝好失敗。最后確認(rèn)如何確定安裝好了驅(qū)程文件。上網(wǎng)下載對(duì)度應(yīng)數(shù)據(jù)庫(kù)的驅(qū)動(dòng)jar包放進(jìn)kettle下的lib目錄下，oracle數(shù)據(jù)庫(kù)再連接的時(shí)候，必須在表也可以數(shù)據(jù)庫(kù)的前面算上前綴詞。

kettle如何把文件保存到服務(wù)器？

先把系統(tǒng)接受下升級(jí)，接著再把服務(wù)器的數(shù)據(jù)通過(guò)下，梳理升級(jí)，到最后找到ktr文件，然后再就也可以通過(guò)需要保存了，之后確認(rèn)就可以了。

再說(shuō)文件路徑、數(shù)據(jù)庫(kù)直接連接參數(shù)變化的問(wèn)題，肯定用環(huán)境變量來(lái)解決的辦法，最簡(jiǎn)單的方法，把這些可能會(huì)會(huì)變化的參數(shù)寫(xiě)在文件中，然后再在轉(zhuǎn)換和作業(yè)中不使用${參數(shù)名}語(yǔ)句，那樣在服務(wù)器上移動(dòng)數(shù)據(jù)庫(kù)和文件路徑的時(shí)候，只必須改文件去掉，不要直接修改裝換本身。

現(xiàn)在哪些采集工具，可以采集我做科研的臨床數(shù)據(jù)嗎？就是醫(yī)院里面的軟件數(shù)據(jù)？

你好現(xiàn)在的喂養(yǎng)靈獸工具很多，看你們科研數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)我還是非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化是關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)，如：mysql,Oracle,Sql server等數(shù)據(jù)庫(kù)中的數(shù)據(jù)。非結(jié)構(gòu)化諸如你們醫(yī)療系統(tǒng)每天晚上啟動(dòng)的日志，每件精密儀器運(yùn)行產(chǎn)生的數(shù)據(jù)。

兩類數(shù)據(jù)差異很小，采藥的工具也完全不同。結(jié)構(gòu)化數(shù)據(jù)看你采藥儲(chǔ)存到哪里。要不然沒(méi)有都用到大數(shù)據(jù)技術(shù)，只有用kettle工具采藥了。這個(gè)工具功能比較大。再采集導(dǎo)入到各種存儲(chǔ)的系統(tǒng)中，也可以不庫(kù)對(duì)庫(kù)，庫(kù)對(duì)文件等。

非結(jié)構(gòu)化的數(shù)據(jù)，這類數(shù)據(jù)不能用FTP工具來(lái)半自動(dòng)哪采了。就算會(huì)腳本開(kāi)發(fā)語(yǔ)言，寫(xiě)哪采腳本也能實(shí)現(xiàn)。

當(dāng)然，采集數(shù)據(jù)工具很多，就看是那一類數(shù)據(jù)了。與此同時(shí)計(jì)算機(jī)技術(shù)快速發(fā)展，現(xiàn)在的采集工具挺好用，給樓主幫我推薦幾種:DataX,Sqoop,flume,kafka等。這些技術(shù)都能實(shí)現(xiàn)方法三千多種數(shù)據(jù)彼此間導(dǎo)入導(dǎo)出。只希望對(duì)你有用嗎，謝謝了！

想做數(shù)據(jù)庫(kù)管理員需要學(xué)什么？

你說(shuō)的數(shù)據(jù)庫(kù)是更適合于BI商業(yè)數(shù)據(jù)分析那就DBA數(shù)據(jù)庫(kù)管理員。

如果沒(méi)有是BI，說(shuō)一些我很清楚的：

BI數(shù)據(jù)分析先要把數(shù)據(jù)灌注進(jìn)自己的系統(tǒng)。這過(guò)程牽涉到一些etl工具，公司在用的是kettle；

對(duì)SQL語(yǔ)句語(yǔ)言特別要求挺高的，他們都會(huì)寫(xiě)一些非人類的sql，sql簡(jiǎn)直就是一門(mén)編程語(yǔ)言；

報(bào)表制作，我們公司也是不使用一些現(xiàn)成的報(bào)表系統(tǒng)，開(kāi)源的諸如clickhouse、metabase等；

一些商業(yè)軟件會(huì)把BI的工作集成主板到了一個(gè)系統(tǒng)中，.例如SAPBO系統(tǒng)。BI就說(shuō)這么說(shuō)多吧，非專業(yè)人士。

如果沒(méi)有是做DBA，反而數(shù)據(jù)庫(kù)要學(xué)，操作系統(tǒng)層面的知識(shí)也要學(xué)：

sql是基礎(chǔ)，增刪改查，一些比較普遍的數(shù)據(jù)設(shè)計(jì)規(guī)范、權(quán)限管理等等；

要所了解關(guān)系型數(shù)據(jù)庫(kù)的各種存儲(chǔ)結(jié)構(gòu)，例如什么是B-Tree，各種索引結(jié)構(gòu)；

數(shù)據(jù)庫(kù)安裝配置優(yōu)化都要懂吧，怎么分析什么問(wèn)題、怎末接受系統(tǒng)的優(yōu)化??；

Linux要很熟悉，比如要分析什么一些網(wǎng)絡(luò)問(wèn)題，IO問(wèn)題；

DBA也又不是我的專業(yè)，只不過(guò)相對(duì)于比BI懂的多點(diǎn)。

后來(lái)跪求python。個(gè)人感覺(jué)上，DBA估計(jì)不怎么用python。

在商業(yè)數(shù)據(jù)分析方面，python肯定有不少用武之地。如果沒(méi)有要學(xué)它在數(shù)據(jù)分析方面的運(yùn)用，python中幾個(gè)數(shù)據(jù)分析庫(kù)這個(gè)可以清楚下，它們分別是應(yīng)用于數(shù)據(jù)運(yùn)算與分析的numpy和pandas、作用于可視化作圖的matplotlib。