步驟1:多數(shù)據(jù)流——信息來(lái)自多種來(lái)源和格式。用于分析的數(shù)據(jù)可能來(lái)自數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)湖甚至物聯(lián)網(wǎng)(IoT)傳感器。在某些情況下，數(shù)據(jù)可能是生產(chǎn)系統(tǒng)(如電子商務(wù)應(yīng)用程序)的摘錄。如今，機(jī)器學(xué)習(xí)項(xiàng)目

步驟1:多數(shù)據(jù)流——信息來(lái)自多種來(lái)源和格式。用于分析的數(shù)據(jù)可能來(lái)自數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)湖甚至物聯(lián)網(wǎng)(IoT)傳感器。在某些情況下，數(shù)據(jù)可能是生產(chǎn)系統(tǒng)(如電子商務(wù)應(yīng)用程序)的摘錄。如今，機(jī)器學(xué)習(xí)項(xiàng)目的數(shù)據(jù)越來(lái)越多地來(lái)自各種來(lái)源，包括非結(jié)構(gòu)化來(lái)源，如社交媒體。

第二步:預(yù)處理——通常被認(rèn)為是早期數(shù)據(jù)處理階段的一部分，這一步包括將原始數(shù)據(jù)重新格式化為更適合機(jī)器學(xué)習(xí)的形式。

第三步:轉(zhuǎn)換——這在項(xiàng)目的早期階段是非常重要的，為了將數(shù)據(jù)清理并轉(zhuǎn)換成機(jī)器學(xué)習(xí)問(wèn)題要解決的有意義的形式。給定一些企業(yè)數(shù)據(jù)的狀態(tài)(臟的、不一致的、缺少值等。)，這一步可能要花很多時(shí)間和精力。

第四步:分析-有時(shí)被稱為 "探索性數(shù)據(jù)分析與研究這是當(dāng)你使用統(tǒng)計(jì)方法和數(shù)據(jù)可視化來(lái)發(fā)現(xiàn)數(shù)據(jù)中有趣的特征和模式時(shí)，有時(shí)簡(jiǎn)單的原始數(shù)據(jù)圖可以揭示非常重要的見(jiàn)解，這將有助于指明項(xiàng)目的方向或至少提供關(guān)鍵的見(jiàn)解，這對(duì)解釋機(jī)器學(xué)習(xí)項(xiàng)目的結(jié)果很有用。

第五步:建?！阋x擇一個(gè)適合要解決問(wèn)題的機(jī)器學(xué)習(xí)模型。在這個(gè)階段，你需要對(duì)要使用的機(jī)器學(xué)習(xí)類型做出承諾。是要做定量預(yù)測(cè)，定性分類還是僅僅用聚類技術(shù)去探索？信息圖表和從原始數(shù)據(jù)到洞察力的七個(gè)步驟提供了詳細(xì)的工作流程，足以覆蓋幾乎所有的數(shù)據(jù)科學(xué)項(xiàng)目。 "

步驟6:驗(yàn)證——對(duì)于任何給定的數(shù)據(jù)集，評(píng)估哪種方法能產(chǎn)生最好的結(jié)果是很重要的。在實(shí)踐中選擇最佳方法可能是機(jī)器學(xué)習(xí)最具挑戰(zhàn)性的部分之一，因此模型的性能評(píng)估對(duì)于項(xiàng)目的成功非常重要。您需要衡量其預(yù)測(cè)與實(shí)際數(shù)據(jù)的匹配程度。

第七步:基于數(shù)據(jù)的決策——這最后一步是當(dāng)你告訴a "數(shù)據(jù)故事 "為了傳達(dá)項(xiàng)目的最終結(jié)果，你通?？梢酝ㄟ^(guò)制作良好的可視化來(lái)最好地理解機(jī)器學(xué)習(xí)項(xiàng)目的最終結(jié)果，這些可視化可以捕捉到模型，并告訴你數(shù)據(jù)的本質(zhì)。

大概可以自己做數(shù)據(jù)圖。

這是我自己做的。我收集了近10年的數(shù)據(jù)分析專業(yè)經(jīng)驗(yàn)，參考了數(shù)十本行業(yè)權(quán)威著作和，結(jié)合幾十萬(wàn)字的龐大學(xué)習(xí)資料，得出了這個(gè)。

在指導(dǎo)別人之前，你得先有自己的干貨，不然怎么讓人信服？

讓 咱們先談?wù)劙?。如果題目只是為了高大上的標(biāo)題，那么我勸你還是盡早放棄幻想吧?，F(xiàn)實(shí)中，數(shù)據(jù)科學(xué)家只是敬語(yǔ)，沒(méi)什么用?？赡軇e人轉(zhuǎn)頭就會(huì)覺(jué)得你在為他們服務(wù)。

那這個(gè)概念是怎么來(lái)的？

程序員的感覺(jué)覺(jué)得自己不適合編程，產(chǎn)品經(jīng)理覺(jué)得自己不適合做產(chǎn)品，統(tǒng)計(jì)會(huì)計(jì)覺(jué)得自己天花板低。哎，這個(gè)數(shù)據(jù)科學(xué)家的職位聽(tīng)起來(lái)挺高的，和我做的沒(méi)什么區(qū)別。我可以試試嗎？

嗯，它 基本上是一樣的。

你怎么看:

這種人存在嗎？有，但是醒醒吧，數(shù)量很少，需要多年的經(jīng)驗(yàn)。

據(jù)我所知，多家大型互聯(lián)網(wǎng)公司的數(shù)據(jù)負(fù)責(zé)人只是導(dǎo)表，把數(shù)據(jù)跑下來(lái)，然后根據(jù)業(yè)務(wù)需要把數(shù)據(jù)交給別人，偶爾幫其他部門做一些臨時(shí)需求，挖掘用戶數(shù)據(jù)可能會(huì)多一點(diǎn)。

離數(shù)據(jù)科學(xué)家還很遠(yuǎn)，這就是現(xiàn)實(shí)。

但是沒(méi)有辦法成為數(shù)據(jù)科學(xué)家，還有一條路要走。

1.數(shù)據(jù)科學(xué)家是怎么來(lái)的？

先有數(shù)據(jù)科學(xué)，再有做這個(gè)業(yè)務(wù)的人，數(shù)據(jù)科學(xué)家。

科學(xué)就是做實(shí)驗(yàn)。實(shí)驗(yàn)的對(duì)象是數(shù)據(jù)，方法是數(shù)據(jù)挖掘、最大似然、最小似然等。儀器是各種存儲(chǔ)硬件和處理軟件。奇妙的是研究對(duì)象是不同的領(lǐng)域，所以一個(gè)數(shù)據(jù)科學(xué)過(guò)程的輸出可能只是一些常規(guī)的知識(shí)、提示和決策，甚至擴(kuò)展了對(duì)某個(gè)領(lǐng)域的認(rèn)知。

2.數(shù)據(jù)科學(xué)家的類型

第一，偏分析。

可以說(shuō)，類似于商業(yè)分析，你需要了解行業(yè)，了解市場(chǎng)，了解公司 s操作，然后解決問(wèn)題。

主要的工作基本是清數(shù)據(jù)，做分析，做報(bào)表，洞察，但是隨著大數(shù)據(jù)的到來(lái)，對(duì)建模能力，工具使用能力，數(shù)據(jù)處理能力的要求更高了。

Tableau，python，F(xiàn)inebi，R，熊貓，matlab都得知道。

你還必須了解市場(chǎng)、經(jīng)濟(jì)和統(tǒng)計(jì)方面的知識(shí)。

第二，局部算法。

研究的升華，比如阿里達(dá)摩院，也算成本部門。部門有產(chǎn)出，研究有成果，就能落地。

然后這個(gè)就好理解了，算法從研究變成產(chǎn)品。

要求會(huì)更高，NLP、數(shù)據(jù)挖掘、推薦算法、CV、業(yè)務(wù)邏輯、需求管理、編程能力次之。

3.數(shù)據(jù)科學(xué)家的核心技能

除了數(shù)據(jù)分析，還有什么？

其實(shí)數(shù)據(jù)科學(xué)在公司的應(yīng)用還停留在基礎(chǔ)層面。老板可能只是想讓公司搭上AI的末班車，但他沒(méi)有 我不知道如何讓數(shù)據(jù)變成生產(chǎn)力。汕頭為主。公司越大，工作邊界會(huì)越模糊。

所以數(shù)據(jù)科學(xué)家要有和產(chǎn)品經(jīng)理一樣的嗅覺(jué)，或者僅次于程序員的代碼能力。

否則你會(huì)很迷茫，在產(chǎn)品和開(kāi)發(fā)上沒(méi)有話語(yǔ)權(quán)，逐漸變成支持部門。

所以在大方向上要更主動(dòng)，從洞察到產(chǎn)品，要全程參與，真正培養(yǎng)自己的能力，才能有數(shù)據(jù)話語(yǔ)權(quán)，才能你可以 不要寫(xiě)python，sql或者etl。