偽分布式的spark/mapreduce是只供用來(lái)學(xué)習(xí)的嗎？首先，MapReduce出現(xiàn)得更早。介紹了分布式大數(shù)據(jù)處理的基本思想。現(xiàn)在我在學(xué)習(xí)火花。Matei zaharia的畢業(yè)論文，即spark的

偽分布式的spark/mapreduce是只供用來(lái)學(xué)習(xí)的嗎？

首先，MapReduce出現(xiàn)得更早。介紹了分布式大數(shù)據(jù)處理的基本思想?，F(xiàn)在我在學(xué)習(xí)火花。Matei zaharia的畢業(yè)論文，即spark的介紹論文，已在CSDN上翻譯成中文。

建議先學(xué)習(xí)MapReduce，主要是了解任務(wù)是如何執(zhí)行的。都在網(wǎng)上。然后，spark學(xué)習(xí)應(yīng)該關(guān)注于理解spark-to-SQL語(yǔ)句的執(zhí)行機(jī)制。

不同的分布式框架有各自的優(yōu)勢(shì)和不同的業(yè)務(wù)場(chǎng)景。MapReduce可以更好地處理大量ETL服務(wù)，而spark則相對(duì)更側(cè)重于機(jī)器學(xué)習(xí)。對(duì)于企業(yè)來(lái)說(shuō)，如果這些業(yè)務(wù)能夠在同一個(gè)集群上運(yùn)行，就可以有效地降低成本。為了讓不同的框架同時(shí)在同一個(gè)集群中運(yùn)行，最重要的問(wèn)題是如何分配資源。當(dāng)沒(méi)有紗線(xiàn)時(shí)，一個(gè)相對(duì)簡(jiǎn)單的方法是假設(shè)集群中有100臺(tái)機(jī)器。我們將50臺(tái)機(jī)器分配給spark，將其他50臺(tái)機(jī)器分配給MapReduce。這似乎沒(méi)什么問(wèn)題。不過(guò)，如果我們每天只運(yùn)行一個(gè)小時(shí)的MapReduce，其余大部分時(shí)間都在運(yùn)行spark，那么一天就有23個(gè)小時(shí)，50臺(tái)機(jī)器處于空閑狀態(tài)，而spark的機(jī)器很可能有大量作業(yè)在隊(duì)列中。這顯然不是一種非常有效的使用集群的方法。

hadoop完全分布式和偽分布式有什么不同？

首先回答您的問(wèn)題：

Hadoop完全分布式：由三個(gè)或更多物理或虛擬機(jī)組件組成的集群。

Hadoop pseudo-distributed:a node

看了以上兩點(diǎn)，相信大家已經(jīng)明白了“在VM中安裝更多unbuntu配置完全分布式，然后做實(shí)驗(yàn)”是完全可行的。事實(shí)上，我們通常也是這樣做的。當(dāng)然，我們可能需要您的計(jì)算機(jī)CPU和內(nèi)存來(lái)支持您的計(jì)劃。

一個(gè)建議：如果你想開(kāi)發(fā)基于Hadoop的分布式程序，那么偽分布式就足夠了。如果你想做很多其他的事情，比如玩cm、oozie和HBase，建議你安裝多個(gè)虛擬機(jī)。

什么叫偽算法？

偽代碼是一種算法描述語(yǔ)言。使用偽代碼的目的是使所描述的算法易于用任何編程語(yǔ)言（Pascal、C、Java等）實(shí)現(xiàn)。因此，偽代碼必須具有結(jié)構(gòu)清晰、代碼簡(jiǎn)單、可讀性好、與自然語(yǔ)言相似的特點(diǎn)。它介于自然語(yǔ)言和程序設(shè)計(jì)語(yǔ)言之間。算法的功能以編程語(yǔ)言的形式表示。

什么是集群，分布式，集中式，偽分布式？

將項(xiàng)目集中部署到同一臺(tái)機(jī)器需要高性能的機(jī)器。通常，多臺(tái)機(jī)器用于備份。否則，如果機(jī)器崩潰，整個(gè)項(xiàng)目將無(wú)法運(yùn)行。雷格：就好像你要蓋房子，你的房子是為一個(gè)人蓋的。如果這個(gè)人生病或有事可做，沒(méi)有合適的人來(lái)代替這個(gè)人，你就不能蓋房子。R 2。分布式項(xiàng)目被分成幾個(gè)部分，分別在不同的機(jī)器上運(yùn)行。如果您想與集中式相比，您對(duì)機(jī)器的要求會(huì)更低。R 3。集群與集中式和分布式概念完全不同。Rdistribution必須是集群，但集群不一定是分布式的（例如：集中式多機(jī)備份）。集群只是一個(gè)與機(jī)器數(shù)量相關(guān)的概念。偽分布不是真正的分布。偽分發(fā)是把多態(tài)機(jī)器的任務(wù)放在一臺(tái)機(jī)器上運(yùn)行，例如：淘寶分成多個(gè)模塊后，一個(gè)模塊放在一臺(tái)機(jī)器上運(yùn)行。當(dāng)多臺(tái)機(jī)器同時(shí)運(yùn)行時(shí)，速度很快。在一臺(tái)機(jī)器上運(yùn)行時(shí)，速度慢，多個(gè)模塊不能并行處理。一個(gè)任務(wù)必須一個(gè)接一個(gè)地完成，其他任務(wù)只能等待。

分布式存儲(chǔ)是什么？

分布式存儲(chǔ)是當(dāng)前互聯(lián)網(wǎng)流行技術(shù)“區(qū)塊鏈”的特點(diǎn)之一。它與傳統(tǒng)的互聯(lián)網(wǎng)技術(shù)有一些不同。一兩個(gè)字不清楚。第一種圖形是集中式，這是傳統(tǒng)互聯(lián)網(wǎng)數(shù)據(jù)的存儲(chǔ)方式?；诠俜椒?wù)器，一旦服務(wù)器出現(xiàn)故障，數(shù)據(jù)、信息和數(shù)據(jù)可能會(huì)丟失或泄露。

B圖表的第二種類(lèi)型是去中心化。將會(huì)有一些節(jié)點(diǎn)。一個(gè)節(jié)點(diǎn)記錄另一個(gè)節(jié)點(diǎn)生成或存儲(chǔ)的信息的價(jià)值（如何記錄或驗(yàn)證，如果我不是專(zhuān)業(yè)編輯，我不敢胡說(shuō)八道）。這就是所謂的分權(quán)和分布式會(huì)計(jì)。

第三種C圖是當(dāng)前流行的區(qū)塊鏈技術(shù)架構(gòu)圖。

三個(gè)圖之間的區(qū)別如下：1）服務(wù)器個(gè)人服務(wù)器。個(gè)人之間沒(méi)有直接的聯(lián)系。需要通過(guò)服務(wù)器進(jìn)行個(gè)人之間的通信和聯(lián)系。

2）分散分布式核算，每個(gè)人都是中心節(jié)點(diǎn)，每個(gè)人都不是中心節(jié)點(diǎn)。兩人互相核實(shí)，不想交代。

3）區(qū)塊鏈技術(shù)，當(dāng)分散核算和分布式核算串聯(lián)起來(lái)構(gòu)建一個(gè)基本的技術(shù)層時(shí)，如圖C所示

說(shuō)白了，分布式存儲(chǔ)是一種技術(shù)，它從一個(gè)或多個(gè)勇于信息存儲(chǔ)的服務(wù)器，轉(zhuǎn)變?yōu)樗腥硕际欠?wù)器，所有人都參與在信息存儲(chǔ)和驗(yàn)證方面。

我是一個(gè)間隔集。我希望我的回答能幫助你。