請(qǐng)闡述數(shù)據(jù)實(shí)時(shí)計(jì)算的基本處理流程？第一步：收集大數(shù)據(jù)的收集是指使用多個(gè)數(shù)據(jù)庫從客戶端(Web、App或傳感器等)接收數(shù)據(jù)。)，用戶可以通過這些數(shù)據(jù)庫進(jìn)行簡(jiǎn)單的查詢和處理。在采集大數(shù)據(jù)的過程中，其主要特

請(qǐng)闡述數(shù)據(jù)實(shí)時(shí)計(jì)算的基本處理流程？

第一步：收集

大數(shù)據(jù)的收集是指使用多個(gè)數(shù)據(jù)庫從客戶端(Web、App或傳感器等)接收數(shù)據(jù)。)，用戶可以通過這些數(shù)據(jù)庫進(jìn)行簡(jiǎn)單的查詢和處理。在采集大數(shù)據(jù)的過程中，其主要特點(diǎn)和挑戰(zhàn)是高并發(fā)，因?yàn)榭赡軙?huì)有成千上萬的用戶同時(shí)訪問和操作，因此需要在采集端部署大量的數(shù)據(jù)庫來支撐。

步驟2:導(dǎo)入/預(yù)處理

雖然采集終端本身有很多數(shù)據(jù)庫，但是要想有效的分析這些海量數(shù)據(jù)，就要把這些數(shù)據(jù)從前端導(dǎo)入到一個(gè)集中式的大型分布式數(shù)據(jù)庫或者分布式存儲(chǔ)集群中，在導(dǎo)入的基礎(chǔ)上可以做一些簡(jiǎn)單的清理和預(yù)處理。

導(dǎo)入和預(yù)處理過程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入數(shù)據(jù)量大，往往達(dá)到每秒百兆甚至千兆的水平。

第三步：統(tǒng)計(jì)/分析

統(tǒng)計(jì)分析主要是利用分布式數(shù)據(jù)庫或分布式計(jì)算集群，對(duì)存儲(chǔ)在其中的海量數(shù)據(jù)進(jìn)行分析歸類，以滿足大多數(shù)常見的分析需求。

統(tǒng)計(jì)與分析的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，會(huì)占用大量的系統(tǒng)資源，尤其是I/O。

第四步：挖掘。

一般來說，數(shù)據(jù)挖掘沒有預(yù)設(shè)的主題，主要是基于各種算法對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行計(jì)算，從而達(dá)到預(yù)測(cè)的效果，滿足一些高層數(shù)據(jù)分析的需要。

這個(gè)過程的特點(diǎn)和挑戰(zhàn)是，用于挖掘的算法非常復(fù)雜，涉及的數(shù)據(jù)量和計(jì)算量非常大。常用的數(shù)據(jù)挖掘算法主要是單線程的。

實(shí)時(shí)數(shù)據(jù)采集是啥意思？我理解的就是時(shí)間和數(shù)據(jù)的對(duì)應(yīng)，如表格一樣，一個(gè)時(shí)間對(duì)應(yīng)一個(gè)數(shù)據(jù)這種的？

實(shí)時(shí)的意思是：你換，我就拿。

什么都沒有改變。我懶得動(dòng)。一個(gè)時(shí)間對(duì)應(yīng)一個(gè)數(shù)據(jù)，沒錯(cuò)。

大數(shù)據(jù)的采集方式不包括？

不包括對(duì)數(shù)據(jù)的檢查。

大數(shù)據(jù)采集方法包括：網(wǎng)絡(luò)爬蟲、開放數(shù)據(jù)庫、使用軟件接口、軟件機(jī)器人采集等。

1.網(wǎng)絡(luò)爬蟲(Web crawler):模擬客戶端的網(wǎng)絡(luò)請(qǐng)求并接收請(qǐng)求響應(yīng)，按照一定的規(guī)則自動(dòng)抓取萬維網(wǎng)上的信息的程序或腳本。

2.開放式數(shù)據(jù)庫：開放式數(shù)據(jù)庫方式可以直接從目標(biāo)數(shù)據(jù)庫中獲取所需數(shù)據(jù)，準(zhǔn)確率高，實(shí)時(shí)性有保證，是一種比較直接方便的方式。

3.使用軟件接口：一種常見的數(shù)據(jù)對(duì)接方式，通過軟件廠商開放數(shù)據(jù)接口，可以實(shí)現(xiàn)不同軟件數(shù)據(jù)的互聯(lián)。

4.軟件機(jī)器人收集：它可以從客戶端和網(wǎng)站收集軟件數(shù)據(jù)。

redis可以代替實(shí)時(shí)數(shù)據(jù)庫嗎？

這取決于你如何使用這些數(shù)據(jù)。如果你收集了，只是緩存，然后接口從redis拉實(shí)時(shí)數(shù)據(jù)來顯示，那么用redis問題不大。redis每秒寫50萬個(gè)樣本應(yīng)該沒問題。

但是實(shí)時(shí)數(shù)據(jù)庫不僅僅是數(shù)據(jù)緩存。如果需要采樣數(shù)據(jù)進(jìn)行二次計(jì)算(比如將管道中的熱水流量轉(zhuǎn)化為熱能流量)并按時(shí)間順序保存為歷史數(shù)據(jù)(必要時(shí)可以從實(shí)時(shí)數(shù)據(jù)庫中查詢某個(gè)測(cè)點(diǎn)最近一周、一個(gè)月甚至一年的歷史數(shù)據(jù))，那么就必須使用實(shí)時(shí)數(shù)據(jù)庫。

但是實(shí)時(shí)數(shù)據(jù)庫太貴了，近幾年興起的tsdb也是你可以考慮的一個(gè)選擇。用redis存儲(chǔ)實(shí)時(shí)數(shù)據(jù)，用tsdb存儲(chǔ)歷史數(shù)據(jù)，性價(jià)比相當(dāng)高。