四庫一體包括哪幾項(xiàng)？形成完整基礎(chǔ)庫、主題庫、欄目庫、指標(biāo)庫，無法形成“四庫一體”數(shù)據(jù)資源中心。一是基礎(chǔ)庫。基于校級數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建體系數(shù)據(jù)模型，明確的人力資源域、學(xué)生管理域、教學(xué)資源與管理域、科研管理域、

四庫一體包括哪幾項(xiàng)？

形成完整基礎(chǔ)庫、主題庫、欄目庫、指標(biāo)庫，無法形成“四庫一體”數(shù)據(jù)資源中心。

一是基礎(chǔ)庫?；谛＜墧?shù)據(jù)標(biāo)準(zhǔn)構(gòu)建體系數(shù)據(jù)模型，明確的人力資源域、學(xué)生管理域、教學(xué)資源與管理域、科研管理域、財(cái)務(wù)管理域、資產(chǎn)管理域、公共服務(wù)域八個主題域參與分類，構(gòu)建體系基礎(chǔ)數(shù)據(jù)倉庫。

二是主題庫。以基礎(chǔ)庫的內(nèi)容為基礎(chǔ)，并且表間關(guān)聯(lián)、代碼轉(zhuǎn)譯、數(shù)值過濾等操作，通過維度建模方法，將相同業(yè)務(wù)主題相關(guān)的指標(biāo)、維度、屬性關(guān)聯(lián)在一起，形成“寬表”。寬表拒絕的數(shù)據(jù)冗余度設(shè)計(jì)來提升可以查詢分析什么的高效率，使數(shù)據(jù)內(nèi)容和結(jié)構(gòu)更加適合于應(yīng)用程序?qū)?shù)據(jù)的動態(tài)創(chuàng)建需求。

三是專題庫。緊密環(huán)繞校內(nèi)關(guān)鍵是業(yè)務(wù)，針對詳細(xì)的業(yè)務(wù)場景通過深度定制，無法形成績效考核、職稱評審等業(yè)務(wù)專題數(shù)據(jù)集，不滿足各個業(yè)務(wù)場景急速解耦數(shù)據(jù)的需求。專題庫的數(shù)據(jù)大多數(shù)是明細(xì)數(shù)據(jù)，可與BI軟件對接，實(shí)現(xiàn)強(qiáng)大無比的數(shù)據(jù)分析功能。

四是指標(biāo)庫。以基礎(chǔ)庫、主題庫和專題庫的內(nèi)容為基礎(chǔ)，按照統(tǒng)計(jì)、算出等操作，化合各種指標(biāo)的統(tǒng)計(jì)結(jié)果，并儲存在指標(biāo)表中，支持急速生成沉淀各類報(bào)表和統(tǒng)計(jì)圖表。實(shí)際管理數(shù)據(jù)指標(biāo)的全生命周期，不友善地支持校級決策支持中心的建設(shè)，為學(xué)院各專業(yè)管理層的管理和決策能提供相當(dāng)充分、科學(xué)的數(shù)據(jù)依據(jù)。

實(shí)時數(shù)據(jù)倉庫如何做？

3.1.1Lambda架構(gòu)

無論是Apache Flink中文學(xué)習(xí)網(wǎng)站侵權(quán)指點(diǎn)立刪

3.1.2Kappa架構(gòu)

不知從何而來Apache Flink中文學(xué)習(xí)網(wǎng)站侵權(quán)指點(diǎn)立刪

3.1.3實(shí)時地olap變體架構(gòu)

依附Apache Flink中文學(xué)習(xí)網(wǎng)站侵權(quán)告知立刪

3.1.4常見架構(gòu)對比

來自Apache Flink中文學(xué)習(xí)網(wǎng)站侵權(quán)告知立刪

ps:lambda架構(gòu)

變更土地性質(zhì)割碎感：

?表結(jié)構(gòu)完全不同

?sql語法不同

資源浪費(fèi)：

?亂詞可以計(jì)算

?重復(fù)一遍儲存

集群維護(hù)：

?組件完全不同

?可以計(jì)算引擎完全不同

數(shù)據(jù)一致性

3.2實(shí)時數(shù)倉架構(gòu)

3.2.1方案一

優(yōu)點(diǎn)：

?以便日后數(shù)據(jù)回溯源頭、重算和數(shù)據(jù)質(zhì)量驗(yàn)證。

缺點(diǎn)：

?實(shí)際批處理重算，需要魔獸維護(hù)兩套代碼，開發(fā)和維護(hù)成本高。

?是需要兩套計(jì)算資源

適用場景：

?超大規(guī)模歷史數(shù)據(jù)換算，且這種場景比較過度。

?對數(shù)據(jù)質(zhì)量沒有要求極高，要比對實(shí)時和離線模式的計(jì)算結(jié)果，哪怕利用離線模式去修正實(shí)時動態(tài)的計(jì)算結(jié)果。

3.2.2方案二

優(yōu)點(diǎn)：

?免維護(hù)兩套代碼，的新迭代速度快。

?數(shù)據(jù)溯回和重算方便些，重算時間參照需求回溯源頭的時間范圍定。

?只需流計(jì)算資源，資源占用帶寬小

缺點(diǎn)：

?ODSDWD部分?jǐn)?shù)據(jù)“絕不可以見”，原始數(shù)據(jù)和中間數(shù)據(jù)不以便日后網(wǎng)站查詢（解決方案：可通過恢復(fù)消費(fèi)委托時間范圍的數(shù)據(jù)查詢，或?qū)氡仨毜臄?shù)據(jù)到olap引擎）

?依賴業(yè)務(wù)端反饋問題（解決方案：設(shè)計(jì)數(shù)據(jù)質(zhì)量監(jiān)控指標(biāo)，實(shí)時監(jiān)控報(bào)警）

適用場景：

ODSDWD去查詢不很頻繁等

3.2.3方案三

相對于方案二：

?增強(qiáng)ODS層落地之前hive，排查分析原始數(shù)據(jù)也很更方便，恢復(fù)歷史數(shù)據(jù)的時候可資源hive數(shù)據(jù)讀取kafka，后再按原流處理的邏輯恢復(fù)如何處理即可，單單改數(shù)據(jù)源為歷史數(shù)據(jù)填寫的topic。

?需新增kafka寫入文件hive邏輯

?需再新增從hive讀取數(shù)據(jù)寫入文件kafka

?需新增整條鏈路歷史數(shù)據(jù)不對應(yīng)的topic