mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？在正常配置下，MySQL只能承載2000萬(wàn)數(shù)據(jù)（同時(shí)讀寫(xiě)，表中有大文本字段，單服務(wù)器）?，F(xiàn)在已經(jīng)超過(guò)1億，而且還在

mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？

在正常配置下，MySQL只能承載2000萬(wàn)數(shù)據(jù)（同時(shí)讀寫(xiě)，表中有大文本字段，單服務(wù)器）?，F(xiàn)在已經(jīng)超過(guò)1億，而且還在增加，建議按以下方式處理：

1子表。它可以按時(shí)間或一定的規(guī)則進(jìn)行拆分，以便盡可能地查詢子表中的數(shù)據(jù)庫(kù)。這是最有效的方法。特別是寫(xiě)，放入一個(gè)新表，并定期同步。如果記錄不斷更新，最好將寫(xiě)入的數(shù)據(jù)放在redis中，并定期同步表3的大文本字段，將它們分隔成一個(gè)新的獨(dú)立表。對(duì)于較大的文本字段，可以使用NoSQL數(shù)據(jù)庫(kù)

4優(yōu)化體系結(jié)構(gòu)，或者優(yōu)化SQL查詢，避免聯(lián)合表查詢，盡量不要使用count（*）、in、recursion等性能消耗語(yǔ)句

5使用內(nèi)存緩存，或者在前端讀取時(shí)增加緩存數(shù)據(jù)庫(kù)。重復(fù)讀取時(shí)，直接從緩存中讀取。

以上是一種低成本的管理方法，基本上幾個(gè)服務(wù)器就可以做到，但是管理起來(lái)有點(diǎn)麻煩。

當(dāng)然，如果總的數(shù)據(jù)量特別大，并且您不關(guān)心成本，那么有四個(gè)主要缺點(diǎn)：1。無(wú)法存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)

2。即使只操作一列，也需要將整行讀入內(nèi)存。表結(jié)構(gòu)擴(kuò)展不方便，模式固定

4。全文檢索功能支持較弱

針對(duì)以上四個(gè)缺點(diǎn)，提供不同的數(shù)據(jù)庫(kù)來(lái)解決問(wèn)題。

1. K-V存儲(chǔ)不能存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)

以redis為例，值可以是數(shù)據(jù)結(jié)構(gòu)，如字符串、哈希、列表、集合、sortedset、位圖等。列存儲(chǔ)可以解決在操作HBase

3表示的列

時(shí)，將整行讀入內(nèi)存導(dǎo)致的高IO問(wèn)題。文檔存儲(chǔ)可以解決mongodb

4表示的表結(jié)構(gòu)擴(kuò)展不方便的問(wèn)題。全文搜索引擎解決了全文搜索功能的問(wèn)題

以elasticsearch為例

以上解決方案雖然解決了關(guān)系數(shù)據(jù)庫(kù)的不足，但不能很好的支持acid功能。在某些場(chǎng)景下，關(guān)系數(shù)據(jù)庫(kù)是一個(gè)很好的選擇，因此這些數(shù)據(jù)庫(kù)只是關(guān)系數(shù)據(jù)庫(kù)的一個(gè)很好的補(bǔ)充，不能替代關(guān)系數(shù)據(jù)庫(kù)。

現(xiàn)在newsql也是大數(shù)據(jù)時(shí)代的一個(gè)發(fā)展趨勢(shì)，即可以支持事務(wù)，具有良好的可擴(kuò)展性來(lái)支持大數(shù)據(jù)。以oceanbase、tidb和扳手/F1為例。

國(guó)慶節(jié)當(dāng)天，中國(guó)螞蟻金融自主研發(fā)的金融級(jí)分布式關(guān)系數(shù)據(jù)庫(kù)oceanbase在被稱為“數(shù)據(jù)庫(kù)世界杯”的TPC-C基準(zhǔn)測(cè)試中，打破了美國(guó)甲骨文公司9年來(lái)的世界紀(jì)錄，成為第一個(gè)登上榜首的中文數(shù)據(jù)庫(kù)產(chǎn)品。