mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？在正常配置下，MySQL只能承載2000萬(wàn)數(shù)據(jù)（同時(shí)讀寫(xiě)，表中有大文本字段，單服務(wù)器）?，F(xiàn)在已經(jīng)超過(guò)1億，而且還在

mysql表數(shù)據(jù)量太大，達(dá)到了1億多條數(shù)據(jù)，除了分庫(kù)分表之外，還有沒(méi)有其他的解決方式？

在正常配置下，MySQL只能承載2000萬(wàn)數(shù)據(jù)（同時(shí)讀寫(xiě)，表中有大文本字段，單服務(wù)器）?，F(xiàn)在已經(jīng)超過(guò)1億，而且還在增加，建議按以下方式處理：

1子表。它可以按時(shí)間或一定的規(guī)則進(jìn)行拆分，以便盡可能地查詢子表中的數(shù)據(jù)庫(kù)。這是最有效的方法。特別是寫(xiě)，放入一個(gè)新表，并定期同步。如果記錄不斷更新，最好將寫(xiě)入的數(shù)據(jù)放在redis中，并定期同步表3的大文本字段，將它們分隔成一個(gè)新的獨(dú)立表。對(duì)于較大的文本字段，可以使用NoSQL數(shù)據(jù)庫(kù)

4優(yōu)化體系結(jié)構(gòu)，或者優(yōu)化SQL查詢，避免聯(lián)合表查詢，盡量不要使用count（*）、in、recursion等性能消耗語(yǔ)句

5使用內(nèi)存緩存，或者在前端讀取時(shí)增加緩存數(shù)據(jù)庫(kù)。重復(fù)讀取時(shí)，直接從緩存中讀取。

以上是一種低成本的管理方法，基本上幾個(gè)服務(wù)器就可以做到，但是管理起來(lái)有點(diǎn)麻煩。

當(dāng)然，如果總體數(shù)據(jù)量特別大，并且您不關(guān)心投資成本，請(qǐng)使用cluster和tidb

1。優(yōu)化SQL語(yǔ)句、索引和表結(jié)構(gòu)。

2. 打開(kāi)查詢緩存時(shí)，查詢緩存緩存選擇查詢及其結(jié)果數(shù)據(jù)集。當(dāng)執(zhí)行同一個(gè)select查詢時(shí)，MySQL將直接從內(nèi)存中檢索結(jié)果，這加快了查詢的執(zhí)行速度，減少了對(duì)數(shù)據(jù)庫(kù)的壓力。執(zhí)行show變量，比如“have”uqueryucache，您可以檢查MySQL查詢緩存是否打開(kāi)。要打開(kāi)查詢緩存，只需配置我的.cnf具體如下：

querycacheuuutype=1

querycacheuusize=128M

querycacheulimit=1m

保存后重新啟動(dòng)mysql。

3. 選擇InnoDB存儲(chǔ)引擎。MySQL常用的存儲(chǔ)引擎是MyISAM和InnoDB。它們之間的區(qū)別如下：

MyISAM

查詢速度快；

支持表級(jí)鎖，在此期間不能對(duì)表執(zhí)行其他操作；

支持全文檢索；

支持?jǐn)?shù)據(jù)壓縮、自復(fù)制、查詢緩存和數(shù)據(jù)加密；

不支持外鍵；

不支持事務(wù)，因此沒(méi)有提交和回滾操作；

不支持群集數(shù)據(jù)庫(kù)。

InnoDB

支持行級(jí)鎖；

支持外鍵和外鍵約束強(qiáng)制執(zhí)行；

支持事務(wù)，可以執(zhí)行提交和回滾操作；

支持?jǐn)?shù)據(jù)壓縮、自復(fù)制、查詢緩存和數(shù)據(jù)加密；

可以在群集環(huán)境中使用，但不完全支持。InnoDB表可以轉(zhuǎn)換為NDB存儲(chǔ)引擎，可以在集群環(huán)境下使用。

mysql優(yōu)化教程？

1. 什么是數(shù)據(jù)庫(kù)？什么是關(guān)系數(shù)據(jù)庫(kù)？什么是非關(guān)系數(shù)據(jù)庫(kù)？

2. 安裝MySQL

3。MySQL的連接

4。MySQL數(shù)據(jù)庫(kù)的基本操作：創(chuàng)建數(shù)據(jù)庫(kù)、查看數(shù)據(jù)庫(kù)、修改數(shù)據(jù)庫(kù)、刪除數(shù)據(jù)庫(kù)

相關(guān)內(nèi)容：全球化和本地化[數(shù)據(jù)庫(kù)選項(xiàng)

]5。MySQL數(shù)據(jù)表的基本操作：表結(jié)構(gòu)操作、段操作

基本知識(shí)：MySQL的數(shù)據(jù)類(lèi)型和字段屬性

6。MySQL數(shù)據(jù)的基本操作

高級(jí)查詢：[7。完成MySQL學(xué)習(xí)的select語(yǔ)句

8。MySQL的連接查詢、聯(lián)合查詢和子查詢

9。MySQL的外鍵

10。MySQL的常用函數(shù)

聚合函數(shù)

字符串函數(shù)，數(shù)值函數(shù)和時(shí)間日期函數(shù)

11。MySQL的索引

12。查看MySQL

13。MySQL的變量

14。MySQL的觸發(fā)器

15。MySQL的存儲(chǔ)過(guò)程

16。MySQL的自定義函數(shù)

17。MySQL的游標(biāo)

18。MySQL的代碼執(zhí)行結(jié)構(gòu)

19。MySQL的事務(wù)管理

20。MySQL的用戶管理

21。MySQL的用戶權(quán)限管理

22。MySQL的數(shù)據(jù)備份和恢復(fù)

23。MySQL的日志管理[占用空間，什么時(shí)候可以再寫(xiě)？這里顯示的是知識(shí)點(diǎn)，還有這個(gè)知識(shí)點(diǎn)

]24。MySQL的診斷與性能優(yōu)化[空間占用，有時(shí)間寫(xiě)的時(shí)候，這里是用來(lái)顯示知識(shí)點(diǎn)的，還有這個(gè)知識(shí)點(diǎn)

]補(bǔ)充：

25。MySQL的全球化和本地化：字符集，校對(duì)集，中文編碼問(wèn)題

26。MySQL的系統(tǒng)默認(rèn)數(shù)據(jù)庫(kù)

范例

]鎖定機(jī)制

以MySQL為列：

1:支持高并發(fā)系統(tǒng)，這肯定會(huì)涉及，所以數(shù)據(jù)庫(kù)引擎必須選擇InnoDB。InnoDB支持事務(wù)，事務(wù)級(jí)別取決于業(yè)務(wù)。如果業(yè)務(wù)數(shù)據(jù)一致性要求非常高，事務(wù)將啟動(dòng)序列化級(jí)別，這將完全隔離事務(wù)，但會(huì)導(dǎo)致對(duì)鎖資源的競(jìng)爭(zhēng)加劇。MySQL的性能在一定程度上降低了。

2:數(shù)據(jù)庫(kù)分為主數(shù)據(jù)庫(kù)和從數(shù)據(jù)庫(kù)。主數(shù)據(jù)庫(kù)負(fù)責(zé)寫(xiě)入數(shù)據(jù)，集群數(shù)據(jù)庫(kù)負(fù)責(zé)讀取數(shù)據(jù)。注意主從數(shù)據(jù)庫(kù)的數(shù)據(jù)一致性。

3:冷熱數(shù)據(jù)分離，美團(tuán)、饑餓部分設(shè)計(jì)采用冷熱數(shù)據(jù)分離。以訂單為例，出庫(kù)單的主要業(yè)務(wù)場(chǎng)景是查詢。數(shù)據(jù)查詢?cè)较蚯?，概率越低。這是冷數(shù)據(jù)。正在交易的訂單是熱點(diǎn)數(shù)據(jù)，需要隨時(shí)查詢和更新。冷數(shù)據(jù)可以放入redis緩存。這將提高查詢效率。

4：數(shù)據(jù)表設(shè)計(jì)，充分利用索引查詢。businesssql避免返回?zé)o用的行和列，禁止使用select*query，在查詢時(shí)增加限制，并盡可能返回滿足要求的行。對(duì)于復(fù)雜的SQL，請(qǐng)考慮拆分SQL。拆分SQL有一個(gè)優(yōu)點(diǎn)。對(duì)于重復(fù)查詢SQL，將第二次查詢放入MySQL緩沖區(qū)，避免重復(fù)磁盤(pán)操作，提高訪問(wèn)性能。

5：子數(shù)據(jù)庫(kù)和子表。例如，業(yè)務(wù)數(shù)據(jù)按月份分類(lèi)。在一定程度上，增加、刪除、修改和檢查的壓力將得到緩解。

希望對(duì)您有所幫助。謝謝您。