FreeSql (三十一)分區分表


分區

分區就是把一個數據表的文件和索引分散存儲在不同的物理文件中。把一張表的數據分成N多個區塊,這些區塊可以在同一個磁盤上,也可以在不同的磁盤上,數據庫不同實現方式有所不同。

與分表不同,一張大表進行分區后,他還是一張表,不會變成二張表,但是他存放數據的區塊變多了。分區的概念,我覺得就想突破磁盤I/O瓶頸,想提高磁盤的讀寫能力,來增加數據庫的性能。

分區實現是比較簡單的,建立分區表,根建平常的表沒什么區別,並且對開發代碼端來說是透明。

postgresql10以上的自動分區分表功能:

1、首先創建主分區表:

create table fenbiao(
id int,
year varchar
) partition by list(year)

這里設置的是根據year列進行數據分表;創建后使用navicat是看不到的;

2.創建分表:

create table fenbiao_2017 partition of fenbiao for values in ('2017');
create table fenbiao_2018 partition of fenbiao for values in ('2018');

這樣這兩天數據會依靠規則插入到不同分表中,如果插入一條不符合規則的數據,則會報錯誤:no partition of relation "fenbiao" found for row.

分表

分表從表面意思上看呢,就是把一張表分成N多個小表,每一個小表都是完正的一張表。分表后數據都是存放在分表里,總表只是一個外殼,存取數據發生在一個一個的分表里面。

分表后單表的並發能力提高了,磁盤I/O性能也提高了。並發能力為什么提高了呢,因為查尋一次所花的時間變短了,如果出現高並發的話,總表可以根據不同 的查詢,將並發壓力分到不同的小表里面。

分庫分表

分庫分表把原本存儲於一個庫的數據分塊存儲到多個庫上,把原本存儲於一個表的數據分塊存儲到多個表上。

數據庫中的數據量不一定是可控的,在未進行分庫分表的情況下,隨着時間和業務的發展,庫中的表會越來越多,表中的數據量也會越來越大,相應地,數據操作,增刪改查的開銷也會越來越大;另外,一台服務器的資源(CPU、磁盤、內存、IO等)是有限的,最終數據庫所能承載的數據量、數據處理能力都將遭遇瓶頸。

FreeSql.Repository 之分表

FreeSql 提供 AsTable 分表的基礎方法,GuidRepository 作為分存式倉儲將實現了分表與分庫(不支持跨服務器分庫)的封裝。

var logRepository = fsql.GetGuidRepository<Log>(null, oldname => $"{oldname}_201903");

上面我們得到一個日志倉儲按年月分表,使用它 CURD 最終會操作 Log_201903 表。

注意事項:

  • 不能使用 CodeFirst 遷移分表,開發環境時仍然可以遷移 Log 表;
  • 不可在分表分庫的實體類型中使用《延時加載》;

跨表查詢

var sql = fsql.Select<User>()
    .AsTable((type, oldname) => "table_1")
    .AsTable((type, oldname) => "table_2")
    .AsTable((type, oldname) => "table_3")
    .ToSql(a => a.Id);

得到SQL:

select * from (SELECT a."Id" as1 FROM "table_1" a) ftb 
UNION ALL
select * from (SELECT a."Id" as1 FROM "table_2" a) ftb 
UNION ALL
select * from (SELECT a."Id" as1 FROM "table_3" a) ftb

多表查詢:

var sql = fsql.Select<User>().LeftJoin<UserGroup>((a,b) => a.UserGroupId == b.Id)
    .AsTable((type, oldname) => oldname + "_1")
    .AsTable((type, oldname) => oldname + "_2")
    .AsTable((type, oldname) => oldname + "_3")
    .ToSql(a => a.Id);

期待更多發散。。。

巧用AsTable

var sql = fsql.Select<User>()
    .AsTable((a, b) => "(select * from tb_topic where clicks > 10)")
    .Page(1, 10).ToList()

系列文章導航


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM