一個讓業務開發效率提高10倍的golang庫


一個讓業務開發效率提高10倍的golang庫

此文除了是標題黨,沒有什么其他問題。

這篇文章推薦一個庫,https://github.com/jianfengye/collection。 這個庫是我在開發業務過程中 Slice 的頻繁導致業務開發效率低,就產生了要做一個 Collection 包的想法。本文說說我開發這個庫的前因后果

Golang 適不適合寫業務?

最近一個邏輯非常復雜的業務,我用 Golang 來開發。開發過程不斷在問一個問題,Golang 適不適合寫業務?

業務說到底,是一大堆的邏輯,大量的邏輯都是在幾個環節:獲取數據,封裝數據,組織數據,過濾數據,排序結果。獲取/封裝數據,即從 DB 中根據查詢 SQL,獲取表中的數據,並封裝成數據結構。組織數據,例如,當我有兩份數據源,我需要將兩份數據源按照某個字段合並,那么這種組織數據的能力也是非常需要的。過濾數據,我獲取的字段有10個,但是我只需要給前端返回3個就夠了;排序結果,返回的結構按照某種順序。這些都是我們在寫業務中,每個業務邏輯都會遇到的問題。一款適合做業務的語言一定是在這些環節上都提供足夠的便利性的。

圖片

我想,符合業務語義的語言才有未來!!

什么是業務語義呢?就是我們開發人員和產品人員交流的語言。感受一下,比如 “將這個名單中成績按照從大到小排列,並且成績大於60的最后一個學生找出來” 這么一句話的需求,就是我們常常和產品人員交流的語言。而我們開發中使用到的語言/框架/庫,又是一種思維和語言。當我們接到上述的需求,如果我們頭腦中浮現的邏輯是“我要使用快速排序,然后在快速排序循環中能直接找到成績大於60的,還要是最后一個,所以我可能需要有個 min 變量”。那么我只能說,或許你的代碼運行效率足夠高,但是一旦業務復雜了,你的代碼開發效率一定很低。像上述的需求,我們按照偽碼來說,最希望是有一門語言能支持:collection().sortDesc().Last(score > 60) 這樣符合業務語義的代碼。

如圖,如果說高級語言是拉近了機器語言和業務語義的距離,那么開發Collection包的願景也是希望拉近 Golang 這門高級語言和 業務語言的距離。

Collection包目標是用於替換golang原生的Slice,使用場景是在大量不追求極致性能,追求業務開發效能的場景。

圖片

展示

業務開發最核心的也就是對數組的處理,Collection封裝了多種數據數組類型。

Collection包目前支持的元素類型:int, int64, float32, float64, string, struct。除了struct數組使用了反射之外,其他的數組並沒有使用反射機制,效率和易用性得到一定的平衡。

使用下列幾個方法進行初始化Collection:

NewIntCollection(objs []int) *IntCollection

NewInt64Collection(objs []int64) *Int64Collection

NewFloat64Collection(objs []float64) *Float64Collection

NewFloat32Collection(objs []float32) *Float32Collection

NewStrCollection(objs []string) *StrCollection

NewObjCollection(objs interface{}) *ObjCollection

所有的初始化函數都是很方便的將要初始化的slice傳遞進入,返回了一個實現了ICollection的具體對象。

下面做一些Collection中函數的展示。

友好的格式展示

首先業務是很需要進行代碼調試的,這里封裝了一個 DD 方法,能按照友好的格式展示這個 Collection

a1 := Foo{A: "a1"}
a2 := Foo{A: "a2"}

objColl := NewObjCollection([]Foo{a1, a2})
objColl.DD()

/*
ObjCollection(2)(collection.Foo):{
	0:	{A:a1}
	1:	{A:a2}
}
*/

intColl := NewIntCollection([]int{1,2})
intColl.DD()

/*
IntCollection(2):{
	0:	1
	1:	2
}
*/

查找功能

在一個數組中查找對應的元素,這個是非常常見的功能

Search(item interface{}) int

查找Collection中第一個匹配查詢元素的下標,如果存在,返回下標;如果不存在,返回-1

注意 此函數要求設置compare方法,基礎元素數組(int, int64, float32, float64, string)可直接調用!

intColl := NewIntCollection([]int{1,2})
if intColl.Search(2) != 1 {
    t.Error("Search 錯誤")
}

intColl = NewIntCollection([]int{1,2, 3, 3, 2})
if intColl.Search(3) != 2 {
    t.Error("Search 重復錯誤")
}

排重功能

將Collection中重復的元素進行合並,返回唯一的一個數組。

intColl := NewIntCollection([]int{1,2, 3, 3, 2})
uniqColl := intColl.Unique()
if uniqColl.Count() != 3 {
    t.Error("Unique 重復錯誤")
}

uniqColl.DD()
/*
IntCollection(3):{
	0:	1
	1:	2
	2:	3
}
*/

獲取最后一個

獲取該Collection中滿足過濾的最后一個元素,如果沒有填寫過濾條件,默認返回最后一個元素

intColl := NewIntCollection([]int{1, 2, 3, 4, 3, 2})
last, err := intColl.Last().ToInt()
if err != nil {
    t.Error("last get error")
}
if last != 2 {
    t.Error("last 獲取錯誤")
}

last, err = intColl.Last(func(item interface{}, key int) bool {
    i := item.(int)
    return i > 2
}).ToInt()

if err != nil {
    t.Error("last get error")
}
if last != 3 {
    t.Error("last 獲取錯誤")
}

Map & Reduce

Map

Map(func(item interface{}, key int) interface{}) ICollection

對Collection中的每個函數都進行一次函數調用,並將返回值組裝成ICollection

這個回調函數形如: func(item interface{}, key int) interface{}

如果希望在某此調用的時候中止,就在此次調用的時候設置Collection的Error,就可以中止,且此次回調函數生成的結構不合並到最終生成的ICollection。

intColl := NewIntCollection([]int{1, 2, 3, 4})
newIntColl := intColl.Map(func(item interface{}, key int) interface{} {
    v := item.(int)
    return v * 2
})
newIntColl.DD()

if newIntColl.Count() != 4 {
    t.Error("Map錯誤")
}

newIntColl2 := intColl.Map(func(item interface{}, key int) interface{} {
    v := item.(int)

    if key > 2 {
        intColl.SetErr(errors.New("break"))
        return nil
    }

    return v * 2
})
newIntColl2.DD()

/*
IntCollection(4):{
	0:	2
	1:	4
	2:	6
	3:	8
}
IntCollection(3):{
	0:	2
	1:	4
	2:	6
}
*/

Reduce

Reduce(func(carry IMix, item IMix) IMix) IMix

對Collection中的所有元素進行聚合計算。

如果希望在某次調用的時候中止,在此次調用的時候設置Collection的Error,就可以中止調用。

intColl := NewIntCollection([]int{1, 2, 3, 4})
sumMix := intColl.Reduce(func(carry IMix, item IMix) IMix {
    carryInt, _ := carry.ToInt()
    itemInt, _ := item.ToInt()
    return NewMix(carryInt + itemInt)
})

sumMix.DD()

sum, err := sumMix.ToInt()
if err != nil {
    t.Error(err.Error())
}
if sum != 10 {
    t.Error("Reduce計算錯誤")
}

/*
IMix(int): 10
*/

排列

將Collection中的元素進行升序排列輸出

intColl := NewIntCollection([]int{2, 4, 3})
intColl2 := intColl.Sort()
if intColl2.Err() != nil {
    t.Error(intColl2.Err())
}
intColl2.DD()

/*
IntCollection(3):{
	0:	2
	1:	3
	2:	4
}
*/

合並

Join(split string, format ...func(item interface{}) string) string

將Collection中的元素按照某種方式聚合成字符串。該函數接受一個或者兩個參數,第一個參數是聚合字符串的分隔符號,第二個參數是聚合時候每個元素的格式化函數,如果沒有設置第二個參數,則使用fmt.Sprintf("%v")來該格式化

intColl := NewIntCollection([]int{2, 4, 3})
out := intColl.Join(",")
if out != "2,4,3" {
    t.Error("join錯誤")
}
out = intColl.Join(",", func(item interface{}) string {
    return fmt.Sprintf("'%d'", item.(int))
})
if out != "'2','4','3'" {
    t.Error("join 錯誤")
}

核心

繼承

Collection 包的核心思想也就是繼承。但是在 Golang 中的繼承,特別是抽象類是沒有辦法實現的。我這里使用了實現了自身接口的屬性Parent來實現的。

首先定義 ICollection 接口,在這個接口中定義好所有的方法。其次創建了 AbsCollection 這個 struct。首先它自身實現了 ICollection 方法,其次,它有個 Parent 屬性實現了 ICollection方法,這個 Parent 屬性是存放指向真正的實現類的方法,比如 IntCollection。最后,IntCollection/Float32Collection 等都是實現了 AbsCollection。這里顯式寫實現了 AbsCollection 有幾個好處,一個是強制必須實現 ICollection的方法,其次,一些在具體實現類中不一樣的方法,可以在實現類中重寫了。並且最后,為每個實現類實現了一個New方法。

圖片

圖片

IMix

當然,由於是強類型語言,很多函數在定義的時候,返回值是無法確定類型的,當然這里可以簡單的使用一個interface來做,但是這樣易用性其實又降低了,每次函數調用就必須坐下類型判斷。再加上后續回說到的 error 處理的問題。所以我設計了一個 IMix 接口,由實現了這個接口的對象來進行類型轉換,ToString, ToInt64 等。當然我也為 IMix 設計了 DD() 方便調試的方法。

圖片

AbsCollection

上面說了繼承,AbsCollection 是我定位的抽象類,它的思想是一生二,二生萬物的思想。就是有一些原子方法(比如Insert方法)是根據不同的數組對象而不同的。這些方法在AbsCollection 層的實現就是調用 Parent 的具體實現方法。而其他的 AbsCollection 中的通用方法則使用這些原子進行實現。

一共給具體的父實現類定義了6個方法,后續一旦有新的類型添加的需求,只需要保證他能實現了這6個方法即可使用其他的方法了。

圖片

圖片

特色

下面說說這個包設計的一些特色。

可選參數

Collection 使用了大量的可選參數,比如 Collection.Slice方法。

Slice(...int) ICollection

獲取Collection中的片段,可以有兩個參數或者一個參數。

如果是兩個參數,第一個參數代表開始下標,第二個參數代表結束下標,當第二個參數為-1時候,就代表到Collection結束。

如果是一個參數,則代表從這個開始下標一直獲取到Collection結束的片段。

intColl := NewIntCollection([]int{1, 2, 3, 4, 5})
retColl := intColl.Slice(2)
if retColl.Count() != 3 {
    t.Error("Slice 錯誤")
}

retColl.DD()

retColl = intColl.Slice(2,2)
if retColl.Count() != 2 {
    t.Error("Slice 兩個參數錯誤")
}

retColl.DD()

retColl = intColl.Slice(2, -1)
if retColl.Count() != 3 {
    t.Error("Slice第二個參數為-1錯誤")
}

retColl.DD()

/*
IntCollection(3):{
	0:	3
	1:	4
	2:	5
}
IntCollection(2):{
	0:	3
	1:	4
}
IntCollection(3):{
	0:	3
	1:	4
	2:	5
}
*/

是否使用可選方法我糾結了很久,因為這種可選參數畢竟還是不夠美觀的。不過后來還是想到了Collection這個包的設計宗旨是方便業務開發。那么業務開發使用者使用的爽的程度才是這個包應該關心的,所以也就大量使用了這種對使用者靈活友好,但是略不美觀的實現方式。

圖片

鏈式調用 & 錯誤處理

鏈式調用是我在實現這個包的時候一直堅持的。因為復雜的業務邏輯,鏈式調用的寫法閱讀性是很高的。所以在所有能返回數組的函數中,我都返回了 ICollection 接口。以方便於后續調用。

圖片

但是 Golang 中還有一個 error 的處理問題。每個函數調用其實都是有可能有錯誤的,這個錯誤如果直接返回,那么鏈式調用必然就不可行了。我采用的方式是火丁[文章]中說到的錯誤處理機制。當錯誤出現的時候,我把錯誤掛載在當前或者返回的 IColleciton,或者返回的 IMix 中。並且提供了 Error() 方法來讓外部用戶獲取確認這個鏈式調用是否有錯誤。

圖片

這樣的錯誤處理機制是我現在能想到的最好的處理機制了(在 Go 2.0 handle error沒有出來之前)。它一方面兼顧了鏈式調用,一方面能進行錯誤檢查。當然這種方式的錯誤檢查機制等於弱化,不是在每次調用函數的時候強制用戶檢查了,而是在鏈式調用之后,建議用戶檢查。但是回到 Collection 庫的願景,這樣的實現會讓使用者更為舒適。

compare

數組當然有個compare函數,這個函數我設計作為匿名函數放在 AbsCollection 中,具體的實現在每個實現類的 New 函數中進行設置。我也將這個 compare 函數的設置權限作為 SetCompare() 函數放給外部設置。主要考慮到擴展性,如果后續你的 Collection 是包的自己定義的一個復雜的 Object方法,那么你完全可以按照某個字段進行排序。

ObjCollection

對象數組是我最耗費精力的一個實現類。它大量使用了反射。但是這個是可以擴展的。由於接口中的方法的輸入輸出完全是 ICollection 接口。比如在初期,你使用 Collection 自帶的 NewObjCollection 實例化了一個 ICollection, 或許你對使用了反射的 Insert,Pluck 方法的效率不是非常滿意,那么,你只需要自己實現一個 ACollection, 並且自己實現上文說的6個方法,繼承AbsCollection,那么,你就可以很方便的使用 Colleciton的其他方法,且沒有反射。

New復制slice指針還是數組?

這個是我很后面加的,在 New 一個Collection的時候,Collection 中的數組元素,是選擇將參數中的數組指針復制到 Colleciton 中,還是將參數中的整個數組復制到 Collection 中呢?后來我選擇了后者。主要是考慮到安全性,NewCollection 的時候我復制一份,后續如果有對這個數組進行修改的操作,不會影響原先傳入的參數Slice。為了一些安全性,犧牲一些內存,我認為還是值得的。

圖片

心路歷程及后續

這個 Collection 包我也前后利用業余時間開發了挺久了。主要是實現的思想不斷在變化,從最初的我將 error 以直接panic的方式保持鏈式調用,到希望實現一個 IMap 數據結構,到使用的是數組,還是指針等,包括名字我也從最初的IArray 改成ICollection(我希望從使用這個包開始,Collection就成為了這個包的關鍵字,所有接口和函數一旦設計到數組的概念的時候就使用Collection這個關鍵字)。

圖片

寫一個通用庫其實並不是那么容易的事情,最重要的是思想還有設計感。

這個庫我目前就在我自己的項目組進行推廣和使用。文中的PPT就是我在項目組推廣時使用的PPT。目前已經打了1.0.1的tag。后續會持續優化,並且做一些文檔補充。希望能成為最適合業務開發的 Collection 包。

再次推廣下這個項目 https://github.com/jianfengye/collection ,歡迎使用和提PR。熟練使用之后,它一定會讓你的業務開發效率提升一個檔次的。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM