lua字符串長度

 【關於unicode和utf-8】

# unicode字符集，包含了全世界的字符，然而它只是規定了字符的二進制編碼，並沒有規定二級制編碼是如何存儲的。utf-8就是unicode的一個實現方式，就是怎么存儲和讀取這個unicode二進制編碼。

就像一張jpg圖片，我們可以選擇直接存放在硬盤上，也可以壓縮成rar后保存，也可以壓縮成7z后保存，UTF-8就類似這邊的rar和7z。

 

【utf-8】

# utf-8是一個可變長的編碼方式，有的是用1個字節存，有的采用2個，有的3個，最多可采用6個字節，既然是可變的，就要求字節中有個位數用來表示標記的，，有了標記就知道怎么讀取字節了。

# 1個字節表示的編碼，最高位是0，像這樣0xxxxxxx。后面7位x來表示unicode編碼，當然7位表示的編碼有限。

# n個字節的編碼，需要第一個byte的前n bit用1表示，n+1位用0，其余的字節前兩位是10，如2個字節的 110xxxxx 10xxxxxx，3個字節的1110xxxx 10xxxxxx 10xxxxxx等的，除了符號位，剩下的x就用來表示unicode編碼了，例如 "嚴"的unicode是4E25，二進制是100111000100101，需要16位，能表示16位的utf-8，就需要3個字節了。

 

【lua中獲取字符串長度】

# lua中的字符串使用的是utf-8編碼，如果直接使用string.len獲取到的是字節(byte)長度，而不是字符(char)長度

function string.utf8CharSize(c)
    if not c then return 0 end
    if c > 240 then return 4 end
    if c > 225 then return 3 end
    if c > 192 then return 2 end
    return 1
end

function string.utf8StringLen(str)
    if nil == str or "" == str then return 0 end
    assert("string" == type(str), "not string")
    
    local len = 0
    local i = 1
    while i <= #str do
        local b = string.byte(str, i)
        i = i + string.utf8CharSize(b)
        len = len + 1
    end
    return len
end

function string.utf8StringSub(str, index, count)
    if nil == index then index = 1 end
    if nil == count then count = string.utf8StringLen(str) end
    
    local byteCount = #str
    local i = 1
    --跳過起始的n個
    while index > 1 and i <= byteCount do
        local b = string.byte(str, i)
        i = i + string.utf8CharSize(b)
        index = index - 1
    end
    
    local j = i
    --子串結束位置
    while count > 0 and j <= byteCount do
        local b = string.byte(str, j)
        j = j + string.utf8CharSize(b)
        count = count - 1
    end
    
    return str:sub(i, j-1)
end

function string.utf8CharArray(str, index, count, dstTb, dstIndex)
    if nil == index then index = 1 end
    if nil == count then count = string.utf8StringLen(str) end
    if nil == dstTb then dstTb = {} end
    
    local byteCount = #str
    local i = 1
    --跳過起始的n個
    while index > 1 and i <= byteCount do
        local b = string.byte(str, i)
        i = i + string.utf8CharSize(b)
        index = index - 1
    end
    
    local j = i
    local leftCount = count
        --子串結束位置
        if nil == dstIndex then
            while leftCount > 0 and j <= byteCount do
            local b = string.byte(str, j)
            local size = string.utf8CharSize(b)
            local utf8Char = str:sub(j, j+size-1)
            table.insert(dstTb, utf8Char)
            j = j + size
            leftCount = leftCount - 1
        end
    else
        while leftCount > 0 and j <= byteCount do
            local b = string.byte(str, j)
            local size = string.utf8CharSize(b)
            local utf8Char = str:sub(j, j+size-1)
            dstTb[dstIndex] = utf8Char
            j = j + size
            leftCount = leftCount - 1
            dstIndex = dstIndex + 1
        end
    end
    
    return dstTb, count
end

 

測試代碼：

local function Test1()
    assert(6 == string.utf8StringLen("123abc"))
    assert(2 == string.utf8StringLen("中文"))
    assert(4 == string.utf8StringLen("中文1a"))
    assert(5 == string.utf8StringLen(".,;<>"))
    assert(5 == string.utf8StringLen("。，；《》"))
    assert(10 == string.utf8StringLen(".,;<>。，；《》"))
    
    assert("文1" == string.utf8StringSub("中文1a", 2, 2))
    assert("文啊" == string.utf8StringSub("中文啊呀", 2, 2))
    
    local tb = string.utf8CharArray("中文啊呀", 2, 2)
    assert("文" == tb[1])
    assert("啊" == tb[2])
end

Test1()

 

【參考】

Lua 的 # 獲取長度 - 簡書 (jianshu.com)