sql server 不可見字符處理 總結


 前言

問題描述:在表列里有肉眼不可見字符,導致一些更新或插入失敗。 幾年前第一次碰見這種問題是在讀取考勤機人員信息時碰見的,折騰了一點時間,現在又碰到了還有點新發現就順便一起記錄下。

 

如下圖所示 golds字段 看上去5個字符,長度則為44 ,可判斷有特殊字符存在此列中。

 

 基礎知識准備 

貼幾個常用函數 

 1、獲取字符的ASCII碼 ASCII

    ASCII碼是對字符的標准編碼。要獲取字符的ASCII碼就可以通過調用ASCII函數來實現。

    語法結構:

  ASCII(espression)

   這里的expression是一個返回char或varchar數據類型的表達式,ASCII函數僅對表達式最左側的字符返回ASCII碼值。--這個是重點

    返回值:int數據類型。

    示例:

  select ASCII('f')    --輸出 102

   注意如果是多個字符的字符串,也只是返回第一個字符的ASCII碼值。

  2、獲取ASCII碼對應的字符 Char

    語法結構:

  char(integer_expression)

    返回值類型:char型字符

    示例:

  select char(102)    -- 輸出f

  3、獲取字符的unicode編碼 Unicode

   unicode函數可以獲得字符的unicode編碼。

   語法結構:

  unicode('ncharacter_expression')

   這里的ncharacter_expression是nchar或nvarchar類型的表達式。函數僅會返回第一個字符的unicode編碼。

   返回值:int類型數據

   示例:

  SELECT Unicode('飛')    -- 輸出 39134

  4、獲取unicode編碼對應的字符nchar

    nchar能夠根據unicode標准的定義,返回具有指定的整數代碼的unicode字符。

    語法結構:

  nchar(integer_expression)

    返回值:unicode字符

     示例:

  SELECT nchar(39134)        -- 輸出 飛

 

      5、獲取字符串長度LEN

    len函數用於獲取字符串的長度(字符數),但不包括右邊的空格。左邊的空格和右邊的空格計算在內。

    語法結構:

  len( string_expression )

    參數說明:

      string_expression:要計算長度的字符串。

    返回值:expression數據類型為varchar(max)、nvarchar(max)或varbinary(max),則為bigint。否則為int。

    示例:

  select len('天下之大,無奇不有')    -- 輸出 9

   6、REPLACE

  用另一個字符串值替換出現的所有指定字符串值。

  語法如下:

  REPLACE ( string_expression1 , string_expression2 , string_expression3 )

  參數
  string_expression1:要搜索的字符串表達式。string_expression1 可以是字符或二進制數據類型。
  string_expression2:要查找的子字符串。string_expression2 可以是字符或二進制數據類型。
  string_expression3:替換字符串。string_expression3 可以是字符或二進制數據類型。

  SELECT REPLACE('abcde','abc','xxx')    --xxxde

   

   7 、指定位置搜索字符串中的內容CHARINDEX

    charindex函數用於在指定的字符串中搜索特定的字符串,並可以指定開始搜索的位置,返回第一次找到目標字符串的字符數。

    語法結構:

  charindex ( expression1 , expression2 [ , start_location] )
    參數說明:

      expression1:一個字符串數據類型的表達式,其中包含要查找的字符的序列。

      expression2:一個字符串數據類型的表達式,通常是一個為指定序列搜索的列。

      start_location:開始在expression2中搜索expression1是的字符位置。如果start_location未被指定、是一個負數或零,則將從expression2的開頭開始搜索。      start_location可以是bingint類型。

    返回值:如果expression2的數據類型為varchar(max)、nvarchar(max)或varbinary(max),則為bigint,否則為int。

    示例:

    select charindex('456','123456789') -- 輸出 4 從123456789中檢索456出現的位置
    select charindex('456','123456789',4) -- 輸出 4

 問題處理 

以前言中描述的例子為例(個人習慣處理方式供參考,如果你的肉眼自帶反隱功能可略過下文)

先查看左右邊字符和肉眼所見是否吻合結果如下圖

初步斷定不可見字符在右邊,因為第三個的查詢結果不是0而是空(可能是字符串空吧'')

轉載注明出處:http://www.cnblogs.com/zzry/p/5729404.html

接着查看它的ascii編碼值

查看ascii表,ASCII 非打印控制字符:ASCII 表上的數字 0–31 分配給了控制字符,用於控制像打印機等一些外圍設備。

得到結論1:右邊第一個不可見字符是個控制字符(對應char(0),為什么是char(0)上面貼的基礎知識有講)

 

一般到這里就結束了,查到了是什么字符,然后用replace函數替換成字符串空完事,下面將其處理掉時發現失敗

上面查到了是char(0)在作祟,而且我循環輸出golds字段右邊的字符發現有39個char(0),方便理解,簡化問題,改為下圖對比着看

初步斷定在@a里沒找到

繼續追蹤原因

 

原來如此,charindex都找不到它,得right一下才把這根刺挑出來。當是char(1)等等的時候是可以的,replace(@a,char(1) ,'a')

這樣是成功的,char(0)對應空字元,不對應數據庫的NULL哦。

 

既然這樣,那就用截取字符串的方法把需要的信息拿出來,框架大概如下,套個循環。當然也有可能有更好的方法,僅供參考

轉載注明出處:http://www.cnblogs.com/zzry/p/5729404.html

loop UPDATE  TblName  SET ColName = LEFT(ColName,LEN(ColName)-1) WHERE ASCII(RIGHT( ColName ,1))=0  
end loop

 

 下面共享個通用處理指定表中所有列中所有不可見字符的處理腳本,實測可用。

SET NOCOUNT ON
 DECLARE @TblName  VARCHAR(100) DECLARE @UpdateString NVARCHAR(1000) DECLARE @SelectString NVARCHAR(1000) DECLARE @COlName VARCHAR(100) DECLARE @COUNT  INT
 SET @TblName = '表名稱'--指定想要修改的表名
 --定義游標取出指定表內的數據類型是VARCHAR,char,nVARCHAR的字段名稱
 DECLARE cur_ColName  CURSOR
 FOR
 SELECT col.name FROM syscolumns AS col inner join sysobjects  AS obj  ON col.ID = obj.ID INNER join systypes  AS typ  ON col.xtype = typ.xtype WHERE obj.xtype ='U'
 AND obj.name = @TblName
 AND typ.name IN ('VARCHAR','CHAR','NVARCHAR','NCHAR') FOR READ ONLY
 --打開游標
 OPEN cur_ColName FETCH NEXT FROM cur_ColName INTO @ColName
 IF @@FETCH_STATUS<>0
 BEGIN 
 PRINT '沒有對應表或字段,'PRINT '請確認當前數據庫內有' + @TblName + '表,' PRINT '或該表內有VARCHAR、CHAR、NVARCHAR、NCHAR類型的字段!' GOTO LABCLOSE END--循環修改
 WHILE @@FETCH_STATUS=0
 BEGIN 
 --拼修改字符串 
 --去掉左邊的不可見字符 
 SET @SelectString = 'SELECT @COU=COUNT(*) FROM ' + @TblName +' WHERE ASCII(LEFT(' + @ColName +',1))<32 AND '+ @ColName + ' IS NOT NULL' 
 EXEC sp_executesql @SelectString,N'@COU INT OUTPUT', @COUNT OUTPUT WHILE @COUNT>0 
 BEGIN  
 SET @UpdateString =   
 ' UPDATE ' + @TblName +   
 ' SET ' + @ColName + '=RIGHT(' + @ColName + ',LEN(' + @ColName + ')-1) WHERE ASCII(LEFT(' + @ColName + ',1))<32 AND ' + @ColName + ' IS NOT NULL'  
 EXEC sp_executesql @UpdateString  
 EXEC sp_executesql @SelectString,N'@COU INT OUTPUT',@COUNT OUTPUT END 
 --去掉右邊的不可見字符 
 SET @SelectString = 'SELECT @COU=COUNT(*) FROM ' + @TblName +' WHERE ASCII(RIGHT(' + @ColName +',1))<32 AND '+ @ColName + ' IS NOT NULL' 
 EXEC sp_executesql @SelectString,N'@COU INT OUTPUT', @COUNT OUTPUT WHILE @COUNT>0 
 BEGIN  
 SET @UpdateString =   ' UPDATE ' + @TblName +   ' SET ' 
 + @ColName + '=LEFT(' + @ColName + ',LEN(' + @ColName + ')-1) WHERE ASCII(RIGHT(' + @ColName + ',1))<32 AND ' + @ColName + ' IS NOT NULL'  
 EXEC SP_EXECUTESQL @UpdateString  
 EXEC sp_executesql @SelectString,N'@COU INT OUTPUT', @COUNT OUTPUT END 
 PRINT 'column: ' + @ColName + '---ok' 
 FETCH NEXT FROM cur_ColName INTO @ColName
 END
 --關閉、釋放游標
 LABCLOSE: CLOSE cur_ColName DEALLOCATE cur_ColName GO

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM