python 數據清洗之字符串處理

在數據分析中，特別是文本分析中，字符處理需要耗費極大的精力，
因而了解字符處理對於數據分析而言，也是一項很重要的能力。

字符串處理方法

首先我們先了解下都有哪些基礎方法

首先我們了解下字符串的拆分split方法

str='i like apple,i like bananer'
print(str.split(','))

對字符str用逗號進行拆分的結果：
['i like apple', 'i like bananer']

print(str.split(' '))

根據空格拆分的結果：
['i', 'like', 'apple,i', 'like', 'bananer']

print(str.index(','))
print(str.find(','))

兩個查找結果都為：
12
找不到的情況下index返回錯誤，find返回-1

print(str.count('i'))

結果為：
4
connt用於統計目標字符串的頻率

print(str.replace(',', ' ').split(' '))

結果為：
['i', 'like', 'apple', 'i', 'like', 'bananer']
這里replace把逗號替換為空格后，在用空格對字符串進行分割，剛好能把每個單詞取出來。
除了常規的方法以外，更強大的字符處理工具費正則表達式莫屬了。

正則表達式

在使用正則表達式前我們還要先了解下，正則表達式中的諸多方法。

下面我來看下個方法的使用，首先了解下match和search方法的區別

str = "Cats are smarter than dogs"
pattern=re.compile(r'(.*) are (.*?) .*')
result=re.match(pattern,str)

for i in range(len(result.groups())+1):
    print(result.group(i))

結果為：
Cats are smarter than dogs
Cats
smarter
這種形式的pettern匹配規則下，match和search方法的的返回結果是一樣的
此時如果把pattern改為

pattern=re.compile(r'are (.*?) .*')

match則返回none，search返回結果為：
are smarter than dogs
smarter
接下來我們了解下其他方法的使用

str = "138-9592-5592 # number"
pattern=re.compile(r'#.*$')
number=re.sub(pattern,'',str)
print(number)

結果為：
138-9592-5592
以上是通過把#號后面的內容替換為空實現提取號碼的目的。
我們還可以進一步對號碼的橫桿進行替換

print(re.sub(r'-*','',number))

結果為：
13895925592
我們還可以用find的方法把找到的字符串打印出來

str = "138-9592-5592 # number"
pattern=re.compile(r'5')
print(pattern.findall(str))

結果為：
['5', '5', '5']

正則表達式的整體內容比較多，需要我們對匹配的字符串的規則有足夠的了解，下面是具體的匹配規則。

矢量化字符串函數

清理待分析的散亂數據時，常常需要做一些字符串規整化工作。

data = pd.Series({'li': '[e-mail]','wang':'[e-mail]',
   'chen': '[e-mail]','zhao':np.nan,'sun':'[e-mail]'})
print(data)

結果為：

可以通過規整合的一些方法對數據做初步的判斷，比如用contains 判斷每個數據中是否含有關鍵詞

print(data.str.contains('@'))

結果為：

也可以對字符串進行分拆，把需要的字符串提取出來

data = pd.Series({'li': '[e-mail]','wang':'[e-mail]',
                  'chen': '[e-mail]','zhao':np.nan,'sun':'[e-mail]'})
pattern=re.compile(r'(\d*)@([a-z]+)\.([a-z]{2,4})')
result=data.str.match(pattern)  #這里用fillall的方法也可以result=data.str.findall(pattern)
print(result)

結果為：
chen [(8622, xinlang, com)]
li [(120, qq, com)]
sun [(5243, gmail, com)]
wang [(5632, qq, com)]
zhao NaN
dtype: object
此時加入我們需要提取郵箱前面的名稱

print(result.str.get(0))

結果為：

或者需要郵箱所屬的域名

print(result.str.get(1))

結果為：

當然也可以用切片的方式進行提取，不過提取的數據准確性不高

data = pd.Series({'li': '[e-mail]','wang':'[e-mail]',
               'chen': '[e-mail]','zhao':np.nan,'sun':'[e-mail]'})
print(data.str[:6])

結果為：

最后我們了解下矢量化的字符串方法