[數據清洗]- Pandas 清洗“臟”數據（三）

預覽數據

這次我們使用 Artworks.csv ，我們選取 100 行數據來完成本次內容。具體步驟：

1. 導入 Pandas
2. 讀取 csv 數據到 DataFrame（要確保數據已經下載到指定路徑）

DataFrame 是 Pandas 內置的數據展示的結構，展示速度很快，通過 DataFrame 我們就可以快速的預覽和分析數據。代碼如下：

import pandas as pd

​

df = pd.read_csv('../data/Artworks.csv').head(100)

df.head(10)

 

 

統計日期數據

我們仔細觀察一下 Date 列的數據，有一些數據是年的范圍（1976-1977），而不是單獨的一個年份。在我們使用年份數據畫圖時，就不能像單獨的年份那樣輕易的畫出來。我們現在就使用 Pandas 的 value_counts() 來統計一下每種數據的數量。

首先，選擇要統計的列，並調用 value_counts():

df['Date'].value_counts()

 

 

 

日期數據問題

Date 列數據，除了年份是范圍外，還有三種非正常格式。下面我們將這幾種列出來：

• 問題一，時間范圍（1976-77）
• 問題二，估計（c. 1917，1917 年前后）
• 問題三，缺失數據（Unknown）
• 問題四，無意義數據（n.d.）

接下來我們會處理上面的每一個問題，使用 Pandas 將這些不規則的數據轉換為統一格式的數據。

問題一和二是有數據的只是格式上欠妥當，問題三和四實際上不是有效數據。針對前兩個問題，我們可以通過代碼將據格式化來達到清洗的目的，然而，后兩個問題，代碼上只能將其作為缺失值來處理。簡單起見，我們將問題三和四的數據處理為0。

 

處理問題一

問題一的數據都是兩個年時間范圍，我們選擇其中的一個年份作為清洗之后的數據。為了簡單起見，我們就使用開始的時間來替換這樣問題的數據，因為這個時間是一個四位數的數字，如果要使用結束的年份，我們還要補齊前兩位的數字。

首先，我們需要找到問題一的數據，這樣我們才能將其更新。要保證其他的數據不被更新，因為其他的數據有可能是已經格式化好的，也有可能是我們下面要處理的。

我們要處理的時間范圍的數據，其中包含有“-”，這樣我們就可以通過這個特殊的字符串來過濾我們要處理的數據，然后，通過 split() 利用“-”將數據分割，將結果的第一部分作為處理的最終結果。

代碼如下

row_with_dashes = df['Date'].str.contains('-').fillna(False)

for i, dash in df[row_with_dashes].iterrows():

    df.at[i,'Date'] = dash['Date'][0:4]

df['Date'].value_counts()

 

 

處理問題二

問題二的數據體現了數據本身的不准確性，是一個估計的年份時間，我們將其轉換為年份，那么，就只要保留最后四位數字即可，該數據的特點就是數據包含“c”，這樣我們就可以通過這一特征將需要轉換的數據過濾出來。

row_with_cs = df['Date'].str.contains('c').fillna(False)

for i,row in df[row_with_cs].iterrows():

    df.at[i,'Date'] = row['Date'][-4:]

df[row_with_cs]

 

 

處理問題三四

將這問題三四的數據賦值成初始值 0。

df['Date'] = df['Date'].replace('Unknown','0',regex=True)

df['Date'] = df['Date'].replace('n.d.','0',regex=True)

df['Date']

 

 

代碼整合

mport pandas as pd

​

df = pd.read_csv('../data/Artworks.csv').head(100)

df.head(10)

​

df['Date'].value_counts()

​

row_with_dashes = df['Date'].str.contains('-').fillna(False)

for i, dash in df[row_with_dashes].iterrows():

    df.at[i,'Date'] = dash['Date'][0:4]

df['Date'].value_counts()

​

row_with_cs = df['Date'].str.contains('c').fillna(False)

for i,row in df[row_with_cs].iterrows():

    df.at[i,'Date'] = row['Date'][-4:]

df['Date'].value_counts()

​

df['Date'] = df['Date'].replace('Unknown','0',regex=True)

df['Date'] = df['Date'].replace('n.d.','0',regex=True)

df['Date'].value_counts()

 

更多關於數據清洗的內容可以關注知乎上的專欄“數據清洗”

知乎 數據清洗- Pandas 清洗“臟”數據（三）