NLP-數據讀取與數據分析

Task2 數據讀取與數據分析

一、數據讀取

import pandas as pd
train_df = pd.read_csv('./train_set.csv', sep='\t')

首先對read_csv的函數有個清晰的認識，具體的參數的情況如下：

• filepath_or_buffer : str，pathlib。str, pathlib.Path, py._path.local.LocalPath or any object with a read() method (such as a file handle or StringIO)
  • 可以是URL，可用URL類型包括：http, ftp, s3和文件。對於多文件正在准備中
  • 本地文件讀取實例：😕/localhost/path/to/table.csv
• sep : str, default ‘,’
  • 指定分隔符。如果不指定參數，則會嘗試使用逗號分隔。分隔符長於一個字符並且不是‘\s+’,將使用python的語法分析器。並且忽略數據中的逗號。正則表達式例子：'\r\t'
• delimiter : str, default None
  • 定界符，備選分隔符（如果指定該參數，則sep參數失效）
• delim_whitespace : boolean, default False.
  • 指定空格(例如’ ‘或者’ ‘)是否作為分隔符使用，等效於設定sep='\s+'。如果這個參數設定為Ture那么delimiter 參數失效。
  • 在新版本0.18.1支持
• header : int or list of ints, default ‘infer’
  • 指定行數用來作為列名，數據開始行數。如果文件中沒有列名，則默認為0，否則設置為None。如果明確設定header=0 就會替換掉原來存在列名。header參數可以是一個list例如：[0,1,3]，這個list表示將文件中的這些行作為列標題（意味着每一列有多個標題），介於中間的行將被忽略掉（例如本例中的2；本例中的數據1,2,4行將被作為多級標題出現，第3行數據將被丟棄，dataframe的數據從第5行開始。）。
  • 注意：如果skip_blank_lines=True 那么header參數忽略注釋行和空行，所以header=0表示第一行數據而不是文件的第一行。
• names : array-like, default None
  • 用於結果的列名列表，如果數據文件中沒有列標題行，就需要執行header=None。默認列表中不能出現重復，除非設定參數mangle_dupe_cols=True。
• index_col : int or sequence or False, default None
  • 用作行索引的列編號或者列名，如果給定一個序列則有多個行索引。
  • 如果文件不規則，行尾有分隔符，則可以設定index_col=False 來是的pandas不適用第一列作為行索引。
• usecols : array-like, default None
  • 返回一個數據子集，該列表中的值必須可以對應到文件中的位置（數字可以對應到指定的列）或者是字符傳為文件中的列名。例如：usecols有效參數可能是 [0,1,2]或者是 [‘foo’, ‘bar’, ‘baz’]。使用這個參數可以加快加載速度並降低內存消耗。
• squeeze : boolean, default False
  • 如果文件值包含一列，則返回一個Series
• prefix : str, default None
  • 在沒有列標題時，給列添加前綴。例如：添加‘X’ 成為 X0, X1, ...
• mangle_dupe_cols : boolean, default True
  • 重復的列，將‘X’...’X’表示為‘X.0’...’X.N’。如果設定為false則會將所有重名列覆蓋。
• dtype : Type name or dict of column -> type, default None
  • 每列數據的數據類型。例如 {‘a’: np.float64, ‘b’: np.int32}
• engine : {‘c’, ‘python’}, optional
  • Parser engine to use. The C engine is faster while the python engine is currently more feature-complete.
  • 使用的分析引擎。可以選擇C或者是python。C引擎快但是Python引擎功能更加完備。
• converters : dict, default None
  • 列轉換函數的字典。key可以是列名或者列的序號。
• true_values : list, default None
  • Values to consider as True
• false_values : list, default None
  • Values to consider as False
• skipinitialspace : boolean, default False
  • 忽略分隔符后的空白（默認為False，即不忽略）.
• skiprows : list-like or integer, default None
  • 需要忽略的行數（從文件開始處算起），或需要跳過的行號列表（從0開始）。
• skipfooter : int, default 0
  • 從文件尾部開始忽略。 (c引擎不支持)
• nrows : int, default None
  • 需要讀取的行數（從文件頭開始算起）。
• na_values : scalar, str, list-like, or dict, default None
  • 一組用於替換NA/NaN的值。如果傳參，需要制定特定列的空值。默認為‘1.#IND’, ‘1.#QNAN’, ‘N/A’, ‘NA’, ‘NULL’, ‘NaN’, ‘nan’`.
• keep_default_na : bool, default True
  • 如果指定na_values參數，並且keep_default_na=False，那么默認的NaN將被覆蓋，否則添加。
• na_filter : boolean, default True
  • 是否檢查丟失值（空字符串或者是空值）。對於大文件來說數據集中沒有空值，設定na_filter=False可以提升讀取速度。
• verbose : boolean, default False
• 是否打印各種解析器的輸出信息，例如：“非數值列中缺失值的數量”等。
• skip_blank_lines : boolean, default True
• 如果為True，則跳過空行；否則記為NaN。
• parse_dates : boolean or list of ints or names or list of lists or dict, default False
  • boolean. True -> 解析索引
  • list of ints or names. e.g. If [1, 2, 3] -> 解析1,2,3列的值作為獨立的日期列；
  • list of lists. e.g. If [[1, 3]] -> 合並1,3列作為一個日期列使用
  • dict, e.g. {‘foo’ : [1, 3]} -> 將1,3列合並，並給合並后的列起名為"foo"
• infer_datetime_format : boolean, default False
  • 如果設定為True並且parse_dates 可用，那么pandas將嘗試轉換為日期類型，如果可以轉換，轉換方法並解析。在某些情況下會快5~10倍。
• keep_date_col : boolean, default False
  • 如果連接多列解析日期，則保持參與連接的列。默認為False。
• date_parser : function, default None
  • 用於解析日期的函數，默認使用dateutil.parser.parser來做轉換。Pandas嘗試使用三種不同的方式解析，如果遇到問題則使用下一種方式。
    • 使用一個或者多個arrays（由parse_dates指定）作為參數；
    • 連接指定多列字符串作為一個列作為參數；
    • .每行調用一次date_parser函數來解析一個或者多個字符串（由parse_dates指定）作為參數。
• dayfirst : boolean, default False
  • DD/MM格式的日期類型
• iterator : boolean, default False
  • 返回一個TextFileReader 對象，以便逐塊處理文件。
• chunksize : int, default None
  • 文件塊的大小， See IO Tools docs for more informationon iterator and chunksize.
• compression : {‘infer’, ‘gzip’, ‘bz2’, ‘zip’, ‘xz’, None}, default ‘infer’
  • 直接使用磁盤上的壓縮文件。如果使用infer參數，則使用 gzip, bz2, zip或者解壓文件名中以‘.gz’, ‘.bz2’, ‘.zip’, or ‘xz’這些為后綴的文件，否則不解壓。如果使用zip，那么ZIP包中國必須只包含一個文件。設置為None則不解壓。
  • 新版本0.18.1版本支持zip和xz解壓
• thousands : str, default None
  • 千分位分割符，如“，”或者“."
• decimal : str, default ‘.’
  • 字符中的小數點 (例如：歐洲數據使用’，‘).
• float_precision : string, default None
  • Specifies which converter the C engine should use for floating-point values. The options are None for the ordinary converter, high for the high-precision converter, and round_trip for the round-trip converter.
  • 指定
• lineterminator : str (length 1), default None
  • 行分割符，只在C解析器下使用。
• quotechar : str (length 1), optional
  • 引號，用作標識開始和解釋的字符，引號內的分割符將被忽略。
• quoting : int or csv.QUOTE_* instance, default 0
  • 控制csv中的引號常量。可選 QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) or QUOTE_NONE (3)
• doublequote : boolean, default True
  • 雙引號，當單引號已經被定義，並且quoting 參數不是QUOTE_NONE的時候，使用雙引號表示引號內的元素作為一個元素使用。
• escapechar : str (length 1), default None
  • 當quoting 為QUOTE_NONE時，指定一個字符使的不受分隔符限值。
• comment : str, default None
  • 標識着多余的行不被解析。如果該字符出現在行首，這一行將被全部忽略。這個參數只能是一個字符，空行（就像skip_blank_lines=True）注釋行被header和skiprows忽略一樣。例如如果指定comment='#' 解析‘#empty\na,b,c\n1,2,3’ 以header=0 那么返回結果將是以’a,b,c'作為header。
• encoding : str, default None
  • 指定字符集類型，通常指定為'utf-8'. List of Python standard encodings
• dialect : str or csv.Dialect instance, default None
  • 如果沒有指定特定的語言，如果sep大於一個字符則忽略。具體查看csv.Dialect 文檔
• tupleize_cols : boolean, default False
  • Leave a list of tuples on columns as is (default is to convert to a Multi Index on the columns)
• error_bad_lines : boolean, default True
  • 如果一行包含太多的列，那么默認不會返回DataFrame ，如果設置成false，那么會將改行剔除（只能在C解析器下使用）。
• warn_bad_lines : boolean, default True
  • 如果error_bad_lines =False，並且warn_bad_lines =True 那么所有的“bad lines”將會被輸出（只能在C解析器下使用）。
• low_memory : boolean, default True
  • 分塊加載到內存，再低內存消耗中解析。但是可能出現類型混淆。確保類型不被混淆需要設置為False。或者使用dtype 參數指定類型。注意使用chunksize 或者iterator 參數分塊讀入會將整個文件讀入到一個Dataframe，而忽略類型（只能在C解析器中有效）
• memory_map : boolean, default False
  • 如果使用的文件在內存內，那么直接map文件使用。使用這種方式可以避免文件再次進行IO操作。

二、數據的基本展示

train_df.head()

結果展示

上圖是讀取好的數據，是表格的形式。第一列為新聞的類別，第二列為新聞的字符

三、數據分析

雖然對於非結構數據並不需要做很多的數據分析，但通過數據分析還是可以找出一些規律的。

此步驟我們讀取了所有的訓練集數據，在此我們通過數據分析希望得出以下結論：

• 賽題數據中，新聞文本的長度是多少？
• 賽題數據的類別分布是怎么樣的，哪些類別比較多？
• 賽題數據中，字符分布是怎么樣的？

句子長度分析

train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))
print(train_df['text_len'].describe())

• 新增一列用於記錄每個樣本中句子的長度，2967是詞語的標號，使用“ ”進行分割可以得到一個句子中長度

結果展示：

分析可得以下的結論：

1. 樣本句子的平均長度是907
2. 最短的句子的長度是2
3. 最長的句子的長度是57921
4. 75%的句子的長度都在1100個單詞左右

繪制直方圖觀察數據的句子長度分布情況

import matplotlib.pyplot as plt
_ = plt.hist(train_df['text_len'], bins=200)
plt.xlim([0,8000])
plt.xlabel('Text char count')
plt.title("Histogram of char count")

結果展示:

大部分句子的長度都幾種在2000以內

新聞類別分布

train_df['label'].value_counts().plot(kind='bar')

直接使用pandas的plot可以直接繪制統計圖像

在數據集中標簽的對應的關系如下：{'科技': 0, '股票': 1, '體育': 2, '娛樂': 3, '時政': 4, '社會': 5, '教育': 6, '財經': 7, '家居': 8, '游戲': 9, '房產': 10, '時尚': 11, '彩票': 12, '星座': 13}

從統計結果可以看出，賽題的數據集類別分布存在較為不均勻的情況。在訓練集中科技類新聞最多，其次是股票類新聞，最少的新聞是星座新聞。

高頻詞匯的統計分析

from collections import Counter
# 將所有的text 整合在一起
all_lines = ' '.join(list(train_df['text']))
word_count = Counter(all_lines.split(" "))
word_count = sorted(word_count.items(), key=lambda d:d[1], reverse = True)
word_count

collections的Counter的方法可以對list中的詞語進行統計工作，結果展示如下：

print(len(word_count))
#6869
print(word_count[0])
('3750', 7482224)

結果分析：

1. 所有句子中不重復的單詞總數是6869
2. 詞語量最多的是3750所代表的單詞

詞匯出現最多的文章統計分析

# 先將text 變成set成為unique 字符，再將所有字符用‘ ’連起來放入dataframe 新的column 里
train_df['text_unique'] = train_df['text'].apply(lambda x: ' '.join(list(set(x.split(' ')))))
all_lines= ' '.join(list(train_df['text_unique']))
word_counts= Counter(all_lines.split(' '))
word_counts = sorted(word_counts.items(), key=lambda d:d[1], reverse = True)
print(word_count[0])
#('3750', 197997)
print(word_count[1])
#('900', 197653)
print(word_count[2])
#('648', 191975)

思路就是先將每篇文章中的單詞進行去重，然后統計詞語出現的文章的數量

這里還可以根據字在每個句子的出現情況，反推出標點符號。下面代碼統計了不同字符在句子中出現的次數，其中字符3750，字符900和字符648在20w新聞的覆蓋率接近99%，很有可能是標點符號。

數據分析的結論

通過上述分析我們可以得出以下結論：

1. 賽題中每個新聞包含的字符個數平均為1000個，還有一些新聞字符較長；
2. 賽題中新聞類別分布不均勻，科技類新聞樣本量接近4w，星座類新聞樣本量不到1k；
3. 賽題總共包括6000-7000個字符；

通過數據分析，我們還可以得出以下結論：

1. 每個新聞平均字符個數較多，可能需要截斷；

2. 由於類別不均衡，會嚴重影響模型的精度；

作業

1.假設字符3750，字符900和字符648是句子的標點符號，請分析賽題每篇新聞平均由多少個句子構成？

train_df['sent_len'] = train_df['text'].apply(lambda x: len(x.split(' 3750 ')))
train_df['sent_len'].describe()

以3750為例做代碼解讀：

• 新增一列用於存儲使用3750進行分割后的句子的數量
• 使用3750進行分割，使用len進行數據統計

結果展示：

 

 2.統計每類新聞中出現次數對多的字符

train_df['text'] = train_df['text'].apply(lambda x: x.replace(' 3750 ',' ').replace(' 900 ',' ').replace(' 648 ',' '))
train_df.groupby('label').text.apply(lambda x: Counter(' '.join(list(x)).split(' ')).most_common(1))

結果展示：