[精通Python自然語言處理] Ch1 - 將句子切分為單詞

實驗對比了一下三種切分方式： 1,2 : nltk.word_tokenize : 分離縮略詞，(“Don't” =>'Do', "n't"） 表句子切分的“,” "." 單獨成詞。 3 : TreebankWordTokenizer: 分離縮略詞， 表句子切分的 “,"單獨成詞 ...