[精通Python自然语言处理] Ch1 - 将句子切分为单词

实验对比了一下三种切分方式： 1,2 : nltk.word_tokenize : 分离缩略词，(“Don't” =>'Do', "n't"） 表句子切分的“,” "." 单独成词。 3 : TreebankWordTokenizer: 分离缩略词， 表句子切分的 “,"单独成词 ...