TokenStream

TokenStream是Lunce核心類之一，它用於產生和轉換token流（token可以理解為一個單詞，如‘hello’，或一個詞組，如‘中國’）。它有兩個重要的派生類Tokenzier和TokenFilter，前者用於從輸入流中產生token流；后者用於對token流轉換，如大小寫轉換，丟棄 ...