TokenStream

TokenStream是Lunce核心类之一，它用于产生和转换token流（token可以理解为一个单词，如‘hello’，或一个词组，如‘中国’）。它有两个重要的派生类Tokenzier和TokenFilter，前者用于从输入流中产生token流；后者用于对token流转换，如大小写转换，丢弃 ...