关于Solr搜索标点与符号的中文分词你必须知道的（mmseg源码改造） 摘要：在中文搜索中的标点、符号往往也是有语义的，比如我们要搜索“C++”或是“C#”，我们不希望搜索出来的全是“C”吧？那样对程序员来说是个噩梦。然而在中文分词工具mmseg中，它的中文分词是将标点与符号均去除 ...

原文链接：https://www.cnblogs.com/harrymore/p/15749808.html 1. 问题 在跑./run.sh的时候，因为在一些数据集（如magicdata）的预处理中，会调用local/word_segment.py进行分词处理。查了一下，看到mmseg是n ...