.net环境下 使用jieba进行分词操作

在VS里新建项目后通过nuget添加jieba的组件，如图:

添加完成后进行开发。

jieba提供对语句的分词方法，例如：

JiebaSegmenter segmenter=new JiebaSegmenter();

 PosSegmenter posSegmenter=new PosSegmenter(segmenter);

 string text="小明最近在学习机器学习、自然语言处理、云计算和大数据";

IEnumerable<string> wordList=posSegmenter.Cut(text);

 

默认的分词方法无法把“云计算”当成一个词语，这时候需要手动添加字典或把这个词放进分词JiebaSegmenter 对象里。

 JiebaSegmenter seg = new JiebaSegmenter();
            seg.AddWord("自然语言处理",1000,"n");
            seg.AddWord("机器学习", 1000, "n");
            seg.AddWord("云计算", 1000, "n");
            seg.AddWord("大数据", 1000, "n");

            PosSegmenter posSegmenter = new PosSegmenter(seg);
            string text = "小明最近在学习机器学习、自然语言处理、云计算和大数据";
            var wordList = posSegmenter.Cut(text);

 

这种方式就会把AddWord方法添加的词当成一个整体来拆分。

 

但是jieba对时间和地点的分词结果并不理想，所以这部分的文字需要另外的方式来处理。后续会继续更新这部分