做过搜索的同学都知道，分词的好坏直接决定了搜索的质量，在英文中分词比中文要简单，因为英文是一个个单词通过空格来划分每个词的，而中文都一个个句子，单独一个汉字没有任何意义，必须联系前后文字才能正确表达它的意思。 因此，中文分词技术一直是nlp领域中的一大挑战。Python 中有个比较著名的分词库是结巴分词，从易用性来说对用户是非常友好的，但是准确度不怎么好。这几天发现另外一个库，pkuseg pyt ...
2019-01-15 10:26 0 1123 推荐指数：
开源：云寻觅中文分词 (Yunxunmi Chinese Word Segmentation) ，词汇440万，10万字文章分词并计算频率不超过1秒 云寻觅中文分词 (Yunxunmi Chinese Word Segmentation) 指的是将一个汉字序列切成一个一个单独的词。云寻觅中文分词 ...
1. 主要技术 pkuseg-python 主要基于经典的 CRF 模型，辅以 ADF训练方法(Sun, et al., 2012)和精调的特征，实现更快的训练速度、更高的测试效果和更好的泛化能力： [1] - 在CRF模型中，特征选取对分词结果和分词性能有着不小的影响，获得一套 ...
pkuseg简单易用，支持细分领域分词，有效提升了分词准确度。 目录 主要亮点 编译和安装 各类分词工具包的性能对比 使用方式 相关论文 作者 常见问题及解答 主要亮点 pkuseg具有如下几个特点： 多领域分词。不同于以往的通用中文分词工具 ...
2016-01-11 微信公开课 大家早上好，我是微信的张小龙。 从昨晚的传播事件说起，为什么微信在很多的规则、平台接口或者系统方面很严格？ 可能会有一些朋友觉得比较突然，我也是比较突然进来参加这样一个会议，很高兴在这里跟大家碰面。平时 ...
在2017微信公开课PRO版上张小龙小程序演讲视频，他解答了大家最关心的8个关于小程序的疑问1.小程序不用下载，没有入口，只有二维码；2.小程序没有订阅，只有访问；3.小程序没有商店，只有有限搜索；4.小程序不会主动推荐，只有社交推荐；5.没有PUSH，只有有限通知；6.没有朋友圈分享，只能 ...
这周听了张小龙在2021微信公开课pro上的演讲，感觉还是挺不错的。 1、视频号和直播是未来的方向 互联网历史上，个人在公开领域的表达方式一直在演变。最早的时候，需要你会写HTML来做网页。后来有了博客，博客之后是微博这样的短文字。现在是图片和短视频。演变的方向是往更能被普通人 ...
2.1 jieba 2.1.1 jieba简介 Jieba中文含义结巴，jieba库是目前做的最好的python分词组件。首先它的安装十分便捷，只需要使用pip安装；其次，它不需要另外下载其它的数据包，在这一点上它比其余五款分词工具都要便捷。另外，jieba库支持的文本编码方式为utf-8 ...
今天，微信当家人张小龙通过微信官方账户发布了一则视频，视频中张小龙阐述了微信对于开放平台的一些理念和方向。张小龙用八点概括。以下是张小龙发言： 各位参加微信公开课的朋友们，大家好。 首先很遗憾这一次不能来现场跟大家交流，因为一些近期的事情。 但是我也非常荣幸能有这个机会 ...
