Abstract 短文本匹配是指使用 NLP 模型预测两个文本的语义相关性，很多领域内都有它的身影，比如：信息检索（information retrieval）、问答系统（question answering system）、对话系统（dialogue system）。本文将回顾近年 ...

文本聚类是将一个个文档由原有的自然语言文字信息转化成数学信息，以高维空间点的形式展现出来，通过计算哪些点距离比较近，从而将那些点聚成一个簇，簇的中心叫做簇心。一个好的聚类要保证簇内点的距离尽量的近，但簇与簇之间的点要尽量的远。 如下图，以 K、M、N 三个点分别为聚类的簇心，将结果聚为三类 ...

文本分类，属于有监督学习中的一部分，在很多场景下都有应用，下面通过小数据的实例，一步步完成中文短文本的分类实现，整个过程尽量做到少理论重实战。 下面使用的数据是一份司法数据，需求是对每一条输入数据，判断事情的主体是谁，比如报警人被老公打，报警人被老婆打，报警人被儿子打，报警人被女儿打等来进行文本 ...

### train_model.py ### ### test_model.py ### ### api_tgind.py ### ...

短文本的相似度计算方法可以分为两大类：基于深度学习的方法和基于非深度学习的方法。科研方面基本都是从深度学习方面入手，但个人觉得想把单语言的短文本相似度计算给做出花来比较难，相对而言基于深度学习的跨语言相似度计算稍微好点。工程方面多半不用深度学习的方法，主要是获取带标记的语比较 ...

一、正则表达式匹配 ~ 为区分大小写匹配 ~* 为不区分大小写匹配 !~ 和 !~* 分别为区分大小写不匹配及不区分大小写不匹配 二、文件及目录匹配 -f 和 !-f 用来判断是否存在文件 ...

1 问题 　　术语：压缩率，compression ratio，压缩后的大小／压缩前的大小，越小说明压缩效果越好。 　　在使用netty的JdkZlibEncoder进行压缩时，发现了一个问题：它对于短文本（小于2K）的压缩效果很差，压缩率在80%-120%，文本越短，压缩效果越差 ...

1.绪论 过去几年，深度神经网络在模式识别中占绝对主流。它们在许多计算机视觉任务中完爆之前的顶尖算法。在语音识别上也有这个趋势了。而中文文本处理，以及中文自然语言处理上，似乎没有太厉害的成果？尤其是中文短文本处理的问题上，尚且没有太成功的应用于分布式条件下的深度处理模型？（大公司 ...