NLP入門學習中關於分詞庫HanLP導入使用教程
大家好，時隔多年再次打開我的博客園寫下自己的經驗和學習總結，開園三年多，文章數少得可憐，一方面自己技術水平局限，另一方面是自己確實想放棄寫博客。由於畢業工作的原因，經常性的加班以及僅剩下少的可憐的休息時間實在是想好好休息。但現在又回到了校園，在2019年4月份我選擇了辭職考研，如願考取 ...
原文：分詞（Tokenization） - NLP學習（1）
自從開始使用Python做深度學習的相關項目時，大部分時候或者說基本都是在研究圖像處理與分析方面，但是找工作反而碰到了很多關於自然語言處理 natural language processing： NLP 的問題，所以決定花點時間學習並且寫下來，希望那些跟我一樣同時在學習NLP的朋友能有一些幫助，學習過程中以英文為文本標准，后期會嘗試用中文，並且將相關的信息補進來博客文章中。剛開始學習哪里講得不好 ...
2018-12-26 13:19 0 4206 推薦指數：
相關推薦
NLP之CRF分詞訓練（六）
分三步1、先分詞2、做BEMS標注，同時做詞性標注3、訓練模型 1、對語料進行分詞 拿到測試部的語料或者其他渠道的語料，先對語料進行分詞，我剛剛開始是用NS分詞的，等CRF模型訓練好后，可以直接用CRF進行分詞，分完詞后要人工核對分詞結果，將分詞分得不正確的地方修改 ...
NLP系列-中文分詞（基於統計）
（n-gram） 2.對句子進行單詞划分，然后對划分結果做概率計算，獲取概率最大的分詞方式。這里就用到了統計學習 ...
NLP系列-中文分詞（基於詞典）
中文分詞概述 詞是最小的能夠獨立活動的有意義的語言成分，一般分詞是自然語言處理的第一項核心技術。英文中每個句子都將詞用空格或標點符號分隔開來，而在中文中很難對詞的邊界進行界定，難以將詞划分出來。在漢語中，雖然是以字為最小單位，但是一篇文章的語義表達卻仍然是以詞來划分的。因此處 ...
[NLP]分詞模型、創建詞庫
金融領域的專有名詞較多，使用通用的分詞工具的話效果很不好，我使用了4個分詞工具：lac,pkuseg,thulac,jieba，針對分詞效果來說，thulac能考慮到金融名詞，但是在數字的切詞上很奇怪，其余三個則是完全不考慮金融名詞，具體過程如下： 原句：三季報顯示，公司資本公積比年初增加了 ...
NLP—三種中文分詞工具
本文將對三種中文分詞工具進行使用嘗試，這三種工具分別為哈工大的LTP，結巴分詞以及北大的pkuseg。 首先我們先准備好環境，即需要安裝三個模塊：pyltp, jieba, pkuseg以及LTP的分詞模型文件cws.model。在用戶字典中添加以下5個詞語： 經 少安 ...
基於規則的中文分詞 - NLP中文篇
之前在其他博客文章有提到如何對英文進行分詞，也說后續會增加解釋我們中文是如何分詞的，我們都知道英文或者其他國家或者地區一些語言文字是詞與詞之間有空格（分隔符），這樣子分詞處理起來其實是要相對容易很多，但是像中文處理起來就沒有那么容易，因為中文字與字之間，詞與詞之間都是緊密連接在一起的，所以第一件 ...
NLP學習（3）---Bert模型
1、WordEmbedding到BERT的發展過程： 預訓練：先通過大量預料學習單詞的embedding，在下游 ...