自然語言處理入門 何晗 讀書筆記 第2章 詞典分詞
中文分詞指的是將一段文本拆分為一系列單詞的過程，這些單詞順序拼接后等於原文本。中文分詞算法大致分為基於詞典規則與基於機器學習這兩大派別。本章先從簡單的規則入手，為讀者介紹一些高效的詞典匹配算法。 詞典分詞 是最簡單、最常見的分詞算法，僅需一部詞典和一套查詞典的規則即可，適合初學者入門。給定一部 ...
原文：HanLP《自然語言處理入門》筆記--2.詞典分詞
筆記轉載於GitHub項目：https: github.com NLP LOVE Introduction NLP . 詞典分詞 中文分詞：指的是將一段文本拆分為一系列單詞的過程，這些單詞順序拼接后等於原文本。 中文分詞算法大致分為基於詞典規則與基於機器學習這兩大派。 . 什么是詞 在基於詞典的中文分詞中，詞的定義要現實得多：詞典中的字符串就是詞。 詞的性質 齊夫定律：一個單詞的詞頻與它的詞頻排名 ...
2020-02-05 13:57 0 1256 推薦指數：
相關推薦
HanLP《自然語言處理入門》筆記--3.二元語法與中文分詞
筆記轉載於GitHub項目：https://github.com/NLP-LOVE/Introduction-NLP 3. 二元語法與中文分詞 上一章中我們實現了塊兒不准的詞典分詞，詞典分詞無法消歧。給定兩種分詞結果“商品 和服 務”以及“商品 和 服務”，詞典分詞不知道哪種更加合理 ...
HanLP《自然語言處理入門》筆記--5.感知機模型與序列標注
筆記轉載於GitHub項目：https://github.com/NLP-LOVE/Introduction-NLP 5. 感知機分類與序列標注 第4章我們利用隱馬爾可夫模型實現了第一個基於序列標注的中文分詞器，然而效果並不理想。事實上，隱馬爾可夫模型假設人們說的話僅僅取決於一個隱藏的{B.M ...
HanLP《自然語言處理入門》筆記--1.新手上路
1. 新手上路 自然語言處理(Natural Language Processing，NLP)是一門融合了計算機科學、人工智能及語言學的交叉學科，它們的關系如下圖所示。這門學科研究的是如何通過機器學習等技術，讓計算機學會處理人類語言，乃至實現終極目標--理解人類語言或人工智能。 美國 ...
HanLP《自然語言處理入門》筆記--6.條件隨機場與序列標注
筆記轉載於GitHub項目：https://github.com/NLP-LOVE/Introduction-NLP 6. 條件隨機場與序列標注 本章介紹一種新的序列標注模型條件隨機場。這種模型與感知機同屬結構化學習大家族，但性能比感知機還要強大。為了厘清該模型的來龍去脈，我們先對機器學習模型 ...
自然語言處理入門小白從0開始學自然語言處理+學習筆記（一）
1、自然語言處理學習路徑規划 自然語言處理（NLP）開發環境搭建 分詞demo（搭建helloworld工程） 案例：nlp實現預測天氣冷暖感知度 ---案例需求和數據准備 ---可視化數據分析 ---KNN模型原理及歐式距離計算 ---KNN分類器模型實現 ...
自然語言處理入門
自然語言處理NLP( natural language process)是這幾年越來越火了,kaggle上的比賽有關NLP的也日漸多起來了. NLP的應用場景很多,情感分析,郵件過濾,ai客服,機器翻譯等等等等,就像這幾年越來越火有成為BAT之后第四極的今日頭條,為什么能夠為每個人推送 ...
9. HanLP《自然語言處理入門》筆記--9.關鍵詞、關鍵句和短語提取
筆記轉載於GitHub項目：https://github.com/NLP-LOVE/Introduction-NLP 9. 信息抽取 信息抽取是一個寬泛的概念，指的是從非結構化文本中提取結構化信息的一類技術。這類技術依然分為基於規則的正則匹配、有監督學習和無監督學習等各種實現方法。我們將使 ...