語言處理技術，就是對電腦中的文本，進行語義分析。例如從一個很長的地址中，智能地取出省市區縣、聯系方式等。 上述程序運行結果是： 以上是VBA的XMLHttp實現的。下面用API函數庫中Baidu類實現： 效果一樣 ...

前期准備 使用文本向量化的前提是要對文章進行分詞，分詞可以參考前一篇文章。然后將分好的詞進行向量化處理，以便計算機能夠識別文本。常見的文本向量化技術有詞頻統計技術、TF-IDF技術等。 詞頻統計技術 詞頻統計技術是很直觀的，文本被分詞之后。 用每一個詞作為維度key，有單詞對應的位置 ...

背景 最近接觸到了一些NLP方面的東西，感覺還蠻有意思的，本文寫一下分詞技術。分詞是自然語言處理的基礎，如果不采用恰當的分詞技術，直接將一個一個漢字輸入，不僅時間復雜度會非常高，而且准確度不行。比如：“東北大學”若直接拆分，會和“北大”相關聯，但其實沒有意義。 有沒有英文分詞？ 西方文字天然 ...

探討自然語言處理技術學習與思考 ( 白寧超 2018年8月23日10:46:39 ) 本節導讀 概述 隨着人工智能的快速發展，自然語言處理和機器學習應用愈加廣泛。但是對於初學者入門還是有一定難度，對於該領域整體概況不能明晰。本章主要從發展歷程、研究 ...

中文分詞技術 中文自動分詞可主要歸納為“規則分詞”“統計分詞”和“混合分詞”，規則分詞主要是通過人工設立詞庫，按照一定方式進行匹配切分，實現簡單高效，但對新詞很難進行處理，統計分詞能夠較好應對新詞發現能特殊場景，但太過於依賴語料的質量，因此實踐中多是采用兩者的結合，即混合分詞。 1.1 規則 ...

學習機器學習、深度學習、數據分析，目的還是應用，自然語言理解和處理是一個很重要的研究方向。 應該說神經網絡用於自然語言處理這類的書籍並不多，或許是因為自己基礎的問題? 在學習過程中，看了《基於深度學習的自然語言處理》電子書和《Python自然語言處理實戰核心技術與算法》電子 ...

比長文本簡單，對於計算機而言，更容易理解和分析，所以，分詞往往是自然語言處理的第一步。 ...

第一步：獲取語料 1、已有語料 2、網上下載、抓取語料 第二步：語料預處理 1、語料清洗 2、分詞 3、詞性標注 4、去停用詞 三、特征工程 1、詞袋模型（BoW） 2、詞向量 第四步：特征選擇 ...