NLP VS NLU


NLP(Natural Language Processing )自然語言處理:是計算機科學,人工智能和語言學的交叉領域。目標是讓計算機處理或“理解”自然語言,以執行語言翻譯和問題回答等任務。
NLU  (Natural Language Understanding ) 自然語言理解:將人的語言形式轉化為機器可理解的、結構化的、完整的語義表示,通俗來講就是讓計算機能夠理解和生成人類語言

NLG (Natural Language Generation) 自然語言生成:旨在讓機器根據確定的結構化數據、文本、音視頻等生成人類可以理解的自然語言形式的文本

NLP


 

如上圖:NLP 由兩個主要的技術領域構成:自然語言理解(NLU)和自然語言生成(NLG)。主要包含的技術的技術領域如下圖:

NLU 旨在讓機器理解自然語言形式的文本內容。從 NLU 處理的文本單元來講,可以分為詞(term)、句子(sentence)、文檔(document)三種不同的類型

NLG旨在讓機器根據確定的結構化數據、文本、音視頻等生成人類可以理解的自然語言形式的文本。根據數據源的類型,NLG可以分為三類:

  1. Text to text NLG,主要是對輸入的自然語言文本進行進一步的處理和加工;
  2. Data to text NLG,主要是根據輸入的結構化數據生成易讀易理解的自然語言文本;
  3. Vision to text NLG,主要是給定一張圖片或一段視頻,生成可以准確描述圖片或視頻(其實是連續的圖片序列)語義信息的自然語言文本,同時 text to vision 的自動生成近幾年也有一些有趣的進展。

語議理解 


自然語言理解的結果,就是要獲得一個語義表示(semantic representation),語義表示主要有三種方式:

  1. 分布語義(Distributional semantics):就是把語義表示成一個向量,它的理論基礎來自於Harris的分布假設:語義相似的詞出現在相似的語境中。具體的計算方法有多種,比如LSA(Latent Semantic Analysis)、LDA(Latent Dirichlet Allocation)及各種神經網絡模型(如LSTM)等
  2. 框架語義(Frame semantics):把語義用一個frame表示出來 
  3.  模型論語義(Model-theoretic semantics):把自然語言映射成邏輯表達式(logic form)

 目前采用的語義表示是frame semantics表示的一種變形:采用領域(domain)、意圖(intent)和屬性槽(slots)來表示語義結果。 如下圖:

  • 領域:是指同一類型的數據或者資源,以及圍繞這些數據或資源提供的服務,比如“餐廳”,“酒店”,“飛機票”、“火車票”、“電話黃頁”等;
  • 意圖:是指對於領域數據的操作,一般以動賓短語來命名,比如飛機票領域中,有“購票”、“退票”等意圖;
  • 屬性槽:用來存放領域的屬性,比如飛機票領域有“時間”“出發地”“目的地”等

chatbot 架構示例 



免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM