NLP學習筆記03---搭建一個智能客服系統概述

1.算法復雜度

 

時間復雜度和空間復雜度，這是任何AI工程師必須要深入理解的概念。對於每一個設計出來的算法都需要從這兩個方面來分析。

int a = 0, b = 0; 

for (i = 0; i < N; i++) { #  O(N)+O(N)=2*O(N)=O(N)
    a = a + rand();# N*1個操作 = O(N)
    b = b + rand();# N*1個操作 = O(N)
} 
for (j = 0; j < N/2; j++) { 
    b = b + rand(); # N/2 *1個操作 = 1/2*O(N)=O(N)
} 

O(N)代表復雜度。

2.搭建一個智能客服系統

 

根據語料庫(就是上圖中的12個問答對)，計算用戶輸入的問題與語料庫問題的相似度，將相似度最高的回答返回。

英文分詞預處理操作：spell correctness(拼寫糾錯)、找出原形、stopwords(停用詞過濾)、word filter(過濾詞)、同義詞

文本--->向量的方法：boolean vector(布爾向量)、conf vector(統計詞出現的頻率)、TF-IDF、word2vec(詞向量)、seq2seq

計算相似度(給定2個向量)：歐式距離、cos 距離、jacrad 距離