對機器人語音輸入指令的時候, 說,我想聽'祖國祖國我們愛你', 必須說全才能播放, 如果說'祖國我愛你'就想播放音樂是不可能的,但是這兩句話的意圖是一樣的,這里就要用到對文字意圖的處理.
import jieba import gensim from gensim import corpora from gensim import models from gensim import similarities l1 = ["祖國祖國我們愛你", "你今年幾歲了", "你有多高你胸多大", "你胸多大"] # 語料庫 a = "祖國我愛你" all_doc_list = [] for doc in l1: doc_list = list(jieba.cut_for_search(doc)) all_doc_list.append(doc_list) print(all_doc_list) doc_test_list = list(jieba.cut_for_search(a)) # 制作語料庫 # [['你', '的', '名字', '是', '什么'], ['你', '今年', '幾歲', '了'], # ['你', '有', '多', '高', '你', '胸多大'], ['你', '胸多大']] # {"你":1,"的":2,"名字":3} dictionary = corpora.Dictionary(all_doc_list) # 制作詞袋 # {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, # '今年': 6, '幾歲': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11} # 詞袋的理解 # 詞袋就是將很多很多的詞,進行排列形成一個 詞(key) 與一個 標志位(value) 的字典 # 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '幾歲': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11} # 至於它是做什么用的,帶着問題往下看 print("token2id", dictionary.token2id) print("dictionary", dictionary, type(dictionary)) corpus = [dictionary.doc2bow(doc) for doc in all_doc_list] # [14230 1675] # "你,今年,多,大,了" 1,6,8,5 # [['你', '的', '名字', '是', '什么'], ['你', '今年', '幾歲', '了'], # ['你', '有', '多', '高', '你', '胸多大'], ['你', '胸多大']] # 語料庫: # 這里是將all_doc_list 中的每一個列表中的詞語 與 dictionary 中的Key進行匹配 # 得到一個匹配后的結果,例如['你', '今年', '幾歲', '了'] # 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)] # 1代表的的是 你 1代表出現一次, 5代表的是 了 1代表出現了一次, 以此類推 6 = 今年 , 7 = 幾歲 print("corpus", corpus, type(corpus)) # 將需要尋找相似度的分詞列表 做成 語料庫 doc_test_vec doc_test_vec = dictionary.doc2bow(doc_test_list) # doc_test_vec "你,今年,多,大,了" 1,6,8,5 print("doc_test_vec", doc_test_vec, type(doc_test_vec)) # corpus [14230,1675] 語料庫 l1 # doc_test_vec 1685 用戶問題 a # 將corpus語料庫(初識語料庫) 使用Lsi模型進行訓練 lsi = models.LsiModel(corpus) # 向量 # corpus = [[(0, 1), (1, 1), (2, 1), (3, 1), (4, 1)], [(1, 1), (5, 1), (6, 1), (7, 1)], [(1, 2), (8, 1), (9, 1), (10, 1), (11, 1)], [(1, 1), (10, 1)]] # 這里的只是需要學習Lsi模型來了解的,這里不做闡述 print("lsi", lsi, type(lsi)) # 語料庫corpus的訓練結果 print("lsi[corpus]", lsi[corpus]) # 獲得語料庫doc_test_vec 在 語料庫corpus的訓練結果 中的 向量表示 print("lsi[doc_test_vec]", lsi[doc_test_vec]) # 向量 : # 位置表示 [(0, 1), (1, 1), (2, 1), (3, 1), (4, 1)] = 834473503 # [(1, 1), (5, 1), (6, 1)] = 987527163817476541 # 矩陣 # [(5,5),(6,6),(7,3),(5,6),(7,8),(4,4)] # (7,7) # 1,邊長+-1 ==7 100 -+1 = -30 [40,40],[70,70],[100,-20],[40,70],[100,70],[10,10] # 2,正方形 +-1 ==正 100 -+1 = -30 100,100,-20,70,70,100 # 3,邊長小於 +-1 == 100 -+1 = -30 [70,70],[100,100],[0,40],[],[0,0] # 4,加權求和 = 180,240,60,180,240,120 # 文本相似度 # 稀疏矩陣相似度 將 主 語料庫corpus的訓練結果 作為初始值 # 0 1 0 1 1 # 0 0 1 1 1 # 0 1 0 1 1 # 0 0 1 1 1 # 0 1 0 1 1 index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys())) print("index", index, type(index)) # 將 語料庫doc_test_vec 在 語料庫corpus的訓練結果 中的 向量表示 與 語料庫corpus的 向量表示 做矩陣相似度計算 sim = index[lsi[doc_test_vec]] print("sim", sim, type(sim)) # 對下標和相似度結果進行一個排序,拿出相似度最高的結果 # cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True) cc = sorted(enumerate(sim), key=lambda item: -item[1]) print(cc) text = l1[cc[0][0]] print(a,text)
使用gensim模塊,運用稀疏矩陣相似度算法,判斷輸入的指令和音樂名稱的相似度
from settings import MONGODB import jieba import gensim from gensim import corpora from gensim import models from gensim import similarities l1 = content_list = list(MONGODB.content.find({})) all_doc_list = [] for doc in l1: doc_list = list(jieba.cut_for_search(doc.get("title"))) all_doc_list.append(doc_list) dictionary = corpora.Dictionary(all_doc_list) # 制作詞袋 corpus = [dictionary.doc2bow(doc) for doc in all_doc_list] lsi = models.LsiModel(corpus) # 向量 index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys())) def my_sim(a): doc_test_list = list(jieba.cut_for_search(a)) doc_test_vec = dictionary.doc2bow(doc_test_list) # doc_test_vec "你,今年,多,大,了" 1,6,8,5 sim = index[lsi[doc_test_vec]] cc = sorted(enumerate(sim), key=lambda item: -item[1]) print(cc[0][1]) if cc[0][1] >= 0.75: text = l1[cc[0][0]] return text