在上一篇N-gram模型中提到稀疏問題，即某些在文本中通常很少出現的詞,在某一局部文本中突然大量地出現，本篇主要討論它的解決辦法--數據平滑（data smoothing）。 問題描述 　　N-gram存在問題，訓練語料畢竟是有限的，這樣導致很多事件，如trigram中，w1 w2 w3 ...

相關方法合集見：https://github.com/quincyliang/nlp-data-augmentation 較為簡單的數據增強的方法見論文：https://arxiv.org/pdf/1901.11196.pdf 論文中所使用的方法如下： 1. 同義詞替換（SR ...

以前在做CV時，數據增強的方法裁剪，模糊，翻轉等，學習NLP時對數據增強的方法很少介紹，現將其增強方法整理如下： ...

對於目前大規模的電子商務平台，如淘寶、ebey，其用戶、商品數量都非常大。淘寶數據顯示，2010年淘寶網注冊用戶達到3.7億，在線商品數達到8億，最多的時候每天6000萬人訪問淘寶網，平均每分鍾出售4.8萬件商品。假如我們要做User-Item的協同過濾算法，那么U-I矩陣大小是6000萬 ×8億 ...

數據平滑 數據的平滑處理通常包含有降噪、擬合等操作。降噪的功能意在去除額外的影響因素，擬合的目的意在數學模型化，可以通過更多的數學方法識別曲線特征。 案例：繪制兩只股票收益率曲線。收益率 =（后一天收盤價-前一天收盤價） / 前一天收盤價 　　使用卷積完成數據降噪 ...

https://github.com/google-research/uda ...

參考書籍：《統計自然語言處理》 宗成慶 一、問題的提出 平滑技術就是用來解決句子中出現零概率的問題，“平滑”處理的基本思想是“劫富濟貧”，即提高低概率(零概率)，降低高概率，盡量使概率的分布趨於實際水平。 二、幾種數據平滑技術 1.加法平滑技術 是實際應用 ...

分箱 (binning) 通過考察數據的“近鄰”周圍的值來光滑有序的數據值。 回歸 （regression) 用一個函數（回歸函數）擬合數據來平滑數據。 聚類 (clustering) 將類似的值聚集為簇 ...