转载自: https://www.cnblogs.com/yiyi-xuechen/p/3561769.html 　在上一篇N-gram模型中提到稀疏问题，即某些在文本中通常很少出现的词,在某一局部文本中突然大量地出现，本篇主要讨论它的解决办法--数据平滑（data smoothing ...

对于目前大规模的电子商务平台，如淘宝、ebey，其用户、商品数量都非常大。淘宝数据显示，2010年淘宝网注册用户达到3.7亿，在线商品数达到8亿，最多的时候每天6000万人访问淘宝网，平均每分钟出售4.8万件商品。假如我们要做User-Item的协同过滤算法，那么U-I矩阵大小是6000万 ×8亿 ...

使用机器学习方法解决实际问题时，我们通常要用L1或L2范数做正则化（regularization），从而限制权值大小，减少过拟合风险。特别是在使用梯度下降来做目标函数优化时，很常见的说法是, L1正则化产生稀疏的权值, L2正则化产生平滑的权值。为什么会这样？这里面的本质原因是什么呢？下面 ...

数据平滑 数据的平滑处理通常包含有降噪、拟合等操作。降噪的功能意在去除额外的影响因素，拟合的目的意在数学模型化，可以通过更多的数学方法识别曲线特征。 案例：绘制两只股票收益率曲线。收益率 =（后一天收盘价-前一天收盘价） / 前一天收盘价 　　使用卷积完成数据降噪 ...

参考书籍：《统计自然语言处理》 宗成庆 一、问题的提出 平滑技术就是用来解决句子中出现零概率的问题，“平滑”处理的基本思想是“劫富济贫”，即提高低概率(零概率)，降低高概率，尽量使概率的分布趋于实际水平。 二、几种数据平滑技术 1.加法平滑技术 是实际应用 ...

分箱 (binning) 通过考察数据的“近邻”周围的值来光滑有序的数据值。 回归 （regression) 用一个函数（回归函数）拟合数据来平滑数据。 聚类 (clustering) 将类似的值聚集为簇 ...

数据平滑 是用来处理噪声数据,使数据变化较为平顺.可以使用移动平均线, 也可以使用hanning函数 Key_Function np.hanning函数: 是一个加权余弦的窗函数, 相当于是余弦移动平均线 np.polysub函数: 输入两个多项式系数数组, 返回一个表示两个多项式差 ...

　　 ...