word2vec原理(一) CBOW与Skip-Gram模型基础 　　　　word2vec原理(二) 基于Hierarchical Softmax的模型 　　　　word2vec原理(三) 基于Negative Sampling的模型 　　　　在上一篇中我们讲到 ...

5.3序列模型与注意力机制 觉得有用的话,欢迎一起讨论相互学习~ 吴恩达老师课程原地址 3.3 集束搜索Beam Search 对于机器翻译来说，给定输入的句子，会返回一个随机的英语翻译结果，但是你想要一个最好的英语翻译结果。对于语音识别也是一样，给定一个输入的语音片段 ...

Word2vec模型本质：是一个用来生成词向量的、简单的神经网络模型。 　　通过计算相似度来降低原来输入词的维度，举个例子： 　　　　　　　　　　　　图.甲 网络结构如下： 　　　　　　　　　　　　　　图.乙 　　如乙图所示，我们一开始输入的是one-hot编码后 ...

最好的trick就是保证数据精准前提下，如无必要，不要采样。既然数据是模型的上限，就不应该破坏这个上限。 聊聊什么是精准。 很多号称数据清洗的工作，都是工程体系太弱的后果，其实不是算法的问题。比如，没有曝光日志，用了服务端日志，伪曝光做了负样本；没有准确的曝光日志 ...

  越学越懵了，计算机中是怎么进行采样的，用了这么久的 rand() 函数，到现在才知道是怎么做的。 从均匀分布中采样   计算机中通过 线性同余发生器（linear congruential generator，LCG）很容易从一个 $ x \sim Uniform[0, 1)$ 的均匀分布 ...

是Hierarchical Softmax，另一种是Negative Sampling。 ...

[DeeplearningAI笔记]第三章2.7-2.8多任务学习/迁移学习 觉得有用的话,欢迎一起讨论相互学习~ 吴恩达老师课程原地址 2.7 迁移学习 Transfer Learninig 神经网络可以从一个任务中习得知识,并将这些知识应用到另一个独立的任务中 ...

W3C规范在介绍margin时有这样一句话： Negative values for margin properties are allowed, but there may be implementation-specific limits. 于是，聪明的开发者们就发现了很多负边距 ...