代码来源：https://github.com/graykode/nlp-tutorial/blob/master/5-1.Transformer/Transformer-Torch.py 一些基础变量和参数： 函数一：将句子转换成向量 ...

Word2vec 1.词嵌入基础 2.PTB数据集 3.Skip-Gram 4.负采样近似 5.训练模型 1.词嵌入基础 使用 one-hot 向量表示单词，虽然它们构造起来很容易， ...

一、什么是softmax？ 有一个数组S，其元素为Si ，那么vi 的softmax值，就是该元素的指数与所有元素指数和的比值。具体公式表示为： softmax回归本质上也是一种对数据的估计 ...

方法 从零开始实现 定义模型参数 网络 评估函数 优化方法 定义损失函数 数据提取与训练评估 pytorch简洁实现 小结 针对深度学习中的过拟合问题，通常使用丢弃法 ...

定义和初始化模型 softamx和交叉熵损失函数 定义优化算法 训练模型 定义和初始化模型 softmax的输出层是一个全连接层，所以我们使用一个线性模块就可 ...

多层感知机 定义模型的参数 定义激活函数 定义模型 定义损失函数 训练模型 小结 多层感知机 我们仍然使用Fas ...

一、从零开始实现 1.1 首先引入Fashion-MNIST数据集 1.2 初始化模型参数 原始图像中每个样本都是28*28的，所以要展平每个图像成长度为784的向量。 权重784*10，偏置1*10 1.3 定义softmax操作 如果为0则留下 ...

一、 导入 二、初始化参数 三、Softmax的实现 四、优化算法 五、训练 ...