[NLP/Attention]关于attention机制在nlp中的应用总结
原文链接： https://blog.csdn.net/qq_41058526/article/details/80578932 attention 总结 参考：注意力机制（Attention Mechanism）在自然语言处理中的应用 Attention函数 ...
原文：2. AutoEncoder在NLP中的应用
. AutoEncoder介绍 . Applications of AutoEncoder in NLP . Recursive Autoencoder 递归自动编码器 . Stacked AutoEncoder 堆栈自动编码器 . 前言 深度学习是机器学习的一个分支，它设计大量的学习函数和概念模型。大多数机器学习需要大量的人工筛选的特征作为输入，通常特征筛选需要对数据的意义有深入的了解。并且一 ...
2018-10-21 16:09 0 5632 推荐指数：
相关推荐
Pytorch中的自编码(autoencoder)
Pytorch中的自编码(autoencoder) 本文资料来源：https://www.bilibili.com/video/av15997678/?p=25 什么是自编码 先压缩原数据、提取出最有代表性的信息。然后处理后再进行解压。减少处理压力 通过对比白色X和黑色X的区别(cost ...
NLP技术的应用及思考
背景介绍 阿里巴巴的生态系统下面有很多的计算平台，上面有各种各样的业务层，最中间是买家和卖家之间包括销售、支付等等之间的关系，外面建了一圈从娱乐到广告到金融到购物到物流等等各方面这样一个生态，中 ...
NLP（十六）：Faiss应用
Faiss库是由 Facebook 开发的适用于稠密向量匹配的开源库，支持 c++ 与 python 调用。 通过实验证实，128维的125W向量，在 CPU 下检索耗时约70ms，经过 GPU 加 ...
NLP中的mask的作用
最近真的被mask搞得晕晕的，还是需要好好的看下哦 1、padding mask：处理非定长序列，区分padding和非padding部分，如在RNN等模型和Attention机制中的应用等 2、sequence mask：防止标签泄露，如：Transformer decoder中的mask矩阵 ...
NLP中的数据增强
相关方法合集见：https://github.com/quincyliang/nlp-data-augmentation 较为简单的数据增强的方法见论文：https://arxiv.org/pdf/1901.11196.pdf 论文中所使用的方法如下： 1. 同义词替换（SR ...
NLP中的对抗样本
研究可以基本概括为以下三种：1. 用未察觉的扰动迷惑模型，并评价模型在这种情况下的表现；2. 有意的改变 ...
NLP中的GAN
为什么GAN不能直接用于NLP中？ 生成图像是用随机的向量做实值的映射变换，是连续的过程。因此可以将判别器的误差反向传播到生成器。 在自然语言处理中，encoder解码生成文本的过程中，模型生成词的过程其实是在词表中选词的过程，它是根据当前网络输出的词语的整个概率分布，选取概率最大的词 ...