論文閱讀筆記（二十七）【AAAI2019】：A Bottom-Up Clustering Approach to Unsupervised Person Re-Identification
Introduction 本文有如下3個貢獻： ① 提出了一個自下而上（bottom-up）的聚類框架（BUC）來解決無監督的ReID問題； ② 采用repelled損失來優化模型，repell ...
原文：論文閱讀（11）RoBERTa: A Robustly Optimized BERT Pretraining Approach（2019）
學習筆記 學習筆記 RoBERTa: A Robustly Optimized BERT Pretraining Approach 一種魯棒優化的 BERT預訓練方法 細讀，半天 Motivation 目前自訓練方法例如Elmo，GPT，Bert，XLNet在NLP領域取得了很不錯的成績，但是要確定哪些方法對效果的提升貢獻最為明顯，這是比較困難的。 這主要是因為以下幾個原因: 第一是因為訓練成本比 ...
2020-10-18 22:53 0 432 推薦指數：
相關推薦
從BERT, XLNet, RoBERTa到ALBERT
、RoBERTa再次刷新了排行榜！ALBERT是一種輕量版本的BERT，利用更好的參數來訓練模型，但是效果卻反而得到 ...
論文閱讀 | A Robust Adversarial Training Approach to Machine Reading Comprehension
背景 方法 作者們提出了一種模型驅動的方法，使用自動對抗的方法自動生成未觀察過的對抗樣本，並運用生成的樣本最終提升閱讀理解模型的效果魯棒性，全程無需人工參與。 該方法可以簡單地划分為三個步驟： （1）對每個訓練樣本利用對抗的方法生成一個干擾向量輸入，使得它能夠誤導當前 ...
論文閱讀 | A Curriculum Domain Adaptation Approach to the Semantic Segmentation of Urban Scenes
paper鏈接：https://arxiv.org/pdf/1812.09953.pdf code鏈接：https://github.com/YangZhang4065/AdaptationSeg ...
論文閱讀《LEX-BERT: Enhancing BERT based NER with lexicons》
key value 論文名稱 LEX-BERT: Enhancing BERT based NER with lexicons 一作 Wei Zhu 單位 ...
論文閱讀《Pre-training with Whole Word Masking for Chinese BERT》
key value 名稱 Pre-training with Whole Word Masking for Chinese BERT 一作 崔一鳴 單位 ...
論文閱讀 | DynaBERT: Dynamic BERT with Adaptive Width and Depth
DynaBERT: Dynamic BERT with Adaptive Width and Depth 論文中作者提出了新的訓練算法，同時對不同尺寸的子網絡進行訓練，通過該方法訓練后可以在推理階段直接對模型裁剪。依靠新的訓練算法，本文在效果上超越了眾多壓縮模型，比如DistillBERT ...
論文閱讀 | What Does BERT Learn about the Structure of Language?
論文地址： https://hal.inria.fr/hal-02131630/document 作者 ： Ganesh Jawahar, Benoît Sagot, Djamé Seddah 機構 ： Inria 研究的問題： 探究BERT的深層次表征學習的論文，也就是通過實驗研究 ...