論文閱讀筆記（六十四）【arXiv2021】：TransReID: Transformer-based Object Re-Identification
，因此把transformer應用到ReID中需要考慮到空間的對齊。在此論文中，作者把ViT作為backbone提取特征，並對Re ...
原文：論文閱讀 | Compressing Large-Scale Transformer-Based Models: A Case Study on BERT
Transefomer based 的預處理模型往往很消耗資源，對運算性能要求極高，還有嚴格的延遲需求。 潛在補救方法：模型壓縮。 這篇文章主要講如何壓縮Transformers，重點關注BERT。使用不同的方法對attention層 全連接層等不同部分的壓縮會有不同的效果，來看看作者后面怎么說。 對BERT的分解與分析 BERT主要有兩個訓練目標: Masked Language Model ...
2020-03-12 18:27 0 621 推薦指數：
相關推薦
論文閱讀筆記（四十二）【AAAI2019】：STA：Spatial-Temporal Attention for Large-Scale Video-based Person Re-Identification
Introduction 本文主要提出了高效且容易實現的STA框架（Spatial-Temporal Attention）來解決大規模video Reid問題。框架中融合了一些創新元素：幀選取、判別 ...
【論文閱讀】DuIE: A Large-scale Chinese Dataset for Information Extraction[CCF2019]
論文地址:http://tcci.ccf.org.cn/conference/2019/papers/EV10.pdf 數據集地址：http://ai.baidu.com/broad/download Abstract 信息抽取是知識圖構建的重要基礎，也是許多自然語言理解應用的基礎。與許多 ...
論文解讀（LINE）《LINE: Large-scale Information Network Embedding》
論文信息 論文標題：LINE: Large-scale Information Network Embedding論文作者：Jian Tang, Meng Qu , Mingzhe Wang, Ming Zhang, Jun Yan, Qiaozhu Mei論文來源：2015, WWW論文 ...
Efficient Large-Scale Stereo Matching論文解析
Efficient Large-Scale Stereo Matching 解析 @(sinbad)[360sinbad@gmail.com] 這是一篇2010年ACCV的立體匹配方面的論文，該文提出的算法主要用於在雙目立體視覺中進行快速高清晰度圖像匹配。算法基本思想為：通過計算一些支持點組成 ...
論文閱讀《LEX-BERT: Enhancing BERT based NER with lexicons》
key value 論文名稱 LEX-BERT: Enhancing BERT based NER with lexicons 一作 Wei Zhu 單位 ...
閱讀筆記：Very Deep Convolutional Networks for Large-Scale Image Recognition
摘要： 在這篇論文我們主要研究卷積神級網絡的深度對大范圍圖像識別效果的影響，我們發現增加神經網絡層數增加到16-19層時我們的實驗結果有很大的提高。這使得我們在2014年的ImageNet Challenge中取得了定位第一和分類第二的成績。 動機： 卷積神經網絡可能因為有了大量的公開圖像庫 ...
[論文筆記]RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds
針對目前點雲分割存在速度慢、顯存需求大的問題，該文提出以一種高效率學習的方法。從論文的結果來看，該文不僅在計算時間和計算資源上大幅縮減，分割效果也是達到甚至超過了SOTA。 采樣 大規模點雲處理的一個挑戰在於如何快速且有效地進行采樣，從而加速應用所需的時間和計算資源 ...