Methodology
作者提出TIMAM (Text-Image Modality Adversarial Matching)方法,比較簡潔明了,具體包含三個部分:
(1)特征提取器:
文本采用BERT提取詞向量,再輸入LSTM提取文本特征;
圖像采用ResNet101提取特征。
(2)采用ID損失(CMPC換了名)和跨模態投影損失(CMPM),來拉近相同ID的特征的分布。
(3)采用對抗損失來學習自適應模態的特征表示。
Experiments
Methodology
作者提出TIMAM (Text-Image Modality Adversarial Matching)方法,比較簡潔明了,具體包含三個部分:
(1)特征提取器:
文本采用BERT提取詞向量,再輸入LSTM提取文本特征;
圖像采用ResNet101提取特征。
(2)采用ID損失(CMPC換了名)和跨模態投影損失(CMPM),來拉近相同ID的特征的分布。
(3)采用對抗損失來學習自適應模態的特征表示。
Experiments
本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。