label 選擇: soft label or hard label?


 

soft label:軟標簽,例如:probs  0.3, 0,8, 0,2...

hard label:硬標簽,例如:實際label值  0, 1, 2...

 

label選擇

硬標簽:使用會比較多一點,用於非是即非的任務上,例如是貓就是貓,是狗就是狗;

軟標簽:

1. 用於模棱兩可的情況;

2. 用於蒸餾,例如,計算teacher模型的參數於student模型參數的loss,用硬標簽會過於絕對,不利於student模型更好地學習teacher參數的分布和teacher的決策行為,當然也可以軟硬標簽都用上,不過在大規模無監督的蒸餾背景下,用soft label更為何時。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM