soft label:軟標簽,例如:probs 0.3, 0,8, 0,2...
hard label:硬標簽,例如:實際label值 0, 1, 2...
label選擇
硬標簽:使用會比較多一點,用於非是即非的任務上,例如是貓就是貓,是狗就是狗;
軟標簽:
1. 用於模棱兩可的情況;
2. 用於蒸餾,例如,計算teacher模型的參數於student模型參數的loss,用硬標簽會過於絕對,不利於student模型更好地學習teacher參數的分布和teacher的決策行為,當然也可以軟硬標簽都用上,不過在大規模無監督的蒸餾背景下,用soft label更為何時。