baseline
-
- 一個算法被稱為 baseline 算法說明這個比目前這個算法還差的已經不能接受了,方法有革命性的創新點可以挖掘,且存在巨大提升空間和超越benchmark的潛力,只是由於發展初期導致性能有限。所以baseline有一個自帶的含義就是“性能起點”。在算法優化過程中,一般 version1.0 是作為baseline的,即這是你的算法能達到的一個基本性能,在算法繼續優化和調參數的過程中,你的目標是比這個性能更好,因此需要在這個baseline的基礎上往上繼續提升。當性能超過benchmark時,可以發表了,當性能甚至超過state-of-the-art(SOTA)時,可以考慮投頂會頂刊。
benchmark
-
- 一個算法之所以被稱為 benchmark,是因為它的性能已經被廣泛研究,人們對它性能的表現形式、測量方法都非常熟悉,因此可以作為標准方法來衡量其他方法的好壞。這里需要區別SOTA,能夠稱為SOTA 的算法表明其性能在當前屬於最佳性能。如果一個新算法以SOTA作為benchmark,這當然是最好的了,但如果比不過SOTA,能比 benchmark 要好,且方法有一定創新,也是可以發表的。