作者：顏沁睿
鏈接：https://www.zhihu.com/question/47817909/answer/107775045
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。
-------------------------------
既然提到了, 那就順便講講數據關聯吧.
回到最基本的數據關聯問題上. 在做物體跟蹤的時候, 我們是可以根據物體之前的運動, 估計它在新一幀中出現的位置的, 如下圖中藍色的正方形和三角形. 問題在於這個估計值是有一定不確定度的, 就是在圓圈范圍內都是有可能的, 並不一定在藍色圖形處. 於是假如此時我們有5個observation, 對於o1, o2, o5都沒什么問題, 直接關聯給track1, track2就好了, 但是對於o3, o4就有問題了, 沒辦法確定應該把它們關聯給哪個track, 因為給誰都有可能是對的.
為了方便, 直接盜圖, 於是換一個圖來解釋.......
此時就要使用上概率大法. 注意這時候還有一種可能性是o2,o3其實是假觀測, 就是它根本不屬於任何一個track, 這在現實情況中是有可能發生的, 假設這種情況發生的概率是\beta. 假設任意觀察到一個目標的概率是Pd, 把目標i關聯到track j上的概率是g_{ij}.
於是對剛剛的o3, o4有十種可能的關聯方式, 對每一種可以算出一個likelihood出來. 然后選擇likelihood最大的為最終關聯就好了. 這樣做充分地考慮了不確定性的問題, 比起之前RANSAC亂試智能多了.
當然這只是數據關聯的其中一種算法, JPDAF(Joint probability data association filter). 事實上它有一個很強的假設是, 之前的關聯都是正確的, 我們只考慮新的observation與舊的track如何關聯. 而事實上, 最大likelihood的那個假設有可能只在當前幀是對的. 於是最好的方式是對每一幀保留所有的可能假設, 到具體關聯的時候再做積分就好了. 只是這樣做會帶來隨着幀數增長成指數級別的假設數量, 所以在現實中總需要做些假設去簡化它. 這種方式叫做MHT(Multi-Hypothesis Tracking).
總而言之, 數據關聯問題至關重要, 看看大牛Frank Dellaert的PHD論文吧, 整個工作就是在做data association的.
--------------------------
回到動態場景的問題下來, 剛剛說的是理論的, 吹吹牛吧. 動態場景在語義地圖下當然就好辦很多啦哈哈. 我們如果能識別出點雲中的物體, 至少就可以知道它是否能動, 然后再去判斷它是否真的在動. 語義地圖的工作應該有很多團隊在進行了, 尤其在DL,CV橫行, vision slam當道的大環境下, 語義的引入應該很快會完成吧. 個人對這方面保持持續關注, 論文就是做的Object level slam方面的, 歡迎各位大俠拍磚交流!
--------------------------------
參考資料:
課件: http://www.cse.psu.edu/~rtc12/CSE598C/datassocPart2.pdf
鏈接：https://www.zhihu.com/question/47817909/answer/107775045
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。
嘿嘿謝邀~~這個問題還是挺感興趣的, 正好早起看到答一發.
----------
沒有專門研究dynamic scene這個問題, 但是也算看過. 比較明確的是核心問題還是在於data association, 即對於新的observation, 如何與過去已經觀察到的tracks進行關聯. 扣題, 想想為什么在動態場景下會出現問題?因為我們在mapping的時候建立的點雲, 都是一堆無意義的特征點而已, 我們並不知道哪些點是什么物體, 是否在運動...
於是回答第二第三個問題, 其實必須要進行跟蹤, 如果僅僅給出兩幀圖片, 即使是人自己也是很難區分是否動態物體的, 何況是電腦? 跟蹤的意義在於, 對於場景中的多個物體進行運動估計, 加上對自身運動已知, 就可以推測哪些物體在做絕對運動, 哪些在做相對運動, 哪些靜止不動.
數據關聯的問題在現在比較火爆的幾個Monocular SLAM的工作中都沒有明確指出, 但實際上卻是SLAM中的最關鍵問題, 在computer vision領域這個問題又叫做corresponding問題, 即特征匹配.
回想我們當前的特征匹配策略, 主要是測量兩個特征descriptor之間的相似程度. 具體做法是, 在兩個連續圖像幀中提取所有可以提取的特征點, 然后逐一比對. 如果足夠相似, 就認為兩個特征點是同一個. 事實證明這樣做是遠遠不夠的, 因為圖像特征的局部性, 在圖像中的重復性, 會造成大量的誤匹配. 當然我們有很多奇技淫巧, 比如1NN/2NN, RANSAC等方法, 但問題並不算被解決, 只能算是被改善了一些吧.
-------------------------------
既然提到了, 那就順便講講數據關聯吧.
回到最基本的數據關聯問題上. 在做物體跟蹤的時候, 我們是可以根據物體之前的運動, 估計它在新一幀中出現的位置的, 如下圖中藍色的正方形和三角形. 問題在於這個估計值是有一定不確定度的, 就是在圓圈范圍內都是有可能的, 並不一定在藍色圖形處. 於是假如此時我們有5個observation, 對於o1, o2, o5都沒什么問題, 直接關聯給track1, track2就好了, 但是對於o3, o4就有問題了, 沒辦法確定應該把它們關聯給哪個track, 因為給誰都有可能是對的.
為了方便, 直接盜圖, 於是換一個圖來解釋.......
此時就要使用上概率大法. 注意這時候還有一種可能性是o2,o3其實是假觀測, 就是它根本不屬於任何一個track, 這在現實情況中是有可能發生的, 假設這種情況發生的概率是\beta. 假設任意觀察到一個目標的概率是Pd, 把目標i關聯到track j上的概率是g_{ij}.
於是對剛剛的o3, o4有十種可能的關聯方式, 對每一種可以算出一個likelihood出來. 然后選擇likelihood最大的為最終關聯就好了. 這樣做充分地考慮了不確定性的問題, 比起之前RANSAC亂試智能多了.
當然這只是數據關聯的其中一種算法, JPDAF(Joint probability data association filter). 事實上它有一個很強的假設是, 之前的關聯都是正確的, 我們只考慮新的observation與舊的track如何關聯. 而事實上, 最大likelihood的那個假設有可能只在當前幀是對的. 於是最好的方式是對每一幀保留所有的可能假設, 到具體關聯的時候再做積分就好了. 只是這樣做會帶來隨着幀數增長成指數級別的假設數量, 所以在現實中總需要做些假設去簡化它. 這種方式叫做MHT(Multi-Hypothesis Tracking).
總而言之, 數據關聯問題至關重要, 看看大牛Frank Dellaert的PHD論文吧, 整個工作就是在做data association的.
--------------------------
回到動態場景的問題下來, 剛剛說的是理論的, 吹吹牛吧. 動態場景在語義地圖下當然就好辦很多啦哈哈. 我們如果能識別出點雲中的物體, 至少就可以知道它是否能動, 然后再去判斷它是否真的在動. 語義地圖的工作應該有很多團隊在進行了, 尤其在DL,CV橫行, vision slam當道的大環境下, 語義的引入應該很快會完成吧. 個人對這方面保持持續關注, 論文就是做的Object level slam方面的, 歡迎各位大俠拍磚交流!
--------------------------------
參考資料:
課件: http://www.cse.psu.edu/~rtc12/CSE598C/datassocPart2.pdf