批量數據判斷是否存在/不存在


1.通常遇到這種問題,最初步的想法就是循環,讀取數據庫判斷

2.更進一步,由於循環訪問數據庫導致性能十分低下,是否可以先取出全集,到內存中進行比較,這里需要提醒的是使用HashSet或Dictionary判斷是否存在比List性能要高

3.但當全集數據量極大的時候,這種做法可能會導致內存不足,接下來考慮是否能縮小提取的范圍

4.提取原始數據時,直接只提取ID在需要比較的列表中,即 select id from table where id in (需要判斷的id結果集),單數據提取到HashSet,kv的提取到Dictionary

5.提取出in條件的結果集后,與待比較的ID進行對比,取出的結果集中存在的ID,即是已存在的信息,不存在的,就是新增的ID


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM