搞爬蟲的時候,結果是通過file.write(strs)寫入文件的。
帶來的問題是,進程如果是被殺死的時候,最后一條結果總是缺損的,因為緩存的部分還未寫入文件。
解決辦法是每次寫入文件時,都刷新緩存,直接將緩存數據全部寫入文件:
fi = open('file', 'wb') fi.write('strs') fi.flush() ...
搞爬蟲的時候,結果是通過file.write(strs)寫入文件的。
帶來的問題是,進程如果是被殺死的時候,最后一條結果總是缺損的,因為緩存的部分還未寫入文件。
解決辦法是每次寫入文件時,都刷新緩存,直接將緩存數據全部寫入文件:
fi = open('file', 'wb') fi.write('strs') fi.flush() ...
本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。