BeautifulSoup Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.


BeautifulSoup很贊的東西

最近出現一個問題:Python 3.3

soup=BeautifulSoup(urllib.request.urlopen(url_path),"html.parser")

soup.findAll("a",{"href":re.compile('^http|^/')})

 出現warning:

Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.

在極少數情況下(通常當UTF-8文檔包含以完全不同的編碼編寫的文本時),獲取Unicode的唯一方法是使用特殊的Unicode字符“REPLACEMENT CHARACTER”(U + FFFD)替換某些字符。 如果是Unicode,Dammit需要這樣做,它將在UnicodeDammit或BeautifulSoup對象上將.contains_replacement_characters屬性設置為True。 這讓您知道Unicode表示不是原始的精確表示 - 一些數據丟失。 如果文檔包含 ,但是.contains_replacement_characters為False,那么您將知道 原來是存在的,並且不代表缺少的數據。

解決:soup=BeautifulSoup(urllib.request.urlopen(url_path),""html.parser",from_encoding="iso-8859-1")


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM