結合之前遇到的坑以及下面貼的這篇文章， 總結幾種python亂碼解決方案，如果遇到亂碼，不妨嘗試一下？
1，必備
#encoding=utf-8
2, python編程環境編碼
import sys
reload(sys)
sys.setdefaultencoding('utf8')
3,不知道神馬編碼的時候用chardet查一下
from chardet import detect # detect(str),參數只能是str,不能是unicode編碼的
if not isinstance(line, unicode):
line = line.decode(detect(line)['encoding']).rstrip().lower()
4,mysql 的默認字符集 latin1，Latin1是ISO-8859-1的別名，有些環境下寫作Latin-1，ISO-8859-1編碼是單字節編碼，向下兼容ASCII
try: line = line.rstrip().decode("utf-8").lower() except UnicodeDecodeError: line = line.decode('latin-1').rstrip().lower() # 很多網頁采用這種編碼格式，爬取網頁的時候會遇到
5，讀取oracle中文遇到問題的話，設置一下客戶端編碼
import os os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'
6, 非常好用的codecs, GB2312 < GBK < GB18030，
import codecs # 下載的txt文本在mac上打開亂碼，這樣子轉一下就好了
fo = codecs.open('/Users/baidu/Desktop/spark/現代漢語常用詞表.txt', 'rb', 'gbk') fo = codecs.open('/Users/baidu/Desktop/spark/現代漢語常用詞表.txt', 'rb', 'utf8') fo = codecs.open('/Users/baidu/Desktop/spark/現代漢語常用詞表.txt', 'rb', 'gb18030')
混合編碼的情況最煩人，可以采用try:....UnicodeDecodeError:....去嘗試不同解碼方法，或者用chardet先檢測再解碼(但是有些編碼格式字符串找不到解碼方式)
總之，讀進來先統一解碼為unicode的格式，寫出去都同一編寫為utf-8格式(除非特殊要求)
附上各種編碼教程 http://www.crifan.com/character_encoding_charset_simpile_tutorial/
【整理】Python中遇到"UnicodeDecodeError: ‘gbk’ codec can’t decode bytes in position 2-3: illegal multibyte sequence"之類的編碼或解碼的錯誤時如何處理
原文 http://www.crifan.com/summary_python_unicodedecode_error_possible_reasons_and_solutions/
問題參見：
python2.7 urllib2 抓取新浪亂碼
中的：
報錯的異常是
UnicodeDecodeError: ‘gbk’ codec can’t decode bytes in position 2-3: illegal multibyte sequence
此問題，還是很具有代表性的，此處，專門整理如下：
【Python中如何處理UnicodeDecodeError和UnicodeEncodeError】
簡答：
1.仔細分析錯誤的類型
2.搞清自己處理的字符串是什么類型的
3.然后換用這種的字符編碼去編碼或解碼
詳解：
以上面的錯誤：
UnicodeDecodeError: ‘gbk’ codec can’t decode bytes in position 2-3: illegal multibyte sequence
為例，去解釋，如何處理這類問題：
1.仔細分析錯誤的類型
（1）錯誤是Unicode的編碼還是解碼
對於此處，錯誤是：
UnicodeDecodeError
的類型的。
此英文，對應的中文的含義，其實已經很清楚了：
Unicode的解碼（Decode）出現錯誤（Error）了
而對於上面這句，我們可以推斷出：
你當前正在處理某種編碼類型的字符串
此處你要處理字符串，是想要將該字符串去解碼decode，變成Unicode
但是將該字符串解碼變成Unicode期間，卻出錯了
（2）所用的是何種編碼
好的，接着看上面的錯誤：
‘gbk’ codec can’t decode
使得錯誤信息更加明顯了：
你此處，要將字符串解碼為Unicode，是以gbk編碼的方式去解碼（該字符串變成Unicode）的
但是此處通過gbk的方式，卻無法解碼（can’t decode ）
注：此處的codec，意思是：編解碼（器），是Python內部的模塊，用來編碼或解碼（字符串）的
（3）錯誤位置
bytes in position 2-3
此處的信息，后續一般也很少用到。
有時候會用於定位具體錯誤的位置。
此處暫且忽略。
（4）錯誤的細節錯誤類型
illegal multibyte sequence
翻譯為中文為：
非法的，多字節，序列
簡單說就是：
沒法（解碼）了。
【原因及解決辦法】
好了，針對於上面所分析出來的信息：
將一個字符串，通過gbk的方式，去解碼，想要獲得Unicode字符串，結果出錯了
我們來說說原因和解決辦法：
此種錯誤，有幾種可能：
（1）要處理的字符串本身不是gbk編碼，但是你卻以gbk編碼去解碼
比如，字符串本身是utf-8的，但是你卻用gbk去解碼utf-8的字符串，所以結果不用說，則必然出錯
則必然會出現這類的錯誤，說是，用gbk的方式去解碼字符串，想要獲得Unicode字符串，但是結果卻解碼出錯了
解決辦法：
如果你確定當前字符串，比如抓取網頁通過charset=utf-8，已經確定html的字符串是utf-8的，
則可以直接去通過utf-8去解碼。
相關參考內容：
詳解抓取網站，模擬登陸，抓取動態網頁的原理和實現（Python，C#等）
中的：
【整理】關於HTML網頁源碼的字符編碼（charset）格式（GB2312，GBK，UTF-8，ISO8859-1等）的解釋
而如果本身對於所處理的字符串，不太清楚是什么編碼類型的，可以嘗試去通過chardet等模塊，去檢測看看：
【教程】如何用Python中的chardet去檢測字符編碼類型
然后搞清楚了，確定了，字符串是什么類型，然后再去解碼。
提示：
關於字符串編碼的類型，作為背景學習知識，也應該去了解一下。
這樣對於以后處理字符串方面，會更有幫助。
（2）你沒有主動的去將字符串編碼為對應的Unicode，但是結果也報上面的UnicodeDecodeError的錯誤
這個情況，最常見的，就是我之前在：
【總結】Python 2.x中常見字符編碼和解碼方面的錯誤及其解決辦法
所整理過的：
“Python中，打印字符串時，字符串本身的編碼，與輸出終端中所用編碼不匹配”
此處不再贅述，只簡要再說一下：
如果你本身拿到的是utf-8等，非gbk編碼的字符串，然后用print去打印出來
在windows系統就是輸出到cmd中
而cmd中，（對於多數中國人所用的是中文的系統）默認字符編碼是gbk
從而導致此種現象：
python要將utf-8編碼的字符串，在gbk的cmd的中打印出來
所以先要去嘗試，用gbk的編碼，解碼為Unicode然后再打印出來
結果就出現此處的錯誤了。
詳細解釋，還是參見上面的教程。
其中還有示例代碼的。
（3）處理的字符的確是gbk的，但是其中夾雜的部分特殊字符，是gbk編碼中所沒有的
如果有些特殊字符是GB18030中有的，但是是gbk中沒有的。
則用gbk去解碼，去所不支持的字符，也比如會出錯。
所以，此種情況，可以嘗試用和當前編碼（gbk）所兼容的但所包含字符更多的編碼（gb18030）去解碼，或許就可以了。
提示：
如果對於GBK，GB18030，以及GB2312不了解，則可參考：
字符編碼簡明教程
另外：
如果遇到其他的，類似此中錯誤的，比如：
UnicodeEncodeError: 'gbk' codec can't encode character u'\u3232' in position 0: illegal multibyte sequence
等類型的錯誤，你就可以按照上述的思路，去分析，錯誤的現象，原因，然后通過自己，就可以找到解決辦法了。
注：
其他和這類錯誤相關的，也還有一些可以參考的：
【總結】靜態網頁抓取，動態網頁抓取，模擬登陸的注意事項和心得
中的：“返回的html內容是亂碼”