無論是Python2還是Python3,都使用unicode作為內存編碼,簡稱內碼。保存在python解釋器內存中的文本,輸出到屏幕、編輯器,或者保存成文件的時候,都要將內碼轉換成utf8或者gbk等編碼格式;同樣,python解釋器從輸入設備接收文本,或者從文件讀取文本的時候,都要將utf8或者gbk等編碼轉換成unicode編碼格式。因此,無論是Python2還是Python3,想要在unicode、utf8、gbk等編碼格式之間轉換的話,下圖是通用的:
為遜克等地區(qū)用戶提供了全套網頁設計制作服務,及遜克網站建設行業(yè)解決方案。主營業(yè)務為成都做網站、網站設計、遜克網站設計,以傳統(tǒng)方式定制建設網站,并提供域名空間備案等一條龍服務,秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求,就會得到認可,從而選擇與我們長期合作。這樣,我們也可以走得更遠!
我們之所以會產生困惑,是因為py2和Python3給這些編碼格式指定了令人困惑的名字。Python2的字符串有兩種類型:unicode類型和str類型。Python2的unicode類型就是unicode編碼,Python2的str類型泛指除unicode編碼之外的所有編碼,包括ascii編碼、utf8編碼、gbk編碼、cp936編碼等。Python3的字符串也有兩種類型:bytes類型和str類型。Python3的str類型就是unicode編碼,Python3的bytes類型泛指除unicode編碼之外的所有編碼,包括ascii編碼、utf8編碼、gbk編碼、cp936編碼等。同樣是str類型,在Python2和Python3中完全顛倒了!下圖稍微補充了一點內容,更有助于理解編碼問題。
接下來,我們實戰(zhàn)演練一下。
>>> s = 'abc天圓地方' >>> type(s)>>> len(s) 7 >>> s 'abc天圓地方' >>> print(s) abc天圓地方 >>> s.encode('unicode-escape') b'abc\\\u5929\\\u5706\\\u5730\\\u65b9'
不管是否在字符串前面加了u,只要不在字符串前面使用b,在IDLE中定義的字符串都是unicode編碼,也就是py3的
>>> s_utf8 = s.encode('utf8') >>> type(s_utf8)>>> len(s_utf8) 15 >>> s_utf8 b'abc\\xe5\\xa4\\xa9\\xe5\\x9c\\x86\\xe5\\x9c\\xb0\\xe6\\x96\\xb9' >>> print(s_utf8) b'abc\\xe5\\xa4\\xa9\\xe5\\x9c\\x86\\xe5\\x9c\\xb0\\xe6\\x96\\xb9' >>> s_utf8.decode('utf8') 'abc天圓地方'
utf8編碼就是bytes類型(字節(jié)碼),長度就是字節(jié)數(shù)量。我們把unicode字符串’abc天圓地方’轉成gbk編碼:
>>> s_gbk= s.encode('gbk') >>> type(s_gbk)>>> len(s_gbk) 11 >>> s_gbk b'abc\\xcc\\xec\\xd4\\xb2\\xb5\\xd8\\xb7\\xbd' >>> print(s_gbk) b'abc\\xcc\\xec\\xd4\\xb2\\xb5\\xd8\\xb7\\xbd' >>> s_gbk.decode('s_gbk') 'abc天圓地方'
gbk編碼也是bytes類型(字節(jié)碼),長度也是字節(jié)數(shù)量。我們再來看看,不同編碼的字節(jié)碼能否連接:
>>> ss = s_utf8 + s_gbk >>> ss b'abc\\xe5\\xa4\\xa9\\xe5\\x9c\\x86\\xe5\\x9c\\xb0\\xe6\\x96\\xb9abc\\xcc\\xec\\xd4\\xb2\\xb5\\xd8\\xb7\\xbd' >>> ss.decode('utf8') Traceback (most recent call last): File "", line 1, in ss.decode('utf8') UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcc in position 18: invalid continuation byte >>> ss.decode('gbk') 'abc澶╁渾鍦版柟abc天圓地方' >>> ss.decode('utf8', 'ignore') 'abc天圓地方abc??' >>> ss.decode('gbk', 'ignore') 'abc澶╁渾鍦版柟abc天圓地方'
看以看出,不同編碼的字節(jié)碼可以連接,但一般不能解碼成unicode(字符串),除非使用ignore參數(shù)。