刨根究底字符編碼之零——前言


 前言

 

(圖片來自網絡)

 

一、

字符編碼是計算機世界里最基礎、最重要的一個主題之一。不過,在計算機教材中卻往往浮光掠影般地草草帶過,甚至連一本專門進行深入介紹的著作都找不到(對這一點我一直很困惑,為什么就沒有哪位大牛對這個如此基礎、重要而又如此容易讓人困惑的主題寫一本專著予以介紹呢)。

而在編程實踐中,如果不發揚死磕到底的精神將字符編碼問題的來龍去脈、前世今生徹底搞清楚,那么它終將會像幽靈一樣揮之不去,導致時不時地被各種與字符編碼相關的“靈異”事件折磨得死去活來。

本人正是在經受了字符編碼所帶來的種種令人崩潰的痛苦之后,才在痛定思痛之余,最終痛下決心,誓要將它刨根究底。

 

二、

字符編碼的基礎性、重要性,主要體現在它涉及面廣。向下涉及到計算機的底層技術,甚至是硬件實現;向上幾乎跟所有的操作系統、編程語言、應用程序都密切相關。

因此,要想真正搞明白字符編碼問題,必須得從計算機的基本概念——位、字節、字等等開始,再結合不同的系統環境與編程環境,進行具體分析。

 

三、

類似於字符編碼這樣基礎、重要、應用廣泛而又特別容易讓人困惑的主題還有字節序(即大小端表示)、正則表達式以及浮點數實現、日期時間處理等等。其中,字節序、正則表達式跟字符編碼的關系又密切相關,尤其是字節序,直接影響字符編碼的字節序列。而由於正則表達式主要用於在字符串中查找、提取字符或子字符串,要想真正理解正則表達式,也離不開對字符編碼的深入理解。

基於此,本人准備將自己對字符編碼(包括字節序)與正則表達式進行刨根究底后的一些心得體會寫成兩個系列文章,一方面整理一下自己的思路以備忘,另一方面也真心希望能夠起到拋磚引玉的作用。

 

(圖片來自網絡)

四、

下面是字符編碼系列文章將會涉及到的內容:

一)關鍵術語解釋:位、字節、字與字長、字符集、編碼、解碼、字符編碼、現代字符編碼模型

二)字符編碼的由來

三)ASCII字符編碼方案

四)擴展ASCII字符編碼方案EASCII(Extended ASCII)以及ISO/IEC 8859字符編碼方案

五)漢字編碼方案:GB2312、GBK、GB18030、GB13000、全角與半角、CJK中日韓統一表意文字

六)漢字編碼中區位碼、國標碼(交換碼)、內碼(機內碼)、外碼(輸入碼)、字形碼(輸出碼)的區別及關系

七)ANSI編碼

八)代碼頁(Code Page)、微軟與ANSI代碼頁

九)Unicode編碼方案的面世

十)Unicode字符集概述

十一)字符編碼系統(字符編碼模型)的變化、字節序

十二)Unicode字符集的編碼方式:碼點、碼元、UTF-8、UTF-16、UTF-32

十三)同樣存在多字節編碼,為什么說UTF-8沒有字節序的問題,而UTF-16、UTF-32卻有?

十四)微軟為什么跟聯通有仇——Windows記事本的字符編碼方式

十五)Windows記事本的四種編碼方式(ANSI、Unicode、Unicode big endian、UTF-8)有何區別?

十六)深入剖析奇葩的Python字符編碼

十七)Vim中的字符編碼問題

十八)Unicode常見問題解答

十九)總結

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM