1.先导概念
编码格式简介（ANSI、GBK、GB2312、UTF-8、GB18030和 UNICODE）
2.码点和代码单元
-
码点（ code point) 是指与一个编码表中的某个字符对应的代码值。
在 Unicode 标准中，码点采用十六进制书写，并加上前缀 U+, 例如 U+0041 就是拉丁字母 A 的码点。Unicode 的码点可以分成 17 个代码级别（ codeplane)。第一个代码级别称为基本的多语言级别（ basicmultilingual plane ), 码点从 U+0000 到 U+FFFF, 其中包括经典的 Unicode 代码；其余的 16个级另丨〗码点从 U+10000 到 U+10FFFF , 其中包括一些辅助字符（supplementary character)。
-
UTF-16 编码采用不同长度的编码表示所有 Unicode 码点。在基本的多语言级别中，每个字符用 16 位表示，通常被称为代码单元（ code unit)，而辅助字符采用一对连续的代码单元进行编码。
这样构成的编码值落人基本的多语言级别中空闲的 2048 字节内， 通常被称为替代区域（surrogate area) [ U+D800 ~ U+DBFF 用于第一个代码单兀，U+DC00 ~ U+DFFF 用于第二个代码单元 ]。这样设计十分巧妙，我们可以从中迅速地知道一个代码单元是一个字符的编码，还是一个辅助字符的第一或第二部分。例如，𝕆是八元数集（http://math.ucr.edu/home/baez/octonions) 的一个数学符号，码点为 U+1D546, 编码为两个代码单元U+D835 和 U+DD46。（关于编码算法的具体描述见 http://en.wikipedia.org/wiki/UTF-l6 )
-
在 Java 中，char 类型描述了 UTF-16 编码中的一个代码单元。
3.实例验证
\uD835\uDD46实际上就是𝕆，只是在String里直接显示为 16 进制
𝕆是作为一个辅助字符（两个代码单元），因而字符串hello\uD835\uDD46码点为6，代码单元为7
/**
* \uD835\uDD46 = 𝕆
* 输出分别为：7、6
*/
private static void codePoints(){
String sentence = "hello\uD835\uDD46";
System.out.println(sentence.length());
System.out.println(sentence.codePointCount(0,sentence.length()));
}
测试输出对应的十六进制
/**
* \uD835\uDD46 = 𝕆
* 输出分别为：d835
* dd46
* 1d546
*/
private static void codePoints(){
String sentence = "\uD835\uDD46";
int length = sentence.length();
for(int i = 0; i < length; i++){
char c = sentence.charAt(i);
System.out.println(Integer.toHexString(c));
}
System.out.println(Integer.toHexString(sentence.codePointAt(0)));
}
4.相关 String 类 API
-
char charAt ( int index )
返回给定位置的代码单元。除非对底层的代码单元感兴趣， 否则不需要调用这个方法。
-
int codePointAt ( int index ) jdk5.0后加入
返回从给定位置开始的码点。
-
int offsetByCodePoints( int startlndex, int cpCount) jdk5.0后加入
返回从 startlndex 代码点开始，位移 cpCount 后的码点索引。
-
IntStream codePoints() jdk8后加入
将这个字符串的码点作为一个流返回。调用 toArray 将它们放在一个数组中
-
new String( int[ ] codePoints， int offset， int count) jdk5.0后加入
用数组中从 offset 开始的 count 个码点构造一个字符串。
-
int codePointCount( int startIndex， int endIndex ) jdk5.0后加入
返回 startlndex 和 endludex-1之间的代码点数量。没有配成对的代用字符将计入代码点。