Java 中文字符判斷 中文標點符號判斷

Java Character 實現Unicode字符集介紹  CJK中文字符和中文標點判斷

主要內容：

1. Java Character類介紹；

2. Unicode 簡介及 UnicodeBlock 與 UnicodeScript區別和聯系

3. 如何判斷漢字及中文標點符號

 

做中文信息處理，經常會遇到如何判斷一個字是否是中文，或者是否是中文的標點符號等。

在Java中，主要使用 Character類處理字符有關功能，而JDK 1.7中Character是按照Unicode 6.0版本實現的，所以這個要先學習下常用的 Unicode編碼。

具體的定義、歷史等請見 wikiwikipedia

Character 類中有3個靜態內部類，

Modifier and Type	http://http://www.cnblogs.com/zztt/admin/EditPosts.aspx?opt=1www.cnblogs.com/zztt/admin/EditPosts.aspx?opt=1Class and Description
static class	Character.Subset Instances of this class represent particular subsets of the Unicode character set.
static class	Character.UnicodeBlock A family of character subsets representing the character blocks in the Unicode specification.
static class	Character.UnicodeScript A family of character subsets representing the character scripts defined in the Unicode Standard Annex #24: Script Names.

 

其中的UnicodeBlock 和 UnicodeScript類可以幫助我們判斷字符類型，

UnicodeBlock是Unicode標准協會組織unicode碼的一個基本單位，實際上一個 UnicodeBlock代表一片連續的Unicode號碼段，UnicodeBlock之間不重疊。例如，通常我們利用Unicode編碼是否在 0x4E00–0x9FCC 來判斷某字符是否為漢字，就是因為，有個UnicodeBlock 專門划分為存儲漢字 (准確的說是 CJK統一漢字)，這個UnicodeBlock叫做 CJK Unified Ideographs，總共定義了 74,617 個漢字。

當然還有其他很多UnicodeBlock，例如，對於漢字還有4個擴展 UnicodeBlock，CJK Unified Ideographs Extension A, B, C, D 分別都擴展了一些我們平時見都沒見過的漢字(如果不是專門的古籍數字化，Unicode字符集中的漢字普通交流夠了)

 

Unicode中一種Script通常就是一個字符或者其他書寫符號的集合，代表着一種或多種writing systems （這里暫且翻譯為文書類型，文書類型細分可以分成不同語言)。有些Script僅支持一種文字類型，有些可以支持多種，例如 Latin Script 支持 supports English, French, German, Italian, Vietnamese, Latin 等等，具體可見wikipedia，

http://en.wikipedia.org/wiki/Scripts_in_Unicode

 

UnicodeBlock 與 UnicodeScript 關系：

所以UnicodeScript 是從語言書寫規則層次對Unicode字符的分類，這是用使用角度划分，而UnicodeBlock是從硬的編碼角度划分。

1. UnicodeBlock是簡單的數值范圍 (其中可能有些Block中會有一些尚未分配字符的“空號”)。

2. 在一個UnicodeScript中的字符可能分散在多個UnicodeBlock中；

3. 一個UnicodeBlock中的字符可能會被划進多個UnicodeScript中。

 

另外需要注意的是UnicodeScript實現是在Java 7中新引入的。

 

具體在編寫程序中，可以游2種辦法，一是使用 UnicodeBlock，請見代碼：

    //使用UnicodeBlock方法判斷
    public boolean isChineseByBlock(char c) {
        Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
        if (ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT) {
            return true;
        } else {
            return false;
        }
    }

 

或者如果使用JDK1.7，那么UnicodeScript方法會更方便，因為UnicodeScript.HAN 包括了上面所列的5個UnicodeBlock：

    //使用UnicodeScript方法判斷
    public boolean isChineseByScript(char c) {
        Character.UnicodeScript sc = Character.UnicodeScript.of(c);
        if (sc == Character.UnicodeScript.HAN) {
            return true;
        }
        return false;
    }

 

 

類似的，擴展開去還可以判別中文標點符號。

因為中文的標點符號主要存在於以下5個UnicodeBlock中，

U2000-General Punctuation (百分號，千分號，單引號，雙引號等)

U3000-CJK Symbols and Punctuation ( 頓號，句號，書名號，〸，〹，〺 等；PS: 后面三個字符你知道什么意思嗎？ : )    )

UFF00-Halfwidth and Fullwidth Forms ( 大於，小於，等於，括號，感嘆號，加，減，冒號，分號等等)

UFE30-CJK Compatibility Forms  (主要是給豎寫方式使用的括號，以及間斷線﹉，波浪線﹌等)

UFE10-Vertical Forms (主要是一些豎着寫的標點符號，    等等)

    // 根據UnicodeBlock方法判斷中文標點符號
    public boolean isChinesePunctuation(char c) {
        Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
        if (ub == Character.UnicodeBlock.GENERAL_PUNCTUATION
                || ub == Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION
                || ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS
                || ub == Character.UnicodeBlock.VERTICAL_FORMS) {
            return true;
        } else {
            return false;
        }
    }

 

最后上測試代碼：

import java.util.regex.Pattern;

/**
 * author: Tong
 * Date: 11/16/13
 * Time: 10:42 PM
 */
public class CharClassifier {

    public static void main(String[] args) {
        CharClassifier classifier = new CharClassifier();
        String[] strings = new String[]{"Hello", "你好", "㐀㐂㐄", "にほんご", "조선어",",.?!@#$%^&()", "，。？！＠＃￥％……＆（）"};

        for (int i = 0; i < strings.length; i++) {
            String str = strings[i];
            System.out.println("原字符串為：" + str);
            char[] chars = str.toCharArray();

            if (i < 5) {
                System.out.println("使用0x4E00-0x9FCC范圍判斷字符是否為漢字：");
                for (char aChar : chars) {
                    System.out.println(aChar + ":" + (classifier.isChineseByRange(String.valueOf(aChar)) ? "YES" : "NO"));
                }

                System.out.println("使用UnicodeBlock方法判斷字符是否為漢字：");
                for (char aChar : chars) {
                    System.out.println(aChar + ":" + (classifier.isChineseByBlock(aChar) ? "YES" : "NO"));
                }

                System.out.println("使用UnicodeScript方法判斷字符是否為漢字：");
                for (char aChar : chars) {
                    System.out.println(aChar + ":" + (classifier.isChineseByScript(aChar) ? "YES" : "NO"));
                }
            } else {
                System.out.println("判斷是否為中文符號：");
                for (char aChar : chars) {
                    System.out.println(aChar + ":" + (classifier.isChinesePunctuation(aChar) ? "YES" : "NO"));
                }

            }
        }
    }

    //使用UnicodeBlock方法判斷
    public boolean isChineseByBlock(char c) {
        Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
        if (ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C
                || ub == Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT) {
            return true;
        } else {
            return false;
        }
    }


    //使用UnicodeScript方法判斷
    public boolean isChineseByScript(char c) {
        Character.UnicodeScript sc = Character.UnicodeScript.of(c);
        if (sc == Character.UnicodeScript.HAN) {
            return true;
        }
        return false;
    }

    // 根據UnicodeBlock方法判斷中文標點符號
    public boolean isChinesePunctuation(char c) {
        Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);
        if (ub == Character.UnicodeBlock.GENERAL_PUNCTUATION
                || ub == Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION
                || ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS
                || ub == Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS
                || ub == Character.UnicodeBlock.VERTICAL_FORMS) {
            return true;
        } else {
            return false;
        }
    }

    // 使用Unicode編碼范圍來判斷漢字；這個方法不准確,因為還有很多漢字不在這個范圍之內
    public boolean isChineseByRange(String str) {
        if (str == null) {
            return false;
        }
        Pattern pattern = Pattern.compile("[\\u4E00-\\u9FCC]+");
        return pattern.matcher(str.trim()).find();
    }

}

 

程序輸出：

原字符串為：Hello
使用0x4E00-0x9FCC范圍判斷字符是否為漢字：
H:NO
e:NO
l:NO
l:NO
o:NO
使用UnicodeBlock方法判斷字符是否為漢字：
H:NO
e:NO
l:NO
l:NO
o:NO
使用UnicodeScript方法判斷字符是否為漢字：
H:NO
e:NO
l:NO
l:NO
o:NO
原字符串為：你好
使用0x4E00-0x9FCC范圍判斷字符是否為漢字：
你:YES
好:YES
使用UnicodeBlock方法判斷字符是否為漢字：
你:YES
好:YES
使用UnicodeScript方法判斷字符是否為漢字：
你:YES
好:YES
原字符串為：㐀㐂㐄
使用0x4E00-0x9FCC范圍判斷字符是否為漢字：
㐀:NO
㐂:NO
㐄:NO
使用UnicodeBlock方法判斷字符是否為漢字：
㐀:YES
㐂:YES
㐄:YES
使用UnicodeScript方法判斷字符是否為漢字：
㐀:YES
㐂:YES
㐄:YES
原字符串為：にほんご
使用0x4E00-0x9FCC范圍判斷字符是否為漢字：
に:NO
ほ:NO
ん:NO
ご:NO
使用UnicodeBlock方法判斷字符是否為漢字：
に:NO
ほ:NO
ん:NO
ご:NO
使用UnicodeScript方法判斷字符是否為漢字：
に:NO
ほ:NO
ん:NO
ご:NO
原字符串為：조선어
使用0x4E00-0x9FCC范圍判斷字符是否為漢字：
조:NO
선:NO
어:NO
使用UnicodeBlock方法判斷字符是否為漢字：
조:NO
선:NO
어:NO
使用UnicodeScript方法判斷字符是否為漢字：
조:NO
선:NO
어:NO
原字符串為：,.?!@#$%^&()
判斷是否為中文符號：
,:NO
.:NO
?:NO
!:NO
@:NO
#:NO
$:NO
%:NO
^:NO
&:NO
(:NO
):NO
原字符串為：，。？！＠＃￥％……＆（）
判斷是否為中文符號：
，:YES
。:YES
？:YES
！:YES
＠:YES
＃:YES
￥:YES
％:YES
…:YES
…:YES
＆:YES
（:YES
）:YES