JAVA讀取文件字符集【File、MultipartFile、cpdetector】

一、簡介

cpdetector：是一款基於JAVA的文件編碼方式檢測工具

二、導入cpdetector的jar包

下載地址：https://mvnrepository.com

<dependency>
    <groupId>net.sourceforge.cpdetector</groupId>
    <artifactId>cpdetector</artifactId>
    <version>1.0.7</version>
</dependency>
<dependency>
    <groupId>org.mozilla.intl</groupId>
    <artifactId>chardet</artifactId>
    <version>1.0</version>
</dependency>
<dependency>
    <groupId>antlr</groupId>
    <artifactId>antlr</artifactId>
    <version>2.7.4</version>
</dependency>

三、兩種傳參方式實現讀取文件編碼集

1、傳入url解析文件編碼

package com.example.demo;

import info.monitorenter.cpdetector.io.*;
import info.monitorenter.cpdetector.io.ParsingDetector;
import org.springframework.web.multipart.MultipartFile;

import java.io.File;

public class EncodeTest {

    public static void main(String[] args) {
        String charsetName = getFileEncode("E:\\test1.sql");
        System.out.println(charsetName);
    }
    /**
     * 利用第三方開源包cpdetector獲取文件編碼格式
     * @param path：要判斷文件編碼格式的源文件的路徑
     */
    public static String getFileEncode(String path) {
        /*
         * detector是探測器，它把探測任務交給具體的探測實現類的實例完成。
         * cpDetector內置了一些常用的探測實現類，這些探測實現類的實例可以通過add方法 加進來，如ParsingDetector、
         * JChardetFacade、ASCIIDetector、UnicodeDetector。
         * detector按照“誰最先返回非空的探測結果，就以該結果為准”的原則返回探測到的
         * 字符集編碼。使用需要用到三個第三方JAR包：antlr.jar、chardet.jar和cpdetector.jar
         * cpDetector是基於統計學原理的，不保證完全正確。
         */
        CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();
        /*
         * ParsingDetector可用於檢查HTML、XML等文件或字符流的編碼,構造方法中的參數用於
         * 指示是否顯示探測過程的詳細信息，為false不顯示。
         */
        detector.add(new ParsingDetector(false));
        /*
         * JChardetFacade封裝了由Mozilla組織提供的JChardet，它可以完成大多數文件的編碼
         * 測定。所以，一般有了這個探測器就可滿足大多數項目的要求，如果你還不放心，可以
         * 再多加幾個探測器，比如下面的ASCIIDetector、UnicodeDetector等。
         */
        detector.add(JChardetFacade.getInstance());// 用到antlr.jar、chardet.jar
        // ASCIIDetector用於ASCII編碼測定
        detector.add(ASCIIDetector.getInstance());
        // UnicodeDetector用於Unicode家族編碼的測定
        detector.add(UnicodeDetector.getInstance());
        java.nio.charset.Charset charset = null;
        File f = new File(path);
        try {
            charset = detector.detectCodepage(f.toURI().toURL());
        } catch (Exception ex) {
            ex.printStackTrace();
        }
        if (charset != null)
            return charset.name();
        else
            return null;
    }
}

2、傳入文件流解析文件編碼集

package com.example.demo.controller;

import info.monitorenter.cpdetector.io.*;
import info.monitorenter.util.FileUtil;
import org.mozilla.universalchardet.UniversalDetector;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.multipart.MultipartFile;

import java.io.*;
import java.nio.charset.Charset;
import java.util.Iterator;
import java.util.LinkedHashSet;
import java.util.Set;

@RequestMapping("/test")
@RestController
public class DemoTestController {

    private Set<ICodepageDetector> detectors = new LinkedHashSet();

    @RequestMapping("test")
    public String test(MultipartFile file) throws IOException {
        return getFileEncode(file);
    }

    /**
     * 利用第三方開源包cpdetector獲取文件編碼格式
     */
    public String getFileEncode(MultipartFile file) {
        /*
         * detector是探測器，它把探測任務交給具體的探測實現類的實例完成。
         * cpDetector內置了一些常用的探測實現類，這些探測實現類的實例可以通過add方法 加進來，如ParsingDetector、
         * JChardetFacade、ASCIIDetector、UnicodeDetector。
         * detector按照“誰最先返回非空的探測結果，就以該結果為准”的原則返回探測到的
         * 字符集編碼。使用需要用到三個第三方JAR包：antlr.jar、chardet.jar和cpdetector.jar
         * cpDetector是基於統計學原理的，不保證完全正確。
         */
        CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();
        /*
         * ParsingDetector可用於檢查HTML、XML等文件或字符流的編碼,構造方法中的參數用於
         * 指示是否顯示探測過程的詳細信息，為false不顯示。
         */
        detector.add(new ParsingDetector(false));
        /*
         * JChardetFacade封裝了由Mozilla組織提供的JChardet，它可以完成大多數文件的編碼
         * 測定。所以，一般有了這個探測器就可滿足大多數項目的要求，如果你還不放心，可以
         * 再多加幾個探測器，比如下面的ASCIIDetector、UnicodeDetector等。
         */
        detector.add(JChardetFacade.getInstance());// 用到antlr.jar、chardet.jar
        // ASCIIDetector用於ASCII編碼測定
        detector.add(ASCIIDetector.getInstance());
        // UnicodeDetector用於Unicode家族編碼的測定
        detector.add(UnicodeDetector.getInstance());
        java.nio.charset.Charset charset = null;
//        File f = new File(path);
        try {
            BufferedInputStream in = new BufferedInputStream(file.getInputStream());
//            charset = detector.detectCodepage(f.toURI().toURL());
            charset = detector.detectCodepage(in,2147483647);
//            charset = codeTest(in,2147483647);
            System.out.println(charset);
        } catch (Exception ex) {
            ex.printStackTrace();
        }
        if (charset != null)
            return charset.name();
        else
            return null;
    }
}

 四、測試結果