文件编码过程中遇到的问题以及处理编码.docxVIP

最近的这个项目中需要对文件的编码格式进行处理,并统一转换为UTF-8格式,所以对文件的编码格式进行了一些探讨,但是在探讨的过程中发现使用java来处理文件的编码格式确实是一件比较头疼的问题,因为不能完全的获取到正确的编码格式,因为一部分文件具有头文件,我们可以根据这些头文件来判断文件格式,但是另一部分却是不存在头文件的,这样的话可能会导致获取文件格式出错,之前我们就是使用的文件头去判断的文件格式,代码如下: public String getCharset(File file) { String charset = GBK; byte[] first3Bytes = new byte[3]; boolean checked = false; BufferedInputStream bis = null; try { bis = new BufferedInputStream( new FileInputStream(file)); bis.mark(0); int read = bis.read(first3Bytes, 0, 3); if (read == -1) return charset; if (first3Bytes[0] == (byte) 0xFF first3Bytes[1] == (byte) 0xFE) { charset = UTF-16LE; checked = true; } else if (first3Bytes[0] == (byte) 0xFE  first3Bytes[1] == (byte) 0xFF) { charset = UTF-16BE; checked = true; } else if (first3Bytes[0] == (byte) 0xEF  first3Bytes[1] == (byte) 0xBB  first3Bytes[2] == (byte) 0xBF) { charset = this.encode_utf8; checked = true; } bis.reset(); if (!checked) { // int len = 0; int loc = 0; while ((read = bis.read()) != -1) { loc++; if (read = 0xF0) break; if (0x80 = read read = 0xBF) // 单独出现BF以下的，也算是GBK break; if (0xC0 = read read = 0xDF) { read = bis.read(); if (0x80 = read read = 0xBF) // 双字节 (0xC0 - 0xDF) // (0x80 // - 0xBF),也可能在GB编码内 continue; else break; } else if (0xE0 = read read = 0xEF) {// 也有可能出错，但是几率较小 read = bis.read(); if (0x80 = read read = 0xBF) { read = bis.read(); if (0x80 = read read = 0xBF) { charset = this.encode_utf8; break; } else break; } else break; } } } } catch (Exception e) { log.error(Obtaining file format failed,e);//获??文件格式失败 } finally { try { if (null != bis) { bis.close(); } } catch (IOException e) { e.printStackTrace(); } } return charset; } 但是遇到不是UTF-8格式的就不能处理了,而且当遇到没有BOM头的utf-8的时候也无法解决,且担心当没有头文件的文件的前几个字节与问价一致的时候,可能会判断错误问价的格式,后来我使用了网上所说的第三方包:cpdetector_1.0.7.jar,使用了这个第三方包,代码如下 CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance(); detector.add(new ParsingDetector(false)); detector.add(JChardetFacade.getI