# -*- coding: utf-8 -*-

#汉字编码 unicode 0x4e00 - 0x9fa5 两万多个

#GB2312，简体中文字符集6763个常用汉字和682个全角非汉字字符，根据使用频率分两级，一级

#汉字3755个，二级汉字3008个。

#GB18030-2005 是目前最新的内码字集

#GBK 是对GB2312的

#在Windows 环境下

#判断文件的编码格式

import chardet

import codecs

f = open('GB2312_set.txt','r')

data = f.read()

print chardet.detect(data)

#以相应的格式打开文件

with codecs.open("GB2312_set.txt",'r','UTF-16LE') as handle: #以UTF-16LE格式读取并转换为linux内部的unicode格式

for ln in handle:

print ln