python处理抓取中文编码和判断编码的简单示例

前端之家收集整理的这篇文章主要介绍了python处理抓取中文编码和判断编码的简单示例前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
对python这个高级语言感兴趣的小伙伴,下面一起跟随编程之家 jb51.cc的小编两巴掌来看看吧!

在开发自用爬虫过程中,有的网页是utf-8,有的是gb2312,有的是gbk,如果不加处理,采集到的都是乱码,解决方法是将html处理成统一的utf-8编码

版本python2.7

@H_403_4@ # @param python处理抓取中文编码和判断编码 # @author 编程之家 jb51.cc|jb51.cc #coding:utf-8 import chardet #抓取网页html line = "http://jb51.cc" html_1 = urllib2.urlopen(line,timeout=120).read() encoding_dict = chardet.detect(html_1) print encoding web_encoding = encoding_dict['encoding'] #处理,整个html就不会是乱码。 if web_encoding == 'utf-8' or web_encoding == 'UTF-8': html = html_1 else : html = html_1.decode('gbk','ignore').encode('utf-8') # End www.jb51.cc

猜你在找的Python相关文章