为什么Python写的爬虫有时候抓取的数据是乱码 关于爬虫乱码有很多各式各样的问题，这里不仅是中文乱码，编码转换、还包括一些如日文、韩文、俄文、藏文之类的乱码处理，因为解决方式是一致的，故在此统一说明。网络爬虫出现乱码的原因源网页编码和爬取下来后的编码格式不一致。如源网页为gbk编码的字节流，而我们抓取下后程序直接使用utf-8进行编码并输出到存储文件中，这必然会引起乱码 即当源网页编码和抓取下来后程序直接使用处理编码一致时，则不会出现乱码；此时再进行统一的字符编码也就不会出现乱码了注意区分源网编码A、程序直接使用的编码B、统一转换字符的编码C。乱码的解决方法确定源网页的编码A，编码A往往在网页中的三个位置http header的Content-Type获取服务器 header 的站点可以通过它来告知浏览器一些页面内容的相关信息。Content-Type 这一条目的写法就是\"text/html；charset=utf-8。meta charset[html]view plain copy print？html；charset=utf-8\"/>；网页头中Document定义[html]view plain copy print？在获取源网页编码时，依次判断下这三部分数据即可，从前往后，优先级亦是如此。if(document.charset){alert(document.charset+。。
python2 爬虫怎么处理字符串编码 unicode 与 str 区别在python2.7中，有两种“字符串”类型，分别是str 与 unicode，他们有同一个基类basestring。str是plain string，其实应该称之为字节串，因为是每一个字节换一个单位长度。而unicode就是unicode string，这才是真正的字符串，一个字符（可能多个字节）算一个单位长度。python2.7中，unicode类型需要在文本之间加u表示。us=u'严'print type(us)，len(us)1s='严'print type(s)，len(s)2从上可以看到，第一，us、s的类型是不一样的；其二，同一个汉字，不同的类型其长度也是不一样的，对于unicode类型的实例，其长度一定是字符的个数，而对于str类型的实例，其长度是字符对应的字节数目。这里强调一下，s（s='严'）的长度在不同的环境下是不一样的！后文会解释
python爬虫的中文乱码问题？ import urllib.request response=urllib.request.urlopen('http：//www.baidu.com')html = response.read()print(html) 上面的代码正常但是运行的时候结果遇到中文会以\\xe7\\。
