便宜VPS网为回馈新老顾客,香港vps免费送,数量有限,先到先得!手慢无!

解决Python爬虫处理文件时候中文名称出现乱码问题

centos知识 便宜vps网 143℃

当下如果需要批量处理文件,爬虫网页和图片的时候使用Python是最为简单和高效的。但是在处理过程中还是有一些细节问题,比如在爬虫中文名称和处理中文文件URL的时候会出现乱码。实际上就是因为编码的问题。我们在使用的Python3版本默认编码是utf-8。爬虫到的所有的数据他都会以utf-8进行编码。

这样的话,Python3处理文件的时候会将目标网站爬取进行utf-8编码,如果我们爬取的目标网站是GB2312编码,这样编码不同就会造成乱码。那我们如何处理呢?

第一种、授予编码

import requests
req= requests.get(“http://example.com”)
req_text=req.text.encode(“latin1”).decode(“GBK”)
print(req_text)

第二种、添加字体

参考:https://www.ywowl.com/prolan/python/2018/03/550.html

上传字体simhei.ttf到:

/opt/python3.5/lib/python3.5/site-packages/matplotlib/mpl-data/fonts/ttf

然后修改matplotlibrc配置:

/opt/python3.5/lib/python3.5/site-packages/matplotlib/mpl-data/matplotlibrc

然后将backend的TkAgg换成Agg、注释掉font.family : sans-serif,添加font.sans-serif : SimHei。最后清理清除~/.cache/matplotlib目录缓存。解决图片中文乱码问题的。

原创文章,转载请注明: 转载自VPS面板知识

本文链接地址: 解决Python爬虫处理文件时候中文名称出现乱码问题

VPS面板知识: 便宜VPS网–便宜技术|Windows VPS面板知识 | Linux VPS面板知识

友情链接:便宜vps网 真诚为您推荐最合适的vps服务器,详情咨询860001083

在线咨询

文章的脚注信息由WordPress的wp-posturl插件自动生成

转载请注明:VPS面板知识 » 解决Python爬虫处理文件时候中文名称出现乱码问题

喜欢 (0)or分享 (0)