使用python爬取网站,可以用handler来隐藏user-agent,和使用高匿的代理ip,下面就是用不同的user-agent来爬取免费代理
首先要有一个user-agent的列表,我把它放在同一目录下然后import导入
1 | import requests |
项目地址:Python-Spider/爬取代理 at master · Mug-9/Python-Spider (github.com)
Stay Hungry, Stay Foolish
使用python爬取网站,可以用handler来隐藏user-agent,和使用高匿的代理ip,下面就是用不同的user-agent来爬取免费代理
首先要有一个user-agent的列表,我把它放在同一目录下然后import导入
1 | import requests |
项目地址:Python-Spider/爬取代理 at master · Mug-9/Python-Spider (github.com)