Hello World
  文章分类
ACM (13) C++ 学习 (5) 配置 (16) ML 学习 (1) Linux 学习笔记 (5) 算法 (5) 报错处理 (1) Python (2) Spider (4) 机器学习 (6) Spider (1) 智能计算数学基础 (4) 学习笔记 (5) 小项目 (2) 机器学习作业 (1) 三维重建 (1)
爬取wallpaper图片 爬取wallpaper图片
1. user_agent_list这里是从网上获得的user_agent列表， 稍加修改就可以了 import random # 返回一个随机的请求头 headers def getheaders(): # 各种PC端
2020-12-07 Spider 小项目
爬图片
爬取88ys视频exe版 爬取88ys视频exe版
爬取88ys视频使用方式点击dist中的main.exe 找到想下载的视频主页面 粘贴到url文本框
2020-03-01 Spider 小项目
爬视频
wallpaper 模拟登录 wallpaper 模拟登录
在模拟登录wallhaven是，发现了一些问题，用request.session登录并保存cookie并不奏效 所以决定自己手动保存cookie 先是登录因为登录信息中有_token，所以要先get一下获取网页的_token ，并且用get
2020-02-11 Spider
模拟登录
爬虫爬取压缩过的数据 爬虫爬取压缩过的数据
在爬取bilibili的历史记录是，发现出现了UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x8b in position 1: invalid start byte 错误，后来发
2020-02-06 Spider
爬虫报错处理