Scrapy调用HTTP代理

Python使用Scrapy调用Http代理IP的代码样例

使用提示：

💡

http/https 网页均可适用

在第一级 tutorial 目录下运行如下命令查看结果：scrapy crawl 91http

scrapy 不是 python 原生库，需要安装才能使用: pip install scrapy

代码样例中的代理IP和端口均为虚构，请通过有代理HTTP的API提取链接获取代理IP后使用，避免报错

运行命令：scrapy startproject tutorial 新建 Scrapy 项目，创建包含下列内容的 tutorial 目录

编写爬虫：在 tutorial/spiders/ 目录下新建 spider.py 文件

middlewares.py 中新增 ProxyDownloaderMiddleware 即代理中间件；

这里演示的是白名单鉴权方式，如果需要账号密码鉴权，可根据需要修改代码。（代码块示例）

settings.py中激活ProxyDownloaderMiddleware代理中间件和自定义拓展