Python

1. requests

随机IP访问

Proxy-Tunnel保持IP不变

Keep-Alive保持IP不变

2. urllib2

urllib2无法使用Keep-alive

urllib2对于HTTP/1.1默认会关闭连接请通过设置相同Proxy-Tunnel来保持相同的外网IP.

随机IP访问

Proxy-Tunnel保持IP不变

3. scrapy

scrapy中间件

scrapy-splash中间件

scrapy-pyppeteer中间件

scrapy环境变量

scrapy HTTPS会话指定IP

☝️ 在项目中新建middlewares.py文件(./项目名/middlewares.py)
修改项目配置文件 (./项目名/settings.py)

4. aiohttp

aiohttp 使用Proxy-Tunnel切换IP

aiohttp 使用TCP方式切换IP

注意

aiohttp库实现了TCP链接池功能，如果没设置随机Proxy-Tunnel或断开TCP链接，会导致多个请求始终没有切换IP。如需切换IP，需每个请求新建一个session；同时设置connector_owner参数让session关闭后链接也关闭。如需切换IP，也可以设置Proxy-Tunnel为随机数，使用随机IP。

5. httpx

随机IP访问

Proxy-Tunnel保持IP不变

1. requests#

2. urllib2#

3. scrapy#

4. aiohttp#

5. httpx#

1. requests

2. urllib2

3. scrapy

4. aiohttp

5. httpx