每个TCP请求自动切换,是指爬虫代理为爬虫程序发出的每个TCP请求随机提供一个代理IP,同一个TCP会话中IP不变。
访问HTTPS
目标,建议采用TCP请求切换IP模式。因为HTTPS
协议默认会保持会话(默认开启KeepAlive
),同一个HTTPS会话就会保持在一个IP不变。
通过设置Proxy-Connection: Keep-Alive
和Connection: Keep-Alive
可以保持请求在一个TCP会话中,保持代理IP不变。
如果用户需要多个请求在维持一个IP,比如:需要登录,获取数据两个请求在一个IP下,只需保证该组请求在一个TCP(Keep-Alive)会话下, 该组请求在代理有效期内使用相同的代理IP。
使用爬虫代理访问HTTPS网站时,HTTPS协议默认开启KeepAlive,同一个Session(HTTPS会话)代理IP不变。 如需要每个请求强制切换IP,可以设置Proxy-Connection: Close和Connection: Close
请注意部分库使用了连接池技术,会始终保持一个TCP链接池实现链接复用,如需要每个请求强制切换IP,请关闭库的连接池功能。