清除爬取https使用的verify认证中眼花缭乱的SSL验证输出警告
当使用requests进行爬取请求的时候,经常会遇到https协议的请求。导致我们必须添加verify=False将验证关闭才可访问成功
response = requests.get(url, headers=headers, verify=False)
但在进行爬取的时候,我们的控制台会在每个请求前面附上警告⚠️字符。
如下图:
# 因此 我们可在代码最上方添加以下代码,来屏蔽控制台对于警告代码的
from requests.packages.urllib3.exceptions import InsecureRequestWarning # 错误并不影响
requests.packages.urllib3.disable_warnings(InsecureRequestWarning) # 禁用安全请求警告
关于http和https协议的不同点以及原理,可参考一下文章
https://blog.csdn.net/xiaoming100001/article/details/81109617