在Windows系统下爬虫某网站全站数据,出现了上述情况,导致本机电脑ip地址被封,用chrome游览器打开该网站也打开不了,回顾自己的代码,请求时间间隔也设置了 time.sleep(random.randint(1, 3)) 在网上搜一下解决办法,感觉差强人意,应该是自己学的都不够精,看不懂: 最后经过询问编个ip地址,放入headers中,然后网站数据就可以正常爬了,亲测有效:
headers
["X-Forwarded-For"] = "%s.%s.%s.%s" % (
random
.randrange
(1, 200, 20), random
.randrange
(1, 200, 20), random
.randrange
(1, 200, 20),
random
.randrange
(1, 200, 20))