动态秒换IP服务器，让爬虫运行更加顺利！

一，前言一般来说，抓取一个稍微正式一点的网站到反网络爬虫的限制。反网络爬虫主要有以下几种方法:根据UA判断。这是低级别的判断。一般来说，反网络爬虫不会做出唯一的判断，因为反网络爬虫非常容易直接随机解决。根据单IP频繁访问的判断。这个判断简单，反网络爬虫费力，反网络爬虫的绝佳方案。需要多IP抓取。根据Cookie的判断，比如根据会员账号密码登录，判断单个账号在短时间内抓取次数。这种反网络爬虫也很费力。需要多账号抓取。动态页面加载。这是对前端工程师基础的考验。如果前端写得好，各种JS判断和逻辑就很难像百度和淘宝一样登录post。更好的方法，但对于大牛来说，还是很难防范的。反向网络爬虫多采用渲染浏览器捕获，效率低下。使用验证码。如果登录时没有验证码，如果没有判断是网络爬虫，则没有密封IP，而是使用验证码进行验证，如链家网。验证码是一种具有成本效益的反网络爬虫方案。反网络爬虫一般接入OCR验证码识别平台或手动编码平台，或使用TesseractOCR识别，或使用神经网络训练识别验证码。二，概要今天，让我们主要讨论如何处理第二条的反网络爬虫，以及如何根据多IP捕获它们。根据多IP网络爬虫，分为以下形式：根据ADSL拨号更换IP服务器。每次拨号都会有一个新的IP，的解决IP单一问题。如果是带路由器的局域网，第一种方法可能不好用。此时可以模拟登录路由器，控制路由器重新拨号，更换IP，其实是一种妥协的方式，曲线救国。代理IP，利用购买或网上抓取的免费代理IP，实现多IP网络爬虫。分布式网络爬虫。使用多个服务器、多个IP、多个slave网络爬虫同时运行，master负责调度。效率高，属于大型分布式抓取，一般用redis分布式抓取，无表。最近，我了解到一个新的加密代理网络。Tor匿名网络，也可以匿名更换IP。三，正文1.ADSL拨号。我通常在windows平台ADSL拨号，其他平台暂时没用过。windows平台拨号，我一般用python代码:2.路由器拨号。如果是带路由器的局域网。当windows的rasdial命令无法直接拨号时，此时可以模拟登录路由器，控制路由器重新拨号，更换IP。这其实是一种妥协，曲线救国。以下是登录小米路由器的例子:使用这种方法实现了用路由器替换IP的目的。这种方法的缺陷也很明显。它不像第一种方法那么常见。基本上，一个路由器必须编写一套属于定制代码的代码。3.代理IP。代理IP是常见的多IP网络爬虫方法。代理IP抓取可以通过在请求的Headers中添加代理IP地址来实现。缺点是爬行速度与代理IP的速度密切相关。而且好的IP成本高，免费速度一般不高。附上requests抓取携带代理IP和selenium抓取携带代理IP的代码。requests:selenium:四，尾言本文主要介绍了反网络爬虫的一些概念、常用方法、反网络爬虫的一些方法，主要介绍了多IP网络爬虫的实现方法，属于网络爬虫领域的基本内容。只有掌握了这些基本内容，网络爬虫的步伐才能坚定。

转载于天翼云知识，如有侵权，请联系删除，谢谢