爬虫对服务器 CPU,内存和网速的影响

广告也精彩

本文介绍了爬虫对服务器的影响,主要是为小白同学普及爬虫的基础知识。当我们写爬虫时,我们首先会想到打开多线程。不幸的是,如果使用的语言是Python,因为Python有GIL,CPU中只有一个线程在任何时候运行,但Python的多线程也可以提高爬虫的速度。当我们用Python的多线程写爬虫时,速度并不慢。为什么?因为爬虫更喜欢IO,网络IO和磁盘IO是爬虫最大的瓶颈。现在CPU处理速度很快,CPU比请求快。网络请求需要等待对方服务器的响应,这个过程比较慢。下载数据后,将数据插入自己的数据库,等待自己的磁盘响应。那么,有没有更好的方法实现爬虫并发下载呢?答案是:是的,我们可以使用第三方框架,如异步框架gevent、tornado等。,或者Python的多过程+异步方法,可以大大提高我们的下载速度。爬网站时,同时开启64个过程,并且是一种异步方法,下载速度稳定在700k左右,因为公司的运维限制了网络速度,不可能提高网速,然后内存消耗是87%,内存是12G,CPU消耗是100%,为什么CPU消耗这么高?主要原因是数据分析需要消耗CPU和进程切换,也需要消耗CPU。网页的大小应该在10k到20k之间,粗略统计一下,每分钟可以下载1750个网页,包括数据下载、分析和入库的全过程。这个下载速度是1750*60分钟等于105000,也就是说一个小时可以下载10万个网页。这个速度怎么样?我觉得下载速度很慢。为什么,因为他在这个网站上封了ip,他需要通过代理访问他们的服务器,这也是一个非常耗时的过程,只能通过ip池来解决。ip池维护了1000左右的有效ip,并有专门的服务进行验证,可以随时选择ip抓取目标网站。理想状态是一分钟抓取3000条数据,一天24小时抓取500万左右的网页数据。你感到惊讶吗?网络90%的流量是由爬虫贡献的。爬虫给目标网站带来了很大的压力。为了避免损坏目标网站,不建议打开太多并发。

爬虫对服务器 CPU,内存和网速的影响

 

转载于天翼云,如有侵权,请联系删除,谢谢

© 版权声明
广告也精彩

相关文章

广告也精彩

暂无评论

暂无评论...