爬虫工作原理

　　网络爬虫不仅是搜索引擎的重要组成部分，而且是目前大数据分析不可

　　缺少的工具。了解爬虫的原理和实现对日常工作或者个人的兴趣爱好有

　　很大的帮助。比如你在百度贴吧里面看到了一遍不错的帖子，这个帖子

　　里面的回复很有价值，你想收藏下来，但是帖子有1000多页，你没办法

　　逐个手动复制；或者你是日系二次元爱好者，喜欢搜集美女图片；或者

　　你对目前的股票、房价的发展趋势想做一些预测；这些需求都可以借助

　　爬虫这个有力的工具得意实现。

　　网络爬虫的基本工作流程如下：

　　首先选取一部分精心挑选的种子URL

　　将种子URL加入任务队列

　　从待抓取URL队列中取出待抓取的URL，解析DNS，并且得到主机

　　的ip，并将URL对应的网页下载下来，存储进已下载网页库中。

　　此外，将这些URL放进已抓取URL队列。

　　分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL

　　放入待抓取URL队列，从而进入下一个循环。

　　解析下载下来的网页，将需要的数据解析出来。

　　数据持久话，保存至数据库中。

　　爬虫的抓取策略

　　在爬虫系统中，待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题，因为这涉及到先抓取那个页面，后抓取哪个页面。而决定这些URL排列顺序的方法，叫做抓取策略。下面重点介绍几种常见的抓取策略：

　　深度优先策略(DFS) 深度优先策略是指爬虫从某个URL开始，一个链接一个链接的爬取下去，直到处理完了某个链接所在的所有线路，才切换到其它的线路。 此时抓取顺序为：A -> B -> C -> D -> E -> F -> G -> H -> I -> J

　　广度优先策略(BFS) 宽度优先遍历策略的基本思路是，将新下载网页中发现的链接直接插入待抓取URL队列的末尾。也就是指网络爬虫会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。 此时抓取顺序为：A -> B -> E -> G -> H -> I -> C -> F -> J -> D

　　了解了爬虫的工作流程和爬取策略后，就可以动手实现一个爬虫了！

　　如何绕过常见的防爬

爬虫的目的就是大规模地、长时间地获取数据，跟我们正常浏览器获取数据相比，虽然机理相差不大，但总是一个IP去爬网站，大规模集中对服务器访问，时间一长就有可能被拒绝。关于爬虫长时间爬取数据，可能会要求验证码，即便是多个账号轮流爬取仍然会出现要求输入验证码的情况。

　　技巧总结

　　设定下载等待时间的范围控制，等待时间过长，不能满足短时间大规模抓取的要求，等待时间过短则很有可能被拒绝访问。

　　技巧二：设置cookies

　　cookie其实是储存在用户终端的一些被加密的数据，有些网站通过cookies来识别用户身份，如果某个访问总是高频率地发请求，很可能会被网站注意到，被嫌疑为爬虫，这时网站就可以通过cookie找到这个访问的用户而拒绝其访问。

　　技巧三：修改User-Agent

　　User-Agent是指包含浏览器信息、操作系统信息等的一个字符串，也称之为一种特殊的网络协议。服务器通过它判断当前访问对象是浏览器、邮件客户端还是网络爬虫。

　　技巧四：修改IP

　　从代理IP网站获取大量IP 或者使用IP地址库

　　技巧五：分布式爬取

　　目的：大规模抓取，单台机器的负荷很大，况且速度很慢，多台机器可以设置一个master管理多台slave去同时爬取

　　HACK学习，每天推荐一本与黑客与互联网安全的书籍

　　《黑客攻防技术宝典：浏览实战篇》

本书必须收藏，细致讲解了IE、Firefox、Chrome等主流浏览器及其扩展和应用上的安全问题和漏洞，介绍了大量的攻击和防御技术，具体内容包括：初始控制，持续控制，绕过同源策略，攻击用户、浏览器、扩展、插件、Web应用、网络，等等。它是你在实践中的必读参考指南，对实际开发具有重要指导作用，能够助你在浏览器安全领域有所作为。

　　下载地址

　　https://pan.baidu.com/s/1bpiz6zX

　　分享密码

　　k2r8

　　补上昨天的书籍链接

　　https://pan.baidu.com/s/1eS6T73s

　　喜欢

　　分享

　　or