在注解模式下，使用一个简单的Model对象加上注解，可以用极少的代码量就完成一个爬虫的编写注解模式的开发方式是这样的首先定义你需要抽取的数据，并编写Model类在类上写明@TargetUrl注解，定义对哪些URL进行下载和抽取。

楼主你好，爬虫的作用是爬取指定的url页面信息，如果要按照你的要求进行输出信息，需要对爬取的页面进行解析，是另一个步骤，建议你搜索一下python中解析html页面的类库，我推荐beautifulsoup这个库，功能很强大。

先根据一个链接，抓取该页面解析该页面，搜取出该页面中有用的链接，根据链接地址循环抓取就OK了简单爬行器原理 抓取完文件后还需要一个功能好点的文档解析器来解析出文件中的内容文件解析器 再根据关键字分词。

数据结构分析和数据存储 爬虫需求要十分清晰，具体表现为需要哪些字段，这些字段可以是网页上现有的，也可以是根据网页上现有的字段进一步计算的，这些字段如何构建表，多张表如何连接等值得一提的是，确定字段环节，不要只看。

mport reimport requests def ShowCity html = requestsgetquotaspx？id=quot citys = refindall#39#39， htmltext， reS for city in citys。

个人以为应该先从一个URL入手将此URL内容抓至硬盘，再启动线程分析此URL内连接，遍历此连接，分别抓到硬盘 再用线程对硬盘上文件分别分析URL，看到新的就抓可能是这样吧。

在面向对象的高级语言中，早已有人将。

mac用来写python爬虫可以Linux下运行Python程序，一般说来有以下两种形式，其实和Windows下基本一样一在IDLE中运行 在终端窗口输入 python进入交互式运行环境，然后就可以边输入边执行代码了 print #39Hello Python#39Hello。