前言

上回讲到，爬取了的第一页内容，本回主要实现爬取剩余页面的内容，实现思路均参照

代码实现

def parse(self, response):        #####省略#####        #查看页面源码，找到”后一页“的链接        next_page = response.xpath('//span[@class="next"]/a/@href').extract_first()        print("&&&&&&",next_page)        if next_page is not None:            yield response.follow(next_page,self.parse)

找到页面中”后一页“的链接的内容，只需解析出该内容，然后调用follow函数即可了

编译执行

按照说的，执行命令scrapy crawl dbbook -o junshibook89-1.json将结果存入json文件

git地址：