scrapy爬虫代码怎么运行（scrapy爬虫实例）

关于scrapy爬虫代码怎么运行，scrapy爬虫实例这个很多人还不知道，今天就让小编兔兔来为大家解答以上的问题，现在让我们一起来看看吧！

1、scrapy自带有去重set（）集合功能，但是set是在内存中的，一旦关机就要重新开始。

2、那么我拿到数据不是在set里面，我把他存入redis，mysql，mongo，在取数据的时候，pop一下不就可以实现断点续传了。

本文到此分享完毕，希望能帮助到大家。