Scrapy爬虫框架实现异步爬取伯乐在线

最近在学习 python的爬虫框架，下面是实战爬取伯乐在线文章例子，用到了(Twisted)异步插入保存数据，支持大数据量的爬取