scrapy爬虫框架创建及案例

一、安装,由于本地和服务器全是anaconda,所以安装比较简单:

conda install -c conda-forge scrapy

二、
1、创建一个工程:

scrapy startproject jobs

2、进入jobs/spiders目录,创建一个爬虫文件

scrapy genspider hr tencent.com

完成后如下图(电脑是老古董,pycharm太卡,一直用sublime)
scrapy创建工程

3、执行工程

scrapy crawl hr
取消

感谢您的支持,我会继续努力哒!

扫码打赏
支付金额随意哦!

打开支付宝扫一扫,即可进行扫码打赏哦

发表评论

电子邮件地址不会被公开。 必填项已用 * 标注