scrapy爬虫框架创建及案例

一、安装,由于本地和服务器全是anaconda,所以安装比较简单:

conda install -c conda-forge scrapy

二、
1、创建一个工程:

scrapy startproject jobs

2、进入jobs/spiders目录,创建一个爬虫文件

scrapy genspider hr tencent.com

完成后如下图(电脑是老古董,pycharm太卡,一直用sublime)
scrapy创建工程

3、执行工程

scrapy crawl hr

发表评论

电子邮件地址不会被公开。 必填项已用 * 标注